Webmasterworld - Ei indeksoituja sivuja hakukoneissa
Monet varmaan tietävät ja ovat kuulleet WebmasterWorldista, maailman suurimmasta webmaster foorumista, joka kokoaa sivustojen ympäri maailmaa yhteen. Foorumin omistaja ja perustaja, Brett Tabke päätti muokata foorumin robots.txt tiedostoa blokatakseen kaikki hakukonerobotit ja testatakseen mitä vaikutusta sillä on “rosvo” robottien vierailuihin. Näitä robottejahan on tunnetusti satoja, ja ne syövät aikamoisen määrän liikennekapasiteettia noinkin isolla sivustolla. Tätä turhaa liikennettä Brett ilmeisesti halusi laskea.
Brett arveli, että kestää noin 60 päivää ennenkuin sivuston sivut alkavat tippua ja kadota hakukonetuloksista. Sivustolla oli noin kaksi miljoonaa indexoitua sivua sekä Googlen että MSNn hakukoneissa.
Toisin kävi.
Search Engine Watch ilmoitti artikkelissaan, ettei Googlesta ei löydy sivuakaan indexoituna, MSN näyttää vain WebmasterWorldin aloitussivun selitteellä “www.webmasterworld.com”, senkin ilmeisesti ainoastaan tuhansien linkittävien sivustojen ansiosta. Tähän kaikkeen meni ainoastaan neljä päivää robots.txt tiedoston muokkaamisesta.
Ilmeisesti joku, tai ennemminkin jotkut ilkeämieliset tahot ovat käyttäneet tilannetta hyväkseen, ja käyttäneet Googlen automaattista sivunpoistotyökalua. Näin ollen sivusto saa vähintään 180 päivän automaattisen bannin Googlen hakutuloksista. Kyseinen työkalu poistaa ilmeisesti sivuston myös Googlen linkkihakemistosta. DMOZ taasen vielä näyttää listauksen WebmasterWorldista. Indexoitujen sivujen nopealle katoamiselle MSN:stä ei liene muuta selitystä kuin se, että MSN sakottaa sivustoa heti, mikäli heidän robottinsa blokataan.
Miettikääpä sitä.
kuopassa kommentoi että,
24.11.2005 @ 20:34
Nyt jos WebmasterWorldin robots.txt päivitetään sallimaan hakukonerobottien hiippailun sivustolla niin sillä ei sitten kovin paljon vaikutusta ole Googlen kannalta, jos jotkut hämärähemmot ovat käyttäneet myös mainitsemaasi Googlen sivunpoistotyökalua?
Hakukoneoptimointia kommentoi että,
24.11.2005 @ 20:34
Ei ole enää apua Googlen kannalta siitä. 180 päivän perusbanni on ja pysyy. On viitteitä siitä, että Google pitää sivut muistissa mitkä olivat indexoituna, mutta kun banni päättyy, käytetään niitä sivuja vain ns. täydennyssivuina jos ollenkaan.
Edittiä: Tosin, vaikuttaa kyllä siltä että asiassa on hieman tahallisuuttakin mukana, sillä sivulla on kyllä kokoa pienen valtion tarpeisiin(liian iso?). En oikein usko että noin kokenut ja kaikken nähnyt webmaster “vahingossa” tuota tekisi ajattelematta kaikkia seurauksia. Rohkea veto jokatapauksessa.
Edullisesti blogi kommentoi että,
26.11.2005 @ 20:34
Kummallista käytöstä. Mutta Googlessa saattavat kyllä ihan käsin käydä poistamassa bannin, kun tuo WebmasterWorld on niin laaja ja suosittu sivusto.
Kummallinen tapaus kyllä.