Der gefräßige Googlebot

[Backbone]

Vorgestern bekam ich von meinem Webhoster eine freundliche Nachricht, dass mein Trafficvolumen für den Monat November von immerhin 15GB fast aufgebraucht sei. Es standen satte 13,3GB auf dem Counter. :shock:

Ok, die neue Fotoseite erfreut sich reger Beliebtheit, wenn was neues reinkommt hab ich da ratz fatz 500 Seitenabrufe drauf und die Bilder in den großen Auflösungen sind ja absichtlich nur sachte komprimiert.

Trotzdem erschien das doch etwas viel, deshalb warf ich am Abend mal einen Blick in die Logs und was musste ich da in der ersten Zeile lesen:

Hits: 172509 (33.31%)
Files: 171927 (35.30%)
KBytes: 5543002 (39.88%)
Hostname: crawl-66-249-72-6.googlebot.com

Das Mistding hat über 5,5GB und fast 40% des gesamten Traffics verursacht. Wahrscheinlich hat der alle vorhandenen Bilder mehrfach täglich indiziert. Ich hab ihn jedenfalls gestern Nacht noch ausgesperrt und hoffe, dass ich bis Ende der Woche noch mit den restlichen 1.5GB hinkomme.

Hier betreiben ja einige Leute auch Fotoseiten, ist euch sowas auch schon aufgefallen.

Backbone

[Basti]

Hi und guten Morgen,
nein so etwas hatte ich bisher bei keiner Seite. Weder privat noch geschäftlich. Das sind ja auch ganz schön heftige Trafficmengen die er da verursacht, eventuell solltest du einzelne Verzeichnisse per robots.txt aussperren. Ich vermute jetzt hast den Refferer bzw. den Bot komplett rausgesperrt?
Basti

[tbiegel]

Hallo !

Es gibt die Möglichkeit, unter den Google webmastertools die Crawl-geschwindigkeit herabzusetzen. Dazu mußt Du allerdings einen Account haben und Deine Seite anmelden und verifizieren lassen.

Ciao,

Thomas

[Backbone]

Ich hab mir die Webmastertools auch schon angesehen und den Bot erstmal komplett rausgeschmissen. Die Seite ist ja auch ein reines Hobby und dient dazu, meinen Leuten ein paar Fotos zu zeigen. Die kennen entweder die Seite oder werden eben per Link hingeschickt. Von daher ist mir Google völlig wurscht.

Mal was anderes: Ich bilde mir ein gelesen zu haben, dass der Bot besonders von phpbb-Installationen magisch angezogen wird, weil die eben hochdynamisch sind. Kann es sein, dass das Forum den so wild gemacht hat?

Backbone

[Basti]

Mal was anderes: Ich bilde mir ein gelesen zu haben, dass der Bot besonders von phpbb-Installationen magisch angezogen wird, weil die eben hochdynamisch sind. Kann es sein, dass das Forum den so wild gemacht hat?
Der Erfahrung nach indiziert Google wesentlich lieber statische Seite. Daher haben wir ja auch einige Klimmzüge gemacht um via mod_rewrite von *.php nach *.html zu kommen und somit von Googlebots besucht werden. Allerdings fliessen auch die Anzahl der externen Links in die gewichtung bei Google ein, soll heissen wenns von dieser Forumsseite aus viele Links auf deine private Seite gibt wird deine private Seite mehr vom Bot besucht und wichtiger eingestuft.
Den genaue definition des Suchalgorythmus wid aber nur er engste Googlemitarbeiterkreis kennen.
Basti

[Backbone]

Allerdings fliessen auch die Anzahl der externen Links in die gewichtung bei Google ein, soll heissen wenns von dieser Forumsseite aus viele Links auf deine private Seite gibt wird deine private Seite mehr vom Bot besucht und wichtiger eingestuft.

Arrrg. Das könnte ein Grund sein. Ich hab im Forum mit dem die in alle Welt verstreuten Freunde Kontakt halten immer Links zu meinen Fotos gesetzt ... und dieser Bereich ist einer der wenigen, der nicht durch Passwörter geschützt wird, also wo der Bot auch rein kann.

Backbone