Zitat:
Zitat von Dana
Gibt es da wirklich nur "alles abschalten", so dass die Seite quasi nicht mehr existiert, oder doch noch Grauzonen dazwischen?
|
Wie gesagt – die meisten Suchmaschinen sind dankbar, wenn man ihnen eine XML-Sitemap anbietet. Das ist im Prinzip ein Verzeichnis aller existierenden Forumsseiten, jeweils mit dem Datum der letzten relevanten Änderung. Dann braucht der Bot nämlich nur noch die Seiten zeitnah zu besuchen, auf denen es tatsächlich etwas Neues gibt. Gerade hier im Forum mit relativ wenig Aktivität, aber einem über 20 Jahre zurück reichenden Archiv mit Hunderttausenden, wenn nicht sogar Millionen von Seiten würde das eine signifikante Entlastung bringen.
Davon abgesehen akzeptiert Googlebot HTTP 304 (Not modified), wenn sich die angefragte Seite seit dem letzten Besuch nicht geändert hat – das verringert zwar nicht die Anzahl der Anfragen, erspart aber das wiederholte Abrufen der kompletten Inhalte aus der Datenbank und das Generieren des HTML-Codes – oder als Notbremse HTTP 429 (Too many requests).
Der Haken bei all diesen Lösungen ist, dass das entsprechende Software auf dem Server erfordert. Ich würde mir zwar zutrauen, das einzurichten (für meine ehemalige Firma hab ich damals das CMS für den Webauftritt geschrieben), aber ich glaube nicht, dass die Forumsleitung einem Außenstehenden direkten Zugriff auf den Server geben möchte.
Man könnte das Problem auch mit Geld bewerfen und das Forum hinter einem CDN wie Cloudflare verschanzen. Ich habe allerdings keine Ahnung, mit welchen Summen die sich das bezahlen lassen - vermutlich jenseits des Foren-Budgets - und ob das nicht auch gewisse Mindestanforderungen an die zu schützende Website stellt (z.B. korrekte Cache-Control- und Last-Modified-Header).
Last but not least könnte man ein Support-Ticket bei Google aufmachen und anfragen, ob sie die Crawling-Frequenz für www.sonyuserforum.de limitieren können.