[usch]

Quark. Zeit ist Geld, auch für Bots. Google dürfte definitiv kein Interesse daran haben, unnötig auf Forumsseiten herumzurödeln, wenn sie in der Zeit anderswo suchen könnten.

Deshalb bieten sie auch sehr effiziente Mittel, den Zugriff auf eine Website zu steuern. Die Luxusversion mit Goldrand wäre eine XML-Sitemap (die nebenbei bemerkt auch von anderen Suchmaschinen ausgewertet wird). Vermutlich würde es aber auch schon helfen, wenn der "Last-Modified"-Header korrekt gesetzt wäre – nämlich auf das Datum des letzten Beitrags auf der Seite – und da nicht immer "jetzt gerade in dieser Sekunde" drin stände. Wenn Google sieht, dass sich eine Seite seit 5 Jahren nicht mehr geändert hat, braucht der Bot sie nicht ständig neu abzurufen.

Dass die gammelige Forumssoftware das alles nicht unterstützt, kann man jetzt wirklich nicht Google zum Vorwurf machen.