[Crimson]

Moin,

erstmal... natürlich ist es schade, dass es keinen zeitgemäßen technischen Unterbau gibt... und genauso natürlich wird es so schlicht nicht attraktiver... aber... Dana hat vollkommen Recht, die Zeit der Foren ist im Grunde vorbei, weitgehend vorbei. Die paar hier mehr oder weniger halbwegs aktiven Dinos sind zu wenig...

Zu Bots... erstmal gibt es die in halbwegs freundlich und sehr unfreundlich. Google und Co. sind da eher auf der halbwegs freundlichen Seite zu finden, die stetige Konfiguration ist aber leider nicht ohne Geld und Zeitaufwand machbar, dafür ändert sich zu viel zu schnell und das Kernproblem sind die unfreundlichen Angreifer - auf einer Seite für ein paar wenige Dinos stellt sich die Frage nach Kosten/Nutzen sehr schnell. Elemente wie robots.txt sind nur ein Element (die Bösen halten sich eh nicht dran) und wer ernsthaft Webseiten betreibt, kommt um mehrstufige Konzepte und WAF und Co. nicht herum, da wird es aber auch sehr schnell aufwendig und teuer.
So wie die Zeit der Foren eher vorbei ist, ist sie es auch für private Webseiten. Nur mal so als Hausnummer für komerzielle Webauftritte - quasi stetige (!) Angriffsvektoren mit Millionen von Aufrufen in kurzer Zeit sind die Normalität - und die eigentliche Businessfunktionalität muss dennoch laufen.

Google und andere eher freundliche Besucher... den Zugang kann man eigentlich recht übersichtlich wieder herstellen, Suchmaschinen nutzen Standardmechanismen, wenn sie angeboten werden - wie schon angesprochen z.B. Sitemaps (wer mehr wissen will, sucht mal nach SEO). Warum das hier nicht passiert, kann nur das Team sagen - könnte aber auch schon ein Aufwandsthema sein.

Viele Grüße,
Markus