Zitat:
Zitat von HoSt
Ich bin zwar nicht @usch, aber ich versuch's mal...
|
Danke. Arbeit gespart.
Ergänzend sei nur noch angemerkt, dass die robots.txt eher ein freundlicher Hinweis ist im Sinne von "das brauchst du nicht zu scannen, das interessiert keinen", aber kein Verbot und erst recht kein technisches Hindernis.
Nette Bots halten sich daran (schon im eigenen Interesse, um Zeit zu sparen), böswillige werden die Einträge einfach ignorieren oder die "verbotenen" Verzeichnisse erst recht durchsuchen in der Hoffnung, da irgendwelche schlecht gesicherten Geheimnisse zu finden. In der robots.txt auf meiner eigenen Website habe ich ein Verzeichnis stehen, das gar nicht existiert – wenn sich ein Bot dort hin verirrt, weiß ich sofort, dass der nichts Gutes im Schilde führt.
