Hallo!
Die .htaccess gilt jeweils für das Verzeichnis, in welchem sie steht sowie für alle Unterbverzeichnisse ab dort. Wenn Du die also parallel zur index.html ablegst, gilts für die gesamte Webpräsenz.
Übrigens sollte man solche Spider auch per robots.txt erziehen können. Da steht drin, was robots dürfen sollen. Zwar ist das freiwillig, aber die meisten robots halten sich dran.
Bei steht da drin:
user-agent: * # directed to all robots
Disallow: /cgi-bin/
Disallow: statistik/
Disallow: www/acars/
Alle Verzeichnisse, wo der wegbleiben soll, zeilenweise aufführen. Sonst suchen die doch, und der arme Apache muss dann immer die .htaccess auswerten...
Viele Grüße,
Andreas
|