grunt - 01.07.09 16:43
Da längst nicht alle auf der freien Wildbahn aktiven Bots sich an die Vorgaben der Robots.txt-Datei halten, ist es oft nötig auf die .htaccess-Datei umzusatteln und Bots unsanft vom Einlesen der auf einer Website abgelegten Internetseiten abzuhalten. Wege gibt es viele, allerdings sollte dieser Mechanismus mit Vorsicht angewandt werden.

Kommentare: (0)