grunt - 29.06.09 19:05
Regelmäßige Besuche von Web-Crawlern sind für die Indexierung von Internetseiten wichtig. Aber nicht jeder Crawlerbesuch ist für einen Website-Betreiber von Vorteil. Mit den entsprechenden Einstellungen lassen sich Bots allerdings recht gut steuern und unnötiger Traffic vom Webserver fern halten. Wirklich effektiv klappt das allerdings nur mit den "guten" Crawlern.

Kommentare: (0)