16 Jul 2009 ... Information on the robots.txt Robots Exclusion Standard and other articles about writing well-behaved Web robots.
www.robotstxt.org/ - Im Cache - Ähnlich

Die Datei robots.txt ist eine Textdatei in einem einfach lesbaren Format. Jede Zeile besteht aus zwei Feldern, die durch einen Doppelpunkt getrennt werden. ...
de.wikipedia.org/wiki/Robots_Exclusion_Standard - Im Cache - Ähnlich

Wozu die Datei robots.txt gut ist, und nach welchen Regeln sie aufgebaut ist.
de.selfhtml.org/diverses/robots.htm - Im Cache - Ähnlich

Es besteht auch die Möglichkeit einzelne Spider auszuschliessen. Lesen Sie dazu die Originalspezifikation auf http://www.robotstxt.org/wc/robots.html. ...
webmaster.search.ch/robots-txt.html - Im Cache - Ähnlich

Sie haben einmal gegoogelt nach robots txt? Dann werden Sie bestimmt Unmengen an Dateien gefunden haben, die lauter kryptische Daten enthalten, ...
www.inm.ch/g3.cms/s_page/59500 - Im Cache

Wie funktioniert die robots.txt und wozu ist sie da? Wie schützt man Seiten vor der Indexierung und vor Robots?
www.bjoernsworld.de/.../robots-txt.html - Im Cache - Ähnlich

The robots.txt standard was developed in 1994, when large-scale web indexing became popular; indexers such as Lycos and AltaVista used it. ...
en.wikipedia.org/wiki/Robots_exclusion_standard - Im Cache - Ähnlich

In der Datei Robots.txt wird festgelegt, welche Dateien, Verzeichnisse, Inhalte oder Bereiche Ihrer Webseiten als gesperrt oder frei zugänglich markiert ...
www.communic8.ch/cgi/tools/robots-txt.../robots.cgi - Im Cache - Ähnlich

Use this module when you are running multiple Drupal sites from a single code base (multisite) and you need a different robots.txt file for each one. ...
drupal.org › Download › Modules - Im Cache - Ähnlich