16 Jul 2009 ... Information on the robots.txt Robots Exclusion Standard and other articles about writing well-behaved Web robots.
www.robotstxt.org/ - Im Cache - Ähnlich

Die Datei robots.txt ist eine Textdatei in einem einfach lesbaren Format. Jede Zeile besteht aus zwei Feldern, die durch einen Doppelpunkt getrennt werden. ...
de.wikipedia.org/wiki/Robots_Exclusion_Standard - Im Cache - Ähnlich

Wozu die Datei robots.txt gut ist, und nach welchen Regeln sie aufgebaut ist.
de.selfhtml.org/diverses/robots.htm - Im Cache - Ähnlich

Es besteht auch die Möglichkeit einzelne Spider auszuschliessen. Lesen Sie dazu die Originalspezifikation auf http://www.robotstxt.org/wc/robots.html. ...
webmaster.search.ch/robots-txt.html - Im Cache - Ähnlich

Sie haben einmal gegoogelt nach robots txt? Dann werden Sie bestimmt Unmengen an Dateien gefunden haben, die lauter kryptische Daten enthalten, ...
www.inm.ch/g3.cms/s_page/59500 - Im Cache

The Web Robots Pages. www.robotstxt.org. Das robots.txt-File - [webmaster.search .ch]. webmaster.search.ch/robots-txt.html. Robots Exclusion Standard ? ...
www.anthrazit.org/index.php?apsid...apdo...robots.txt - Im Cache

Wie funktioniert die robots.txt und wozu ist sie da? Wie schützt man Seiten vor der Indexierung und vor Robots?
www.bjoernsworld.de/.../robots-txt.html - Im Cache - Ähnlich

A robots.txt file on a website will function as a request that specified robots ignore specified files or directories in their search. ...
en.wikipedia.org/wiki/Robots_exclusion_standard - Im Cache - Ähnlich

Use this module when you are running multiple Drupal sites from a single code base (multisite) and you need a different robots.txt file for each one. ...
drupal.org › Download › Modules - Im Cache - Ähnlich