Robots.txt

befindet sich in dem Rootverzeichnis (Stammverzeichnis) einer Domain. Diese Datei dient dazu, die Webcrawler zu steuern, d.h. sie gibt vor, ob und inwieweit eine Seite indexiert und verfolgt werden darf.