robots.txt
Die Datei robots.txt liegt im Hauptverzeichnis eines Web-Servers und beinhaltet Anweisungen für die Robots der Suchmaschinen.
In der robots.txt wird festgelegt ob entweder alle Robots oder nur bestimmte-, alle- oder nur bestimmte Verzeichnisse oder Dateien lesen dürfen oder nicht.
Die Angaben in der robots.txt sind Hinweise an alle Robots und sollten beachtet werden, sie sind aber kein sicherer Schutz gegen das tatsächliche Erscheinen der Seiten in den Suchmaschinen. Manche Robots ignorieren die Angaben auch einfach.
Eine andere Möglichkeit einzelne Webseiten von der Indizierung auszuschliessen, ist die Angabe des Meta-Tags robots im Head der Webseite.
Weitere Begriffe aus Webdesign und Internet im Webdesign-Glossar.
Aus gegebenem Anlass, nochmal zur Erinnerung:
Alle Texte und Bilder dieser Website sind urheberrechtlich geschützt: © Webdesign: Michael Rabe, Hamburg, 1999-2012
Mehr Informationen zum Thema Plagiate und die evtl. Rechtsfolgen.