Robot
Spider, Crawler
Der Robot, Spider oder Crawler ist ein Programm zum automatisierten Erfassen der Inhalte von Webseiten zur Aufnahme in den Index einer Suchmaschine.
Der Robot besucht ihm einmal bekannte Webseiten regelmäßig wieder. Dort gefundene Links werden selbständig verfolgt und die dabei gefundenen Webseiten ebenfalls für die Aufnahme in den Index der Suchmaschine erfasst.
Um den Robot von bestimmten Verzeichnissen auszuschliessen kann eine Datei robots.txt verwendet werden.
Mehr Informationen: Wissenswertes über Suchmaschinen-Optimierung.
Weitere Begriffe aus Webdesign und Internet im Webdesign-Glossar.
Aus gegebenem Anlass, nochmal zur Erinnerung:
Alle Texte und Bilder dieser Website sind urheberrechtlich geschützt: © Webdesign: Michael Rabe, Hamburg, 1999-2012
Mehr Informationen zum Thema Plagiate und die evtl. Rechtsfolgen.