Robot, Spider, Crawler
Der Robot, Spider oder Crawler ist ein Programm zum automatisierten Erfassen der Inhalte von Webseiten zur Aufnahme in den Index einer Suchmaschine.
Der Robot besucht ihm einmal bekannte Webseiten regelmäßig wieder. Dort gefundene Links werden selbständig verfolgt und die dabei gefundenen Webseiten ebenfalls für die Aufnahme in den Index der Suchmaschine erfasst.
Um den Robot von bestimmten Verzeichnissen auszuschliessen kann eine Datei robots.txt verwendet werden.
Mehr Informationen: Wissenswertes über Suchmaschinen-Optimierung.
Weitere Begriffe aus Webdesign und Internet im Webdesign-Glossar.