Ein Webcrawler ist ein Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert.
Crawler werden auch oft als Webcrawler, Spider oder Searchbot bezeichnet. Crawler sind Computerprogramme, die automatisch das World Wide Web durchsuchen, analysieren und gegebenenfalls nach bestimmten Kriterien sortieren.
Die Bezeichnung Crawler leitet sich von der Suchmaschine WebCrawler ab, die 1994 als erste öffentlich verfügbare Suchmaschine mit Volltextindex-Suche arbeitete. Ganz im Sinne ihrer Entstehungsgeschichte werden Crawler insbesondere von Suchmaschinen eingesetzt. Durch den Einsatz von Crawlern können Suchmaschinen ihren Index pflegen, indem neue Websites hinzugefügt, nicht mehr existente Seiten gelöscht und geänderte Seiten aktualisiert werden.
Doch wie funktioniert so ein Crawler?
Diese Art von Programm funktioniert nahezu selbstständig und wiederholt kontinuierlich die ihnen zugeschriebene Aufgabe. Crawler bewegen sich ähnlich den Internet-Surfern durch das Netz – sie gelangen automatisch durch Hyperlinks von einer Website zur nächsten. Die so gefundenen Websites ruft der Crawler dann in einer festgelegten Reihenfolge auf. Da Crawler an einen Index gekoppelt sind, kann das Programm die Websites anschließend nach vorher definierten Regeln in den Index aufnehmen, sodass sie bei bestimmten Suchbegriffen unter den Ergebnisseiten gelistet werden.
Crawler werden allerdings nicht nur von Suchmaschinen zur Index-Pflege benutzt, sondern können auch zum Sammeln von RSS-Newsfeeds, E-Mail-Adressen, so wie zum illegalen Ausspähen von Nutzerdaten verwendet werden. Daher versuchen auch viele Website-Betreiber ihre E-Mail-Adressen in den Kontaktdaten durch Angaben wie info(at)Adresse(dot)com vor den sogenannten Harvester-Programmen (zu Deutsch Erntemaschinen) zu schützen. Diese besondere Art von Crawler-Programmen „erntet“ E-Mail-Adressen, die dann nicht selten zu Spam-Zwecken genutzt werden.
Beispiel
Google indiziert tagtäglich das Internet mit Hilfe zahlreicher Crawler, um möglichst präzise Suchergebnisse liefern zu können.
Alternative Schreibweisen
Webcrawler, Web Crawler, Crawler, Webcrawlers, Crowler, Webcrowler, Crawer, Webcraler, Searchbot, Spider