Ein Crawler – korrekt heißt es Webcrawler bzw. andere Bezeichnungen sind auch Spider, Searchbot oder einfach nur Crawler – ist ein Computerprogramm, das automatisch die Seiten des Internets durchsucht und analysiert. Die Bezeichnung Crawler leitet sich von der Suchmaschine WebCrawler ab, die 1994 die erste öffentlich verfügbare Suchmaschine mit Volltextindex war.

Ganz im Sinne ihrer Entstehungsgeschichte werden Crawler insbesondere von Suchmaschinen eingesetzt, um stets aktuelle und neue Daten aufweisen zu können. Aber auch für das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder illegale Nutzungen wie das Ausspähen von Nutzerdaten werden Crawler verwendet. Da Crawler stark automatisiert funktionieren, stellen sie eine spezielle Art von Bots dar, also von Programmen, die weitgehend autonom ablaufen und sich wiederholende Aufgaben ausführen.

Beispiel Google indiziert tagtäglich das Internet mit Hilfe zahlreicher Crawler um möglichst präzise Suchergebnisse liefern zu können.