Der Suchmaschinenindex umfasst alle Webseiten, die eine Suchmaschine im Rahmen einer Suchanfrage durchforstet.
Der Suchmaschinenindex dient den Suchmaschinen dazu, im Rahmen einer Suchanfrage schon eine Vorauswahl an Daten zu haben, welche sie dann mit dem individuell spezifischen Fokus nach ihrer Relevanz untersuchen können.
Suchmaschinen untersuchen nämlich nicht die Gesamtheit des Internets, sondern greifen immer auf eine jedoch auch sehr große Zusammenstellung von gesammelten und analysierten Daten zurück – den sogenannten Suchmaschinenindex. Die gespeicherten Websites werden im Index immer mit ihren entsprechenden Fundorten hinterlegt, sodass sie schnell wieder auffindbar sind.
Die Erstellung eines Suchmaschinenindex
Um die entsprechende Ansammlung an relevanten Daten zu finden, werden sogenannte Searchbots, auch als Crawler oder Spider bezeichnet, eingesetzt. Doch wie funktionieren diese Webcrawler? Es handelt sich hierbei um speziell programmierte Programme, die quasi selbstständig funktionieren und je nach der ihnen zugeschriebenen Rolle stets nach dem gleichen Prinzip ablaufen. Searchbots sind in ihrem Verhalten ähnlich wie Internet-Surfer, denn sie springen über sogenannte Hyperlinks von Webauftritt zu Webauftritt und erstellen parallel eine Art Dokumentation über ihre Reise und die hierbei gefundenen Informationen und Daten. Beispielsweise können Angaben gespeichert werden wie selbstverständlich die Webadresse der Seite, Daten über die Position des Page-Rankings oder eben über die Schlüsselworte oder auch Keyword, die den Inhalt der Website widerspiegeln. Dies ist aus diesem Grund relevant, da diese Keywords immer in Hinblick und Relevanz für die Suchanfrage des Users angefragt und untersucht werden. Neben den Angaben zu Funort, Page-Rank und Inhalt werden im Index dann auch noch die Querverweise zu anderen Daten abgespeichert, wie beispielsweise Hyperlinks. Unter Berücksichtigung dieser Datensammlung wandern die Crawler also über das Linkbuilding-System von Website zu Website, was ihnen auch ihren Namen verleiht, denn übersetzt werden diese Programme schlicht weg „Kriecher“ genannt.
Auf diese Indizes greifen die Suchmaschinen zurück, wenn ein User eine Suchanfrage stellt. Anhand der eingegebenen Worte in der Suchmaske werden dem Nutzer die relevanten Ergebnisse in priorisierter Reihenfolge in Form der Ergebnisliste angezeigt.
Selbstverständlich umfassen die Suchmaschinen-Indizes einen ungeheuren Umfang an Websites mitsamt allen dazugehörigen Daten und Informationen, welche erst einmal irgendwo gespeichert werden müssen. Betreiber der Suchmaschinen betreiben so riesengroßen Rechenzentren über den gesamten Globus verteilt, um diese Informationen zu beherbergen.
Beispiel
Damit ein Online-Auftritt dem User innerhalb seiner Suchergebnisse mit einer Suchmaschine gelistet werde kann, muss dieser im Suchmaschinenindex erfasst sein.