Das Ende einer Branche?
Seit vor über vier Jahren die Sistrix-Toolbox an den Start ging, hat das Geschäftsmodell „Google-Scraping“ einen regelrechten Hype erfahren. In den vergangenen Jahren wurde eine ganze Reihe von Startups gegründet, die Tools zur Suchmaschinenoptimierung anbieten. Einige dieser SEO-Startups haben mehrere Millionen an Risikokapital erhalten, denn das Geschäftsmodell ist gut skalierbar und verspricht durch monatliche Nutzungsgebühren stabile Einnahmen bei hohen Gewinnmargen.
Neben einer Reihe von selbst erhobenen Daten liefern diese Tools vor allem eines: Einen Überblick über die Google-Rankings der eigenen Seite und, noch wichtiger, die Rankings der Mitbewerber. Während man die Rankings einzelner Suchbegriffe jederzeit selbst bei Google prüfen kann, liefern Anbieter wie Sistrix (www.sistrix.de), SEOlytics, Searchmetrics (www.searchmetrics.com) und Co einen jederzeit verfügbaren Überblick über die aktuellen und historischen Rankings zu mehreren Millionen Suchbegriffen.
Verstoß gegen Googles Nutzungsbedingungen
Um diese Ranking-Daten zu erheben, senden die Anbieter automatisiert wöchentlich mehrere Millionen Suchabfragen an Google und speichern die von Google gelieferten Suchergebnisse in einer Datenbank.
In seinen Nutzungsbedingungen untersagt Google allerdings diese automatisierte Abfrage seiner Dienste. Bis vor kurzem hieß es dort: „You specifically agree not to access (or attempt to access) any of the services through any automated means (including use of scripts or web crawlers) and shall ensure that you comply with the instructions set out in any robots.txt file present on the Services.“
Mittlerweile hat Google die Aussage verallgemeinert: „Verwenden Sie unsere Dienste nicht in missbräuchlicher Art und Weise. Sie sind beispielsweise nicht berechtigt (…) in anderer Weise als über die von Google bereitgestellte Benutzeroberfläche und gemäß unseren Vorgaben auf die Dienste zuzugreifen.“ Gleichzeitig versucht Google mit einer ganzen Reihe technischer Tricks, die automatisierten Abfragen zu unterbinden. Mit ebenso vielen Gegenmaßnahmen werden diese Sperren dann wiederum von den Toolanbietern umgangen.
Millionenschaden für Google
Google betreibt mehr als eine Million Server, um seinen Nutzern in Sekundenbruchteilen die gewünschten Antworten zu liefern. Pro Suchabfrage nimmt Google laut BBC zirka zwölf Cent ein. Allerdings nur, wenn die Abfragen von echten Nutzern gestellt werden, da nur diese für Googles Werbekunden interessant sind.
Die automatisierten Abfragen durch SEO-Tools verursachen auf Googles Seite die gleichen Kosten wie echte Suchanfragen, ohne dass dem entsprechende Werbeeinnahmen gegenüberstehen. Während Google keine Möglichkeit anbietet, anderweitig an die Daten zu gelangen, gibt es bei Microsofts Bing die Möglichkeit, eine API zu nutzen.
In der günstigsten Variante werden dafür 0,0015306 Euro pro Suchabfrage mit zehn Suchergebnissen fällig. In der Regel werten die SEO-Tools die ersten 100 Ergebnisse für jeden Suchbegriff aus, was demnach zehn Abfragen entspricht. Sistrix wertet beispielsweise nach eigenen Angaben wöchentlich eine Million „Shorthead“-Suchbegriffe und monatlich zehn Millionen „Longtail„-Suchbegriffe aus.
Würde Sistrix an Google einen ähnlichen Preis für das Abgreifen der Daten bezahlen, entstünden dadurch jährliche Kosten von etwa 2,6 Millionen Euro ((1.000.000 * 10 * 52 + 10.000.000 * 10 * 12) * 0,0015306 € = 2.632.632 €). Noch mehr dürfte es im Fall von Searchmetrics sein, die mit „mehr als 100 Millionen [überwachten] Keywords“ werben.
Google geht zum Angriff über
Bisher hat Google die Abfragen offenbar toleriert und sie lediglich durch einige technische Vorkehrungen erschwert. Aktuell häufen sich jedoch die Anzeichen, dass Google die unautorisierte Nutzung seiner Daten nicht länger in Kauf nimmt.
Innerhalb nur einer Woche wurden die Anbieter Raven, SEOmoz und Ahrefs von Google aufgefordert, das Scraping beziehungsweise die Nutzung gescrapter Daten zu unterlassen: „Please cease offering any product or product feature that collects scraped data or uses scraped data“ (Quelle).
Den drei Anbietern gemein ist, dass sie alle neben den von Google ohne Genehmigung gescrapten Daten auch Daten aus Googles offizieller AdWords-API nutzen. Diesen Zugriff auf die AdWords-API nutzt Google nun als Druckmittel, um eine Beendigung des Google Scraping zu erzwingen.
Das Ende einer Branche
Andere SEO-Tools kommen ohne die Nutzung der AdWords-API aus, daher funktioniert das Druckmittel des API-Entzugs hier nicht. Entsprechend sieht beispielsweise Searchmetrics-Chef Marcus Tober für sein Produkt keine Probleme, da „sein Unternehmen keine Daten aus Google-APIs verwendet, so dass Searchmetrics ein solcher Zugriff nicht entzogen werden könne“ (golem.de).
Die Annahme, dass Sistrix, SEOlytics, Searchmetrics & Co daher vom Kurswechsel Googles nicht betroffen sind und sich in Sicherheit wägen können, ist jedoch trügerisch. Es dürfte kaum Zufall sein, dass Google kürzlich die Nutzungsbedingungen der AdWords-API derart abgeändert hat, dass der API-Zugriff jetzt als Druckmittel gegen die SEO-Toolanbieter eingesetzt werden kann.
Vielmehr kann man dies als ersten Schritt interpretieren, bei dem Google den Anbietern die Gelegenheit gibt, sich freiwillig zur Einhaltung seiner Nutzungsbedingungen zu bekennen. Im zweiten Schritt könnte Google versuchen, alle Anbieter, die nicht bereit sind, auf das Scraping zu verzichten, juristisch zu belangen. Im besten Fall erhalten Sistrix, SEOlytics, Searchmetrics und Co dann eine freundliche Aufforderung, ihr Produkt einzustellen. Tun sie das nicht, könnte Google Schadensersatz in Millionenhöhe einklagen. Das Geschäftsmodell einer ganzen Branche wäre damit am Ende.