Neue Google-Extended Crawler-Dokumentation stärkt Kontrolle von Webpublishern

Im September 2023 hat Google eine Aktualisierung seiner Dokumentation für den Google-Extended Webcrawler durchgeführt. Diese Anpassung ist von besonderer Bedeutung für Webpublisher und SEO-Experten, da sie neue Möglichkeiten zur Kontrolle darüber bietet, wie Inhalte von Google gecrawlt und möglicherweise in der Ausbildung von künstlicher Intelligenz verwendet werden können. Google-Extended ist ein Benutzeragent, der es Webpublishern erlaubt, zu steuern, ob und wie ihre Websites zur Verbesserung von Gemini Apps und Vertex AI generativen APIs beitragen, was auch zukünftige Modellgenerationen einschließt, die diese Produkte antreiben. Google-Extended wurde ursprünglich am 28. September 2023 eingeführt und als "eigenständiges Produkt-Token" beschrieben, eine Terminologie, die für Verleger in Bezug auf User Agents nicht standardmäßig ist. Mit dieser Aktualisierung haben Webpublisher nun die Möglichkeit, den Zugriff des Google-Extended Benutzeragenten über das Robots Exclusion Protocol zu erlauben oder zu verhindern. Dies bedeutet, dass sie auswählen können, nicht Teil der Datenerfassung zu sein, die für das Training von KI-Modellen verwendet wird. Die Relevanz dieser Aktualisierung liegt darin, dass es Bedenken gab, dass das Blockieren des Google-Extended Crawler möglicherweise Auswirkungen auf die Suchergebnisse haben könnte. Dies wurde von Google in der überarbeiteten Dokumentation klar adressiert. Die Änderung des Namens von Bard zu Gemini Apps und die Spezifizierung, dass das Indexieren durch Google-Extended jetzt zu Gemini Apps und Vertex AI generativen APIs beiträgt, wurden deutlich gemacht. Besonders wichtig ist die Bestätigung, dass Google-Extended keine Auswirkungen auf die Einbeziehung oder das Ranking in der Google-Suche hat. Das Blockieren von Google-Extended erfolgt über die Angabe des Benutzeragenten "Google-Extended" im robots.txt-File einer Website: User-agent: Google-Extended Disallow: / Google unterhält ein Änderungsprotokoll (Changelog) für wichtige Aktualisierungen in der Kommunikation mit Webpublishern und der Suchmarketing-Community. In diesem Protokoll wurde die Änderung an der Google-Extended Dokumentation bekannt gegeben. Die Anpassung in der Beschreibung des Google-Extended Produkt-Tokens ist eine direkte Reaktion auf das Feedback der Publisher, die eine klare Aussage darüber wünschten, dass Google-Extended keinen Einfluss auf die Google-Suche hat. Webpublisher, die sich entscheiden, Google-Extended zu blockieren, können dies also tun, ohne sich Sorgen um negative Auswirkungen auf ihre Sichtbarkeit in der Google-Suche machen zu müssen. Damit wird ein wichtiger Aspekt der Transparenz und Kontrolle abgedeckt, der für diejenigen, die im digitalen Raum tätig sind, von großer Bedeutung ist. Die Aktualisierung der Crawler-Dokumentation ist ein Zeichen dafür, dass Google das Feedback seiner Nutzer ernst nimmt und bereit ist, seine Prozesse entsprechend anzupassen. Es zeigt auch, wie die dynamische Natur des Internets und insbesondere die Entwicklung von künstlicher Intelligenz neue Herausforderungen und Entscheidungen für Webpublisher und SEO-Experten mit sich bringt. Mit der Einführung von Google-Extended bietet Google eine differenzierte Steuerungsmöglichkeit, die es ermöglicht, den Einfluss auf die Generierung künstlicher Intelligenz zu managen, während gleichzeitig die Kernfunktionalitäten der Suchmaschinenoptimierung unangetastet bleiben. Das Verständnis und die Anwendung solcher Kontrollmechanismen sind entscheidend für den Erfolg im Online-Marketing. Unternehmen und Organisationen, die ihre Online-Präsenz optimieren wollen, müssen sich nicht nur mit den Grundlagen der Suchmaschinenoptimierung auskennen, sondern auch mit den fortgeschrittenen Techniken und Werkzeugen, die Google zur Verfügung stellt. In diesem Zusammenhang spielt die Nutzung von fortschrittlichen KI-Tools, wie sie von der deutschen KI-Programmatic-SEO-Firma dvision angeboten werden, eine zunehmend wichtige Rolle. Solche Tools können dabei helfen, die Markensichtbarkeit zu steigern und hochwertigen Traffic anzuziehen – effizient, skalierbar und datengetrieben.