Google-Extended Tokens Einfluss auf Web-Crawler und KI-Produkte
February 9, 2024

In einer kürzlich erfolgten Aktualisierung seiner Dokumentation hat Google Klarheit in die Funktionsweise des Google-Extended Tokens gebracht, welches Teil des Google Crawler (User Agent) ist. Im Zentrum der Neuerung steht die Umbenennung des Produktnamens von "Bard" zu "Gemini". Diese Änderung hat jedoch laut Google keinen Einfluss auf die Suchergebnisse oder die Platzierung von Websites in der Google-Suche.
Es wurde ausdrücklich hinzugefügt, dass Google-Extended "keinen Einfluss auf die Aufnahme oder das Ranking einer Website in der Google-Suche hat". Google-Extended ist ein eigenständiges Produkt-Token, das Web-Publisher verwenden können, um zu steuern, ob ihre Websites zur Verbesserung der Gemini Apps (ehemals Bard) und der generativen APIs von Vertex AI beitragen, einschließlich zukünftiger Modelle, die diese Produkte antreiben.
Interessanterweise verwendet Google-Extended keinen separaten HTTP-Anforderungs-User-Agent-String. Das Crawling erfolgt mit bestehenden Google-User-Agent-Strings; das Token für den User-Agent in der robots.txt-Datei wird in einer Kontrollkapazität verwendet.
Es ist auch zu beachten, dass Google-Extended nicht dafür verwendet wird, zu steuern, was in der Suchergebnis-Generationserfahrung (SGE) von Google angezeigt wird oder nicht. Hierbei handelt es sich um ein Experiment im Bereich der Google-Suche, und Website-Administratoren sollten weiterhin den Googlebot-User-Agent über die robots.txt und das NOINDEX-Meta-Tag verwenden, um ihre Inhalte in den Suchergebnissen zu verwalten, einschließlich Experimenten wie SGE.
Google-Extended wurde eingeführt, um Publishern mehr Kontrolle darüber zu geben, wie ihre Inhalte von Googles KI-Produkten verwendet werden, insbesondere im Kontext der sich schnell entwickelnden Landschaft generativer KI-Anwendungen. Die Klarstellung, dass Google-Extended keine Auswirkungen auf die Google-Suchergebnisse hat, ist daher für Publisher und SEO-Experten von Bedeutung, da sie sicherstellen können, dass ihre Optimierungsanstrengungen auf die Suchmaschine selbst und nicht auf periphere Produkte gerichtet sind.
Die Tatsache, dass Google-Extended nicht für die Steuerung von Inhalten verwendet wird, die in der SGE verwendet werden, ist ebenfalls von Bedeutung. SGE ist als Teil der Sucherfahrung von Google konzipiert und soll nach den üblichen Richtlinien für Suchanfragen funktionieren. Sollten Publisher nicht wollen, dass ihre Inhalte für SGE-AI-gestützte Antworten verwendet werden, müssten sie Googlebot vollständig blockieren, was für die meisten sicher keine wünschenswerte Option darstellt.
In Anbetracht dieser Entwicklungen bleibt es für Publisher und SEO-Experten wichtig, auf dem Laufenden zu bleiben und zu verstehen, wie verschiedene Google-Produkte und -Tokens ihre Webpräsenz beeinflussen können. Die jüngste Klarstellung von Google zu Google-Extended bietet dabei eine gewisse Beruhigung, dass die Platzierung und Sichtbarkeit in der Google-Suche durch dieses spezifische Token nicht beeinträchtigt wird.
Die Weiterentwicklung von KI-gesteuerten Produkten und Dienstleistungen wie Gemini Apps und Vertex AI generative APIs stellt eine faszinierende Zukunft für das Web und die Art und Weise dar, wie Inhalte generiert und konsumiert werden. Während Google-Extended eine wichtige Rolle bei der Verwaltung der Nutzung von Website-Inhalten durch diese Produkte spielt, bleibt es für Website-Betreiber und SEO-Experten wichtig, die Grundlagen der Suchmaschinenoptimierung nicht aus den Augen zu verlieren, um ihre Online-Präsenz zu stärken und ihre Zielgruppen effektiv zu erreichen.