Dieselbe Frage, verschiedene Antworten
City of Hope in 71 ChatGPT-Antworten über Krebsbehandlung an der Westküste
- Als Erste genannt
- Genannt, nicht als Erste
- Nicht genannt
1.000 Antworten über Richard Feynman, mit Zufälligkeit auf null
- Geboren in „Queens, New York“
- Geboren in „New York City“
Die Zahlen als Tabelle
| Antworten | Anteil | |
|---|---|---|
| City of Hope in 71 ChatGPT-Antworten über Krebsbehandlung an der Westküste: Als Erste genannt | 25 | 35 % |
| City of Hope in 71 ChatGPT-Antworten über Krebsbehandlung an der Westküste: Genannt, nicht als Erste | 44 | 62 % |
| City of Hope in 71 ChatGPT-Antworten über Krebsbehandlung an der Westküste: Nicht genannt | 2 | 3 % |
| 1.000 Antworten über Richard Feynman, mit Zufälligkeit auf null: Geboren in „Queens, New York“ | 992 | 99 % |
| 1.000 Antworten über Richard Feynman, mit Zufälligkeit auf null: Geboren in „New York City“ | 8 | 1 % |
Was die Studie herausfand
Im November und Dezember 2025 stellten etwa 600 Freiwillige ChatGPT, Claude und Googles KI dieselben 12 Bitten um Empfehlungen. Sie fragten etwa nach Kliniken für Krebsbehandlung an der Westküste, Cloud-Anbietern für Software-Start-ups und neuen Science-Fiction-Romanen. Zusammen sammelten sie 2.961 Antworten. Rand Fishkin von SparkToro führte die Studie mit Patrick O'Donnell von Gumshoe durch, einem Unternehmen, das KI-Tracking verkauft (SparkToro).
Die Listen stimmten selten überein. ChatGPT oder Googles KI gaben in weniger als einem von 100 Versuchen dieselbe Markenliste. Dieselben Marken in derselben Reihenfolge kamen etwa einmal in 1.000 Versuchen wieder. Manche Antworten nannten 2 oder 3 Marken, andere 10 oder mehr.
Manche Marken tauchten trotzdem immer wieder auf. City of Hope, eine Klinik in Los Angeles, war in 69 von 71 ChatGPT-Antworten über Krebsbehandlung. Als Erste genannt wurde sie nur in 25 davon. In Bereichen mit wenigen Optionen, etwa Cloud-Anbietern, tauchten die führenden Namen in den meisten Antworten auf. In Bereichen mit vielen, etwa Romanen, waren die Namen verstreut.
Warum sich die Antworten ändern
Das Modell wählt jedes Wort mit einer gewissen Wahrscheinlichkeit. Ein KI-Modell schreibt ein Wort nach dem anderen und wählt dabei aus einer Liste wahrscheinlicher nächster Wörter. Eine Einstellung namens Temperatur bestimmt, wie oft es ein weniger wahrscheinliches Wort nimmt. Über null können zwei Durchläufe früh auseinanderlaufen und am Ende verschiedene Marken nennen. Sehen Sie es in unserer Erklärung zur Temperatur.
Selbst bei null wandern die Antworten. Im September 2025 baten Forschende von Thinking Machines ein offenes Modell 1.000-mal, ihnen etwas über Richard Feynman zu erzählen, mit Temperatur null. Sie bekamen 80 verschiedene Antworten. Alle 1.000 begannen mit denselben Worten. Dann sagten 992, Feynman sei in Queens, New York
geboren, und 8 sagten New York City
. Die Forschenden führten das auf die Server zurück: Das Ergebnis kann sich damit verschieben, wie viele andere Anfragen ein Server gerade bearbeitet (Thinking Machines).
Die Suche hinter der Antwort ändert sich. Bei vielen Fragen sucht ein Assistent zuerst im Web. Google sagt, dass sein AI Mode und die AI Overviews für eine Frage mehrere verwandte Suchen ausführen können, über Unterthemen und Datenquellen
hinweg (Google). Verschiedene Suchen finden verschiedene Seiten, und verschiedene Seiten nennen verschiedene Marken.
Die fragende Person ist eine andere. Die Freiwilligen nutzten ihre eigenen Konten und Einstellungen. Die Studie kontrollierte weder ihren Standort noch ihr Gerät oder ihren Chatverlauf, und ihre Autoren nennen das als Einschränkung.
Was das für Ihre Marke bedeutet
Die Autoren der Studie kamen auf ein Maß. Über Dutzende bis Hunderte Durchläufe derselben Fragen ist der Anteil der Antworten, die eine Marke nennen, in ihren Worten „ein vernünftiges Maß“
. Der Platz einer Marke in einer einzelnen Liste ist es nicht: Jedes Tool, das eine „Rangposition in der KI“
angibt, sei „voller Unsinn“
.
- Behandeln Sie eine Antwort als eine Ziehung. Eine Kollegin, die Sie genannt oder ausgelassen gesehen hat, hat ein Ergebnis von vielen gesehen.
- Zählen Sie, wie oft Sie genannt werden, über viele Durchläufe der Fragen, die Ihre Kunden stellen.
- Beobachten Sie den Trend über Wochen, nicht über einen Tag. Ein Einbruch am Dienstag kann Rauschen sein.
- Lesen Sie, was die Antworten über Sie sagen, und nicht nur, ob Sie darin vorkommen.
Visibian stellt Ihre Fragen nach Zeitplan, täglich oder wöchentlich, und zeigt um jede Zahl eine Spanne, damit Sie eine echte Veränderung von Rauschen unterscheiden können. Wie man KI-Sichtbarkeit misst erklärt den Rest.
Was die Studie nicht sagen kann
Ihre Autoren sagen, dass sie nicht von Fachleuten begutachtet wurde und dass sie keine professionellen Forscher sind. Einer von ihnen arbeitet für ein Unternehmen, das KI-Tracking verkauft, was sie offenlegen. Sie umfasste drei Assistenten und 12 Fragen über zwei Monate, und neuere Modelle können sich anders verhalten. Wie die Antworten jede Marke beschrieben, hat sie nicht untersucht.
Die Zahlen oben sind die der Studie. Wir haben den veröffentlichten Bericht am 30. Oktober 2026 gelesen.
Quellen
- SparkToro, AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility, 28. Januar 2026.
- Thinking Machines Lab, Defeating nondeterminism in LLM inference, 10. September 2025.
- Google Search Central, AI features and your website, aktualisiert am 10. Dezember 2025.