La même question, des réponses différentes
City of Hope dans 71 réponses de ChatGPT sur le traitement du cancer sur la côte ouest
- Cité en premier
- Cité, pas en premier
- Non cité
1 000 réponses sur Richard Feynman, avec le hasard réglé à zéro
- Né à « Queens, New York »
- Né à « New York City »
Les chiffres sous forme de tableau
| Réponses | Part | |
|---|---|---|
| City of Hope dans 71 réponses de ChatGPT sur le traitement du cancer sur la côte ouest : cité en premier | 25 | 35 % |
| City of Hope dans 71 réponses de ChatGPT sur le traitement du cancer sur la côte ouest : cité, pas en premier | 44 | 62 % |
| City of Hope dans 71 réponses de ChatGPT sur le traitement du cancer sur la côte ouest : non cité | 2 | 3 % |
| 1 000 réponses sur Richard Feynman, avec le hasard réglé à zéro : né à « Queens, New York » | 992 | 99 % |
| 1 000 réponses sur Richard Feynman, avec le hasard réglé à zéro : né à « New York City » | 8 | 1 % |
Ce que l’étude a trouvé
En novembre et décembre 2025, environ 600 volontaires ont soumis les mêmes 12 demandes de recommandation à ChatGPT, Claude et l’IA de Google. Ils ont posé des questions sur des hôpitaux spécialisés en cancérologie sur la côte ouest, des fournisseurs cloud pour start-up logicielles ou de nouveaux romans de science-fiction. Ensemble, ils ont recueilli 2 961 réponses. Rand Fishkin, de SparkToro, a mené l’étude avec Patrick O'Donnell, de Gumshoe, une entreprise qui vend du suivi de l’IA (SparkToro).
Les listes concordaient rarement. ChatGPT ou l’IA de Google ont donné la même liste de marques moins d’une fois sur 100. Les mêmes marques dans le même ordre sont revenues environ une fois sur 1 000. Certaines réponses citaient 2 ou 3 marques, d’autres 10 ou plus.
Certaines marques revenaient pourtant sans cesse. City of Hope, un hôpital de Los Angeles, figurait dans 69 des 71 réponses de ChatGPT sur le traitement du cancer. Il n’était cité en premier que dans 25 d’entre elles. Dans les domaines avec peu de choix, comme les fournisseurs cloud, les noms dominants apparaissaient dans la plupart des réponses. Dans ceux qui en offrent beaucoup, comme les romans, les noms étaient dispersés.
Pourquoi les réponses changent
Le modèle choisit chaque mot avec une part de hasard. Un modèle d’IA écrit un mot à la fois, en choisissant dans une liste de mots suivants probables. Un réglage appelé température décide à quelle fréquence il choisit un mot moins probable. Au-dessus de zéro, deux exécutions peuvent diverger tôt et finir par citer des marques différentes. Voyez-le en action dans notre explication de la température.
Même à zéro, les réponses dérivent. En septembre 2025, des chercheurs de Thinking Machines ont demandé 1 000 fois à un modèle ouvert de leur parler de Richard Feynman, avec la température à zéro. Ils ont obtenu 80 réponses différentes. Toutes les 1 000 commençaient par les mêmes mots. Puis 992 disaient que Feynman était né à Queens, New York
, et 8 à New York City
. Les chercheurs ont remonté la cause jusqu’aux serveurs : le résultat peut varier selon le nombre d’autres requêtes qu’un serveur traite à ce moment-là (Thinking Machines).
La recherche derrière la réponse change. Pour beaucoup de questions, un assistant cherche d’abord sur le web. Google indique que son AI Mode et ses AI Overviews peuvent lancer plusieurs recherches liées pour une seule question, à travers des sous-thèmes et des sources de données
(Google). Des recherches différentes trouvent des pages différentes, et des pages différentes citent des marques différentes.
La personne qui pose la question n’est pas la même. Les volontaires utilisaient leurs propres comptes et réglages. L’étude ne contrôlait ni leur lieu, ni leur appareil, ni leur historique de conversation, et ses auteurs le signalent comme une limite.
Ce que cela signifie pour votre marque
Les auteurs de l’étude se sont rangés à une seule mesure. Sur des dizaines ou des centaines d’exécutions des mêmes questions, la part des réponses qui citent une marque est, selon leurs mots, « une mesure raisonnable »
. La place d’une marque dans une liste ne l’est pas : selon eux, tout outil qui donne une « position de classement dans l’IA »
est « plein de bêtises »
.
- Considérez une réponse comme un tirage. Un collègue qui vous a vu cité, ou écarté, a vu un résultat parmi beaucoup d’autres.
- Comptez combien de fois vous êtes cité, sur de nombreux essais des questions que posent vos clients.
- Suivez la tendance sur des semaines, pas sur un jour. Une baisse un mardi peut n’être que du bruit.
- Lisez ce que les réponses disent de vous, et pas seulement si vous y figurez.
Visibian pose vos questions à intervalles réguliers, chaque jour ou chaque semaine, et affiche une fourchette autour de chaque chiffre, pour distinguer un vrai changement du bruit. Comment mesurer la visibilité dans l’IA couvre le reste.
Ce que l’étude ne peut pas dire
Ses auteurs indiquent qu’elle n’a pas été relue par des pairs et qu’ils ne sont pas des chercheurs professionnels. L’un d’eux travaille pour une entreprise qui vend du suivi de l’IA, ce qu’ils déclarent. Elle portait sur trois assistants et 12 questions pendant deux mois, et des modèles plus récents peuvent se comporter autrement. Elle n’a pas examiné la façon dont les réponses décrivaient chaque marque.
Les chiffres ci-dessus sont ceux de l’étude. Nous avons lu le rapport publié le 30 octobre 2026.
Sources
- SparkToro, AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility, 28 janvier 2026.
- Thinking Machines Lab, Defeating nondeterminism in LLM inference, 10 septembre 2025.
- Google Search Central, AI features and your website, mis à jour le 10 décembre 2025.