La misma pregunta, respuestas distintas
City of Hope en 71 respuestas de ChatGPT sobre tratamiento del cáncer en la costa oeste
- Nombrado primero
- Nombrado, no primero
- No nombrado
1000 respuestas sobre Richard Feynman, con la aleatoriedad a cero
- Nacido en “Queens, New York”
- Nacido en “New York City”
Las cifras en una tabla
| Respuestas | Proporción | |
|---|---|---|
| City of Hope en 71 respuestas de ChatGPT sobre tratamiento del cáncer en la costa oeste: Nombrado primero | 25 | 35 % |
| City of Hope en 71 respuestas de ChatGPT sobre tratamiento del cáncer en la costa oeste: Nombrado, no primero | 44 | 62 % |
| City of Hope en 71 respuestas de ChatGPT sobre tratamiento del cáncer en la costa oeste: No nombrado | 2 | 3 % |
| 1000 respuestas sobre Richard Feynman, con la aleatoriedad a cero: Nacido en “Queens, New York” | 992 | 99 % |
| 1000 respuestas sobre Richard Feynman, con la aleatoriedad a cero: Nacido en “New York City” | 8 | 1 % |
Qué encontró el estudio
En noviembre y diciembre de 2025, unos 600 voluntarios hicieron las mismas 12 peticiones de recomendación a ChatGPT, Claude y la IA de Google. Preguntaron por cosas como hospitales oncológicos de la costa oeste, proveedores de nube para startups de software y novelas nuevas de ciencia ficción. Entre todos reunieron 2961 respuestas. Rand Fishkin, de SparkToro, dirigió el estudio con Patrick O'Donnell, de Gumshoe, una empresa que vende seguimiento de IA (SparkToro).
Las listas rara vez coincidían. ChatGPT o la IA de Google dieron la misma lista de marcas menos de una vez de cada 100 intentos. Las mismas marcas en el mismo orden volvieron aproximadamente una vez de cada 1000. Algunas respuestas nombraban 2 o 3 marcas; otras, 10 o más.
Aun así, algunas marcas aparecían una y otra vez. City of Hope, un hospital de Los Ángeles, estuvo en 69 de 71 respuestas de ChatGPT sobre tratamiento del cáncer. Solo fue nombrado primero en 25 de ellas. En ámbitos con pocas opciones, como los proveedores de nube, los nombres principales salían en la mayoría de las respuestas. En ámbitos con muchas, como las novelas, los nombres estaban dispersos.
Por qué cambian las respuestas
El modelo elige cada palabra con cierta probabilidad. Un modelo de IA escribe una palabra cada vez, eligiendo de una lista de siguientes palabras probables. Un ajuste llamado temperatura decide con qué frecuencia elige una palabra menos probable. Por encima de cero, dos ejecuciones pueden separarse pronto y acabar nombrando marcas distintas. Míralo en nuestra explicación de la temperatura.
Incluso a cero, las respuestas se desvían. En septiembre de 2025, investigadores de Thinking Machines pidieron 1000 veces a un modelo abierto que les hablara de Richard Feynman, con la temperatura a cero. Obtuvieron 80 respuestas distintas. Las 1000 empezaban con las mismas palabras. Luego, 992 decían que Feynman nació en Queens, New York
, y 8 decían New York City
. Los investigadores lo atribuyeron a los servidores: el resultado puede variar según cuántas otras peticiones esté atendiendo un servidor en ese momento (Thinking Machines).
Cambia la búsqueda que hay detrás de la respuesta. Para muchas preguntas, un asistente busca primero en la web. Google dice que su AI Mode y sus AI Overviews pueden hacer varias búsquedas relacionadas para una sola pregunta, sobre subtemas y fuentes de datos
(Google). Búsquedas distintas encuentran páginas distintas, y páginas distintas nombran marcas distintas.
Cambia la persona que pregunta. Los voluntarios usaron sus propias cuentas y ajustes. El estudio no controló su ubicación, su dispositivo ni su historial de chat, y sus autores lo señalan como una limitación.
Qué significa para tu marca
Los autores del estudio se quedaron con una sola medida. A lo largo de decenas o cientos de ejecuciones de las mismas preguntas, la proporción de respuestas que nombran una marca es, en sus palabras, “una métrica razonable”
. El puesto de una marca en una lista no lo es: dicen que cualquier herramienta que dé una “posición en el ranking de la IA”
está “llena de tonterías”
.
- Trata una respuesta como una tirada. Un colega que te vio nombrado, o fuera, vio un resultado entre muchos.
- Cuenta cuántas veces te nombran, a lo largo de muchos intentos de las preguntas que hacen tus clientes.
- Mira la tendencia durante semanas, no un día. Una caída el martes puede ser ruido.
- Lee lo que dicen de ti las respuestas, además de si apareces en ellas.
Visibian hace tus preguntas con regularidad, a diario o cada semana, y muestra un intervalo alrededor de cada cifra, para que distingas un cambio real del ruido. Cómo medir la visibilidad en IA cubre el resto.
Qué no puede decirte el estudio
Sus autores dicen que no fue revisado por pares y que no son investigadores profesionales. Uno de ellos trabaja para una empresa que vende seguimiento de IA, algo que declaran. Abarcó tres asistentes y 12 preguntas durante dos meses, y los modelos más nuevos pueden comportarse de otra forma. No analizó cómo describían las respuestas a cada marca.
Las cifras de arriba son las del propio estudio. Leímos el informe publicado el 30 de octubre de 2026.
Fuentes
- SparkToro, AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility, 28 de enero de 2026.
- Thinking Machines Lab, Defeating nondeterminism in LLM inference, 10 de septiembre de 2025.
- Google Search Central, AI features and your website, actualizado el 10 de diciembre de 2025.