同一个问题,不同的回答
在 71 条关于美国西海岸癌症治疗的 ChatGPT 回答中的 City of Hope
- 第一个被提到
- 被提到,但不是第一个
- 未被提到
关于 Richard Feynman 的 1,000 条回答,随机性设为零
- 出生于“Queens, New York”
- 出生于“New York City”
以表格形式呈现的数字
| 回答 | 占比 | |
|---|---|---|
| 在 71 条关于美国西海岸癌症治疗的 ChatGPT 回答中的 City of Hope:第一个被提到 | 25 | 35% |
| 在 71 条关于美国西海岸癌症治疗的 ChatGPT 回答中的 City of Hope:被提到,但不是第一个 | 44 | 62% |
| 在 71 条关于美国西海岸癌症治疗的 ChatGPT 回答中的 City of Hope:未被提到 | 2 | 3% |
| 关于 Richard Feynman 的 1,000 条回答,随机性设为零:出生于“Queens, New York” | 992 | 99% |
| 关于 Richard Feynman 的 1,000 条回答,随机性设为零:出生于“New York City” | 8 | 1% |
研究发现了什么
2025 年 11 月和 12 月,约 600 名志愿者向 ChatGPT、Claude 和 Google 的 AI 提出了同样的 12 个推荐请求,问的是美国西海岸的癌症治疗医院、适合软件初创公司的云服务商、新出版的科幻小说等。他们共收集了 2,961 条回答。这项研究由 SparkToro 的 Rand Fishkin 与 Gumshoe 的 Patrick O'Donnell 共同开展,Gumshoe 是一家销售 AI 追踪服务的公司(SparkToro)。
名单很少一致。ChatGPT 或 Google 的 AI 在 100 次尝试中给出相同品牌名单的次数不到一次;品牌相同且顺序也相同的情况,大约每 1,000 次才出现一次。有些回答提到 2 到 3 个品牌,有些则提到 10 个或更多。
但有些品牌还是一再出现。洛杉矶的医院 City of Hope 出现在 71 条关于癌症治疗的 ChatGPT 回答中的 69 条里,但只有 25 条把它排在第一位。在选择不多的领域,比如云服务商,领先的名字出现在大多数回答中;在选择很多的领域,比如小说,名字则很分散。
回答为什么会变
模型挑选每个词都带有一定的随机性。AI 模型一次写一个词,从一串可能的下一个词中挑选。一个叫作“温度”的设置决定它多常挑选可能性较低的词。只要温度高于零,两次运行就可能很早便分道扬镳,最终提到不同的品牌。在我们的温度讲解中亲眼看看这个过程。
即使温度为零,回答也会漂移。2025 年 9 月,Thinking Machines 的研究人员让一个开源模型介绍 Richard Feynman,问了 1,000 次,温度设为零。结果得到了 80 种不同的回答。所有 1,000 条回答的开头都一样,接着有 992 条说 Feynman 出生于Queens, New York
,8 条说是New York City
。研究人员追查到问题出在服务器上:结果会随着服务器当时正在处理的其他请求数量而变化(Thinking Machines)。
回答背后的搜索变了。对于很多问题,AI 助手会先在网上搜索。Google 表示,它的 AI 模式和 AI 概览可能会针对一个问题,在多个子主题和数据源
中运行若干相关搜索(Google)。不同的搜索会找到不同的页面,而不同的页面会提到不同的品牌。
提问的人不同。志愿者使用的是他们自己的账户和设置。研究没有控制他们的所在地、设备或聊天记录,作者也把这一点列为局限。
这对您的品牌意味着什么
研究的作者最终认可了一种衡量方式:在对同样的问题运行几十到几百次之后,提到某个品牌的回答所占的比例,用他们的话说,是“一个合理的指标”
。而品牌在某一份名单中的位置则不是:他们说,任何给出“AI 排名位置”
的工具都“满纸胡言”
。
- 把一条回答当作一次抽样。同事看到您被提到或被漏掉,只是看到了众多结果中的一个。
- 统计您被提到的频率,覆盖您的客户会问的问题,并多次提问。
- 看几周的趋势,而不是某一天。周二的下滑可能只是噪声。
- 不仅要看您是否出现在回答中,还要读一读回答是怎么说您的。
Visibian 会按计划(每天或每周)提出您的问题,并在每个数字周围显示一个区间,让您分辨真实的变化和噪声。其余内容请看如何衡量 AI 可见度。
这项研究无法告诉您的
作者表示,这项研究未经同行评审,他们也不是专业研究人员。其中一位作者就职于一家销售 AI 追踪服务的公司,他们对此作了披露。研究覆盖了三个 AI 助手、12 个问题,为期两个月,更新的模型表现可能不同。研究没有考察回答如何描述每个品牌。
以上数字均来自研究本身。我们于 2026 年 10 月 30 日阅读了已发布的报告。
来源
- SparkToro,AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility,2026 年 1 月 28 日。
- Thinking Machines Lab,Defeating nondeterminism in LLM inference,2025 年 9 月 10 日。
- Google Search Central,AI features and your website,更新于 2025 年 12 月 10 日。