同一個問題,不同的回答
在 71 條關於美國西海岸癌症治療的 ChatGPT 回答中的 City of Hope
- 第一個被提到
- 被提到,但不是第一個
- 未被提到
關於 Richard Feynman 的 1,000 條回答,隨機性設為零
- 出生於「Queens, New York」
- 出生於「New York City」
以表格形式呈現的數字
| 回答 | 佔比 | |
|---|---|---|
| 在 71 條關於美國西海岸癌症治療的 ChatGPT 回答中的 City of Hope:第一個被提到 | 25 | 35% |
| 在 71 條關於美國西海岸癌症治療的 ChatGPT 回答中的 City of Hope:被提到,但不是第一個 | 44 | 62% |
| 在 71 條關於美國西海岸癌症治療的 ChatGPT 回答中的 City of Hope:未被提到 | 2 | 3% |
| 關於 Richard Feynman 的 1,000 條回答,隨機性設為零:出生於「Queens, New York」 | 992 | 99% |
| 關於 Richard Feynman 的 1,000 條回答,隨機性設為零:出生於「New York City」 | 8 | 1% |
研究發現了什麼
2025 年 11 月和 12 月,約 600 名志願者向 ChatGPT、Claude 和 Google 的 AI 提出了同樣的 12 個推薦請求,問的是美國西海岸的癌症治療醫院、適合軟體初創公司的雲服務商、新出版的科幻小說等。他們共收集了 2,961 條回答。這項研究由 SparkToro 的 Rand Fishkin 與 Gumshoe 的 Patrick O'Donnell 共同開展,Gumshoe 是一家銷售 AI 追蹤服務的公司(SparkToro)。
名單很少一致。ChatGPT 或 Google 的 AI 在 100 次嘗試中給出相同品牌名單的次數不到一次;品牌相同且順序也相同的情況,大約每 1,000 次才出現一次。有些回答提到 2 到 3 個品牌,有些則提到 10 個或更多。
但有些品牌還是一再出現。洛杉磯的醫院 City of Hope 出現在 71 條關於癌症治療的 ChatGPT 回答中的 69 條裡,但只有 25 條把它排在第一位。在選擇不多的領域,比如雲服務商,領先的名字出現在大多數回答中;在選擇很多的領域,比如小說,名字則很分散。
回答為什麼會變
模型挑選每個詞都帶有一定的隨機性。AI 模型一次寫一個詞,從一串可能的下一個詞中挑選。一個叫作「溫度」的設定決定它多常挑選可能性較低的詞。只要溫度高於零,兩次執行就可能很早便分道揚鑣,最終提到不同的品牌。在我們的溫度講解中親眼看看這個過程。
即使溫度為零,回答也會漂移。2025 年 9 月,Thinking Machines 的研究人員讓一個開源模型介紹 Richard Feynman,問了 1,000 次,溫度設為零。結果得到了 80 種不同的回答。所有 1,000 條回答的開頭都一樣,接著有 992 條說 Feynman 出生於Queens, New York
,8 條說是New York City
。研究人員追查到問題出在伺服器上:結果會隨著伺服器當時正在處理的其他請求數量而變化(Thinking Machines)。
回答背後的搜尋變了。對於很多問題,AI 助手會先在網上搜索。Google 表示,它的 AI 模式和 AI 概覽可能會針對一個問題,在多個子主題和資料來源
中執行若干相關搜尋(Google)。不同的搜尋會找到不同的頁面,而不同的頁面會提到不同的品牌。
提問的人不同。志願者使用的是他們自己的帳戶和設定。研究沒有控制他們的所在地、裝置或聊天記錄,作者也把這一點列為侷限。
這對您的品牌意味著什麼
研究的作者最終認可了一種衡量方式:在對同樣的問題執行幾十到幾百次之後,提到某個品牌的回答所佔的比例,用他們的話說,是「一個合理的指標」
。而品牌在某一份名單中的位置則不是:他們說,任何給出「AI 排名位置」
的工具都「滿紙胡言」
。
- 把一條回答當作一次抽樣。同事看到您被提到或被漏掉,只是看到了眾多結果中的一個。
- 統計您被提到的頻率,覆蓋您的客戶會問的問題,並多次提問。
- 看幾週的趨勢,而不是某一天。週二的下滑可能只是噪聲。
- 不僅要看您是否出現在回答中,還要讀一讀回答是怎麼說您的。
Visibian 會按計劃(每天或每週)提出您的問題,並在每個數字周圍顯示一個區間,讓您分辨真實的變化和噪聲。其餘內容請看如何衡量 AI 可見度。
這項研究無法告訴您的
作者表示,這項研究未經同行評審,他們也不是專業研究人員。其中一位作者就職於一家銷售 AI 追蹤服務的公司,他們對此作了披露。研究覆蓋了三個 AI 助手、12 個問題,為期兩個月,更新的模型表現可能不同。研究沒有考察回答如何描述每個品牌。
以上數字均來自研究本身。我們於 2026 年 10 月 30 日閱讀了已釋出的報告。
來源
- SparkToro,AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility,2026 年 1 月 28 日。
- Thinking Machines Lab,Defeating nondeterminism in LLM inference,2025 年 9 月 10 日。
- Google Search Central,AI features and your website,更新於 2025 年 12 月 10 日。