ChatGPTやGoogleのAIが、尋ねるたびに違うブランドの名前を挙げる理由。

研究でわかったこと

2025年11月と12月に、約600人のボランティアが、ChatGPT、Claude、GoogleのAIに同じ12の推薦依頼を投げかけました。米国西海岸のがん治療の病院、ソフトウェアのスタートアップ向けのクラウド事業者、新しいSF小説などについてです。集まった回答は合計2,961件でした。この研究は、SparkToroのRand Fishkinと、AIの追跡サービスを販売するGumshoeのPatrick O'Donnellが行いました（SparkToro）。

リストが一致することはまれでした。ChatGPTやGoogleのAIが同じブランドのリストを返したのは、100回に1回未満。同じブランドが同じ順番で戻ってきたのは、およそ1,000回に1回でした。2〜3ブランドだけを挙げる回答もあれば、10以上を挙げる回答もありました。

それでも、繰り返し登場するブランドはありました。ロサンゼルスの病院City of Hopeは、がん治療に関するChatGPTの71件の回答のうち69件に登場しました。ただし、最初に名前が挙がったのは25件だけです。クラウド事業者のように選択肢の少ない分野では、上位の名前がほとんどの回答に登場しました。小説のように選択肢の多い分野では、名前はばらばらでした。

答えが変わる理由

モデルは単語を1つずつ、ある確率で選んでいます。AIモデルは、次に来そうな単語の候補から1つずつ選んで文章を書きます。温度（temperature）という設定が、可能性の低い単語をどれくらいの頻度で選ぶかを決めます。ゼロより大きければ、2回の実行は早い段階で分かれ、最後には違うブランドの名前を挙げることがあります。温度の解説で、実際にその様子を見てみましょう。

ゼロでも、答えはずれていきます。2025年9月、Thinking Machinesの研究者たちは、温度をゼロにして、1つのオープンモデルにRichard Feynmanについて1,000回尋ねました。返ってきた答えは80通り。1,000件すべてが同じ言葉で始まりましたが、992件はFeynmanがQueens, New York生まれだと答え、8件はNew York Cityと答えました。研究者たちは原因をサーバーまでたどりました。その時点でサーバーが他にいくつのリクエストを処理しているかによって、結果が変わりうるのです（Thinking Machines）。

答えの裏にある検索が変わります。多くの質問で、アシスタントはまずウェブを検索します。GoogleによるとAIモードとAIによる概要は、1つの質問に対してサブトピックやデータソースをまたいで関連する検索を何度か行うことがあります（Google）。検索が違えば見つかるページも違い、ページが違えば挙がるブランドも違います。

質問する人が違います。ボランティアは自分のアカウントと設定を使いました。研究では所在地、端末、チャット履歴をそろえておらず、著者もそれを限界として挙げています。

ブランドにとっての意味

研究の著者たちは、ある1つの指標に落ち着きました。同じ質問を数十回から数百回実行したとき、あるブランドに言及した回答の割合は、彼らの言葉で「妥当な指標」だということです。一方、1つのリストの中でのブランドの位置はそうではありません。「AIでの順位」を出すツールはどれも「でたらめだらけ」だと述べています。

• 1つの回答は、1回くじを引いた結果として扱いましょう。同僚があなたの名前が挙がった、あるいは外れたのを見たとしても、それは多くの結果のうちの1つにすぎません。
• 顧客が尋ねる質問を何度も試し、名前が挙がる頻度を数えましょう。
• 1日ではなく、数週間の推移を見ましょう。火曜日の落ち込みは揺らぎかもしれません。
• 回答に含まれているかどうかだけでなく、回答があなたについて何と言っているかも読みましょう。

Visibianは毎日または毎週のスケジュールであなたの質問を投げかけ、各数値に幅を添えて示すので、本当の変化と揺らぎを見分けられます。その他のことはAIでの可視性の測り方で取り上げています。

この研究からはわからないこと

著者たちは、この研究は査読を受けておらず、自分たちはプロの研究者ではないと述べています。著者の1人はAIの追跡サービスを販売する会社に勤めており、そのことも開示しています。対象は3つのアシスタントと12の質問、期間は2か月で、新しいモデルでは振る舞いが違う可能性があります。回答が各ブランドをどう説明したかは調べていません。

上の数値は研究自体のものです。公開されたレポートは2026年10月30日に読みました。