ChatGPT와 Google AI가 물을 때마다 다른 브랜드를 말하는 이유.

연구 결과

2025년 11월과 12월, 약 600명의 자원봉사자가 ChatGPT, Claude, Google의 AI에 같은 추천 요청 12개를 던졌습니다. 미국 서부 해안의 암 치료 병원, 소프트웨어 스타트업에 맞는 클라우드 업체, 새로 나온 SF 소설 같은 것들이었습니다. 이렇게 모은 답변은 모두 2,961개였습니다. 이 연구는 SparkToro의 Rand Fishkin과, AI 추적 서비스를 판매하는 Gumshoe의 Patrick O'Donnell이 진행했습니다(SparkToro).

목록이 일치하는 경우는 드물었습니다. ChatGPT나 Google의 AI가 같은 브랜드 목록을 내놓은 것은 100번에 1번도 안 됐습니다. 같은 브랜드가 같은 순서로 나온 것은 약 1,000번에 1번이었습니다. 브랜드를 2~3개만 말하는 답변도 있었고, 10개 이상을 말하는 답변도 있었습니다.

그래도 몇몇 브랜드는 계속해서 나왔습니다. 로스앤젤레스의 병원 City of Hope는 암 치료에 관한 ChatGPT 답변 71개 중 69개에 나왔습니다. 하지만 처음 언급된 것은 25개뿐이었습니다. 클라우드 업체처럼 선택지가 적은 분야에서는 선두 업체의 이름이 대부분의 답변에 나왔고, 소설처럼 선택지가 많은 분야에서는 이름이 흩어졌습니다.

답이 바뀌는 이유

모델은 단어를 하나씩, 일정한 확률로 고릅니다. AI 모델은 다음에 올 법한 단어 목록에서 하나씩 골라 글을 씁니다. 온도(temperature)라는 설정이 가능성이 낮은 단어를 얼마나 자주 고를지 정합니다. 0보다 크면 두 번의 실행이 초반에 갈라져 결국 다른 브랜드를 말할 수 있습니다. 온도 설명 페이지에서 직접 확인해 보세요.

0으로 둬도 답은 달라집니다. 2025년 9월, Thinking Machines의 연구진은 온도를 0으로 두고 공개 모델 하나에게 Richard Feynman에 대해 1,000번 물었습니다. 돌아온 답은 80가지였습니다. 1,000개 모두 같은 말로 시작했지만, 992개는 Feynman이 Queens, New York에서 태어났다고 했고 8개는 New York City라고 했습니다. 연구진은 원인을 서버에서 찾았습니다. 그 순간 서버가 처리하던 다른 요청의 수에 따라 결과가 달라질 수 있었던 것입니다(Thinking Machines).

답변 뒤의 검색이 달라집니다. 많은 질문에서 어시스턴트는 먼저 웹을 검색합니다. Google에 따르면 AI 모드와 AI 개요는 질문 하나에 대해 하위 주제와 데이터 소스에 걸쳐 관련 검색을 여러 번 실행할 수 있습니다(Google). 검색이 다르면 찾는 페이지가 다르고, 페이지가 다르면 언급되는 브랜드도 다릅니다.

묻는 사람이 다릅니다. 자원봉사자들은 각자의 계정과 설정을 사용했습니다. 연구는 위치, 기기, 채팅 기록을 통제하지 않았고, 저자들도 이를 한계로 꼽았습니다.

브랜드에 주는 의미

연구 저자들은 한 가지 측정 방식에 동의했습니다. 같은 질문을 수십 번에서 수백 번 실행했을 때 어떤 브랜드를 언급한 답변의 비율은, 그들의 표현으로 ‘합리적인 지표’라는 것입니다. 하지만 목록 하나에서 브랜드가 차지한 자리는 그렇지 않습니다. 그들은 ‘AI 순위’를 내놓는 도구는 모두 ‘엉터리투성이’라고 말합니다.

• 답변 하나는 한 번 뽑은 결과로 생각하세요. 동료가 우리가 언급되거나 빠진 것을 봤다면, 수많은 결과 중 하나를 본 것입니다.
• 고객이 묻는 질문을 여러 번 시도해서 우리가 얼마나 자주 언급되는지 세어 보세요.
• 하루가 아니라 몇 주에 걸친 추이를 보세요. 화요일의 하락은 흔들림일 수 있습니다.
• 답변에 들어 있는지만이 아니라, 답변이 우리에 대해 뭐라고 하는지도 읽어 보세요.

Visibian은 매일 또는 매주 정해진 일정에 따라 질문을 던지고, 수치마다 범위를 함께 보여 주므로 실제 변화와 흔들림을 구분할 수 있습니다. 나머지는 AI 가시성 측정 방법에서 다룹니다.

이 연구로 알 수 없는 것

저자들은 이 연구가 동료 심사를 거치지 않았고 자신들이 전문 연구자가 아니라고 밝힙니다. 저자 중 한 명은 AI 추적 서비스를 판매하는 회사에서 일하며, 이 사실도 공개했습니다. 연구는 어시스턴트 3개와 질문 12개를 두 달 동안 다뤘고, 새 모델은 다르게 작동할 수 있습니다. 답변이 각 브랜드를 어떻게 설명했는지는 살피지 않았습니다.

위 수치는 연구 자체의 수치입니다. 공개된 보고서는 2026년 10월 30일에 읽었습니다.