AI 정확도 보관 - Dike Homme

AI를 쓰다 보면 AI가 틀린 정보를 자신 있게 주는 경험을 하게 된다. 이걸 할루시네이션(hallucination)이라고 한다. AI가 없는 사실을 있는 것처럼 지어내는 현상이다.

그런데 GPT, Claude, Gemini 중 어떤 모델이 할루시네이션을 가장 많이 일으킬까? “객관적으로 할루시네이션이 많은 AI는?” 이라는 질문에 제대로 답하려면 감이 아니라 데이터가 필요하다.

2025~2026년에 공개된 주요 벤치마크 결과를 모아서, 이 질문에 대한 현재까지의 답을 정리했다.

할루시네이션이 뭔지 아직 잘 모르겠다면, AI 할루시네이션이란? — 원리를 알면 AI가 덜 무섭다를 먼저 읽어보는 걸 추천한다.

벤치마크별 비교

AI의 할루시네이션을 비교하려면 먼저 “어떤 기준으로 측정했는가”를 알아야 한다. 같은 모델이라도 벤치마크에 따라 점수가 완전히 달라진다. 현재 가장 많이 인용되는 벤치마크 2가지로, 각각 어떤 결과가 나왔는지 정리한다.

1. Vectara — 문서 요약 테스트

업계에서 가장 널리 인용되는 할루시네이션 리더보드다. 측정 방식은 단순하다. AI에게 문서를 주고 요약하라고 시킨 다음, 원문에 없는 내용을 얼마나 지어냈는지 비율을 측정한다.

2025년 4월까지는 약 1,000개의 짧은 문서로 테스트했는데, 2026년 2월에 대대적으로 업그레이드했다. 새 데이터셋은 7,700개 이상의 긴 기사(최대 32K 토큰)를 사용하며, 법률 · 의료 · 금융 · 기술 분야를 포함한다. 이 업그레이드 이후 모든 모델의 할루시네이션 비율이 3~10배 뛰었다.

구 데이터셋 (2025년 4월, 약 1,000개 짧은 문서) — 할루시네이션 높은 순

모델	할루시네이션 비율
Claude 3.7 Sonnet	4.4%
GPT-4.1	2.0%
o3-mini-high (OpenAI)	0.8%
Gemini 2.0 Pro-Exp	0.8%
Gemini 2.0 Flash	0.7%

신 데이터셋 (2026년 2월, 7,700개 긴 문서) — 할루시네이션 높은 순

모델	할루시네이션 비율
Gemini 3 Pro	13.6%
Claude Opus 4.6	12.2%
GPT-5.2-high	10.8%
Claude Sonnet 4.6	10.6%
Gemini 3.1 Pro Preview	10.4%
Gemini 2.5 Pro	7.0%
GPT-4.1	5.6%
o3-mini-high (OpenAI)	4.8%
Gemini 2.5 Flash-Lite	3.3%

구 데이터셋에서는 전체적으로 5% 미만이었는데, 신 데이터셋에서는 최신 추론 모델들이 전부 10%를 넘었다. 문서가 길고 복잡해지면 모든 AI가 더 많이 지어낸다는 뜻이다.

출처: Vectara Hallucination Leaderboard, Vectara Blog — Introducing the Next Generation, Suprmind AI Hallucination Rates & Benchmarks

2. AA-Omniscience — 모르면 모른다고 써도 되는 시험

6개 분야(비즈니스, 인문사회, 보건, 법률, 소프트웨어 공학, 과학·수학) 42개 주제에 걸쳐 6,000개 질문으로 지식과 할루시네이션을 동시에 측정한다.

이 벤치마크의 독특한 점은 “모른다”고 대답하면 감점하지 않고, 틀린 답변만 감점하는 방식이라는 거다. 즉, 확실하지 않으면 답하지 않는 모델이 높은 점수를 받는 구조다. 실무에서 AI를 쓸 때 가장 중요한 덕목 — “모르면 모른다고 말하기” — 을 직접 측정한다.

Omniscience Index는 -100~100 범위이며, 높을수록 좋다. 틀린 답변이 많으면 마이너스까지 갈 수 있다. 할루시네이션 높은 순:

모델	정확도	할루시네이션 비율	Omniscience Index
Gemini 3 Flash	54.0%	91%	—
Gemini 3 Pro	55.9%	88%	16
GPT-5.1 (high)	37.6%	81%	—
GPT-5.2 (xhigh)	43.8%	~78%	—
Claude Opus 4.5	45.7%	58%	—
Gemini 3.1 Pro Preview	55.3%	50%	33
Claude Sonnet 4.6	—	~38%	—
Claude 4.5 Haiku	—	25%	—
Claude Opus 4.6	46.4%	—	14

여기서 “정확도가 높은데 할루시네이션도 높다”는 게 이상해 보일 수 있다. 정확도가 높으면 할루시네이션은 낮아야 하는 거 아닌가?

핵심은 “답변 거부”라는 세 번째 선택지가 있다는 거다. AI가 질문을 받으면 세 가지 중 하나를 한다: 맞히거나, 틀리거나, 모른다고 거부하거나. 이 세 가지를 합치면 100%다.

시험에 비유하면 이렇다. 100문제짜리 시험인데, 모르면 건너뛸 수 있다.

Gemini 3 Flash = 100문제를 전부 풀었다. 54문제를 맞히고 46문제를 틀렸다. 정확도 54%, 할루시네이션 91%. 맞히는 것도 많지만, 모르는 문제도 찍어서 틀린 것도 엄청 많다.
Claude 4.5 Haiku = 확실한 문제만 풀고 나머지는 건너뛰었다. 맞힌 건 적지만, 틀린 것도 적다. 할루시네이션 25%.

같은 시험에서 “많이 푼 학생”과 “확실한 것만 푼 학생”의 차이다. 정확도는 “맞힌 수 / 전체 문제 수”이고, 할루시네이션은 “틀린 수 / 답한 문제 수”에 가깝다. 그래서 둘 다 높을 수 있다.

실무에서 이게 왜 중요하냐면, GPT-5.1은 정확도 37.6%에 할루시네이션 81%다. 대부분의 질문에 답을 하긴 하는데, 그 답 중 상당수가 틀렸다는 뜻이다. 반면 Claude 계열은 정확도는 낮아도, 답한 것 중에서는 틀리는 비율이 훨씬 적다. “모르면 안 답하는” 전략이 실제로 작동하고 있는 거다.

출처: Artificial Analysis — AA-Omniscience, Suprmind AI Hallucination Rates & Benchmarks

그래서 어떤 AI가 가장 정확한가?

벤치마크 2개를 종합하면, 상황에 따라 답이 다르다. 하나의 모델이 모든 상황에서 가장 정확한 건 아니다.

문서 기반 작업 (요약, 분석, 리서치): Gemini 우세

문서를 주고 “이걸 요약해줘”, “이 계약서 분석해줘” 같은 작업에서는 Gemini 계열이 일관되게 가장 낮은 할루시네이션 비율을 보인다. Vectara 구 데이터셋에서 Gemini 2.0 Flash가 0.7%로 1위, 신 데이터셋에서도 Gemini 2.5 Flash-Lite가 3.3%로 1위다.

이유가 있다. Google은 검색 엔진 회사다. 주어진 문서에서 정보를 정확하게 추출하는 건 Google이 수십 년간 해온 일이다. 이 DNA가 Gemini에도 반영되어 있다.

“모르면 모른다”고 말하는 능력: Claude 강점

AA-Omniscience에서 Claude 4.5 Haiku는 할루시네이션 비율 25%로 3사 중 가장 낮다. Claude의 Constitutional AI 훈련 방식 때문에, Claude는 확실하지 않으면 추측하기보다 답변을 거부하는 경향이 있다. 실무에서 “틀린 답보다 차라리 모른다는 답이 낫다”라고 판단한다면, Claude가 상대적으로 안전한 선택이다.

GPT는 어디에 위치하나?

GPT는 두 벤치마크에서 중간 지대에 있다. Vectara 신 데이터셋에서 GPT-5.2-high는 10.8%로 Claude Sonnet 4.6(10.6%)과 거의 같은 수준이고, AA-Omniscience에서 GPT-5.1은 할루시네이션 81%로 Gemini 3 Pro(88%)보다는 낮지만 Claude 계열(25~58%)보다는 한참 높다.

다만 GPT-4.1(비추론 모델)은 Vectara에서 5.6%로 상당히 안정적이다. GPT 계열 안에서도 추론 모델(GPT-5 계열)과 비추론 모델(GPT-4.1)의 차이가 크다. “GPT가 좋다/나쁘다”로 한 줄 평하기 어려운 이유다.

가장 흥미로운 발견: 추론 모델의 역설

2025~2026년 할루시네이션 연구에서 발견한 사실이 하나 있다.

“생각을 더 많이 하는 모델이 거짓말을 더 많이 한다.”

Vectara 신 데이터셋 기준으로, 추론(reasoning/thinking) 기능이 탑재된 모델들 — GPT-5, Claude Sonnet 4.6, Grok-4, DeepSeek-R1 — 은 전부 할루시네이션 비율이 10%를 넘었다. 반면 비추론 모델인 Gemini 2.5 Flash-Lite는 3.3%에 불과했다.

왜 이런 일이 생기는 걸까?

추론 모델은 답을 내기 전에 “생각하는 시간”을 갖는다. 수학 문제나 논리 퍼즐에서는 이게 큰 장점이다. 하지만 문서 요약에서는 오히려 독이 된다. 원문 내용을 충실하게 옮기는 대신, “이 문맥이라면 이런 내용도 있을 것 같은데”라고 스스로 추론해서 없는 내용을 추가하는 거다.

비유하면 이렇다. 회의록 작성을 시켰는데, 성실한 신입이 “이 맥락이면 이런 결론이었겠지”라고 판단해서 실제로 나오지 않은 결론을 써넣는 것과 같다. 머리가 좋을수록 이런 실수를 더 자신 있게 한다.

실무적 시사점: 요약·분석·리서치처럼 “주어진 정보에 충실하게”가 중요한 작업에서는, 최신 추론 모델보다 비추론 모델(Flash 계열 등)이 더 안전할 수 있다. 반대로 복잡한 추론이 필요한 작업(수학, 코딩, 전략 수립)에서는 추론 모델이 여전히 압도적이다. 용도에 맞게 골라 써야 한다.

벤치마크 숫자를 어떻게 해석해야 할까?

벤치마크마다 측정 대상이 다르다

이 글에서 인용한 벤치마크 2개만 봐도, 같은 모델의 할루시네이션 비율이 벤치마크에 따라 3%가 되기도 하고 50%가 되기도 한다. 이건 모델이 이상한 게 아니라 측정의 목적과 방식이 다르기 때문이다.

벤치마크	측정 대상	비유
Vectara	문서 요약 충실도	“교과서 보고 시험 보기”
AA-Omniscience	지식 + 자기 인지	“모르면 모른다고 써도 되는 시험”

Vectara에서 Gemini가 0.7%고 Claude가 4.4%라고 해서 “Claude가 Gemini보다 6배 부정확하다”고 결론 내면 안 된다. Vectara는 문서 기반 요약 테스트일 뿐이다.

데이터셋 난이도에 따라 숫자가 완전히 달라진다

Vectara의 구 데이터셋(쉬운 버전)에서 GPT-4.1은 2.0%였다. 신 데이터셋(어려운 버전)에서는 5.6%로 뛰었다. 데이터셋이 바뀌면 절대적인 숫자 비교는 의미가 없어진다. 같은 데이터셋 내에서의 상대 순위만 비교해야 한다.

실사용 할루시네이션 ≠ 벤치마크 할루시네이션

벤치마크는 통제된 환경에서 특정 유형의 질문만 테스트한다. 내가 실무에서 “이 계약서의 리스크를 분석해줘”라고 시키는 것과, 벤치마크에서 “이 기사를 요약해줘”라고 시키는 건 완전히 다른 상황이다. 벤치마크 숫자는 경향성 파악용이지, “이 모델의 할루시네이션 비율은 정확히 3.3%다”라고 확정하는 용도가 아니다.

그래서 어떤 모델을 골라야 하나?

벤치마크 데이터를 종합하면, 용도에 따라 답이 갈린다.

작업 유형	추천 모델 계열	근거
문서 요약·분석	Gemini Flash 계열	Vectara 문서 충실도 1위, 비추론 모델이라 과잉 해석 적음
팩트체크가 중요한 작업	Claude 계열	AA-Omniscience 할루시네이션 최저, “모르면 안 답하는” 성향
복잡한 추론·코딩	GPT-5, Claude Opus 4.6	추론 능력은 여전히 최상위 (단, 요약 작업에는 과잉)
속도가 중요한 대량 작업	각 사의 경량 모델 (Haiku, Flash-Lite, GPT-4.1)	비용 대비 할루시네이션 비율도 양호

어떤 모델을 쓰든 할루시네이션이 0%가 되진 않는다. 모델 선택만큼 중요한 건 사용 방법이다. 출처 기반으로 질문하기, “확실해?”라고 되묻기, 중요한 정보는 교차 검증하기 — 이런 실전 팁은 AI 할루시네이션이란? — 원리를 알면 AI가 덜 무섭다에서 자세히 다뤘다.

정리

“어떤 AI가 가장 정확한가”에 대한 답은 “상황에 따라 다르다”가 정직한 답이다. 하지만 2026년 하루시네이션 연구에서 벤치마크 데이터를 종합하면 몇 가지 경향이 분명하다.

첫째, 문서 기반 작업에서는 Gemini가 가장 낫다. 요약, 분석, 리서치 같은 작업이라면 Gemini Flash 계열이 할루시네이션 비율이 가장 낮다.

두째, “모르면 모른다”는 태도는 Claude가 가장 강하다. 틀린 답보다 답변 거부가 낮은 상황이라면 Claude가 안전하다.

셋째, 추론 모델은 “더 똑똑하지만 더 많이 지어낸다.” GPT-5, Claude Sonnet 4.6, Gemini 3 Pro 등 최신 추론 모델들은 전부 Vectara 기준 할루시네이션 10%를 넘예다. 추론이 필요 없에 작업에 추론 모델을 쓰면 오히려 손해다.

결국 AI를 잘 쓰다는 건, 하나의 “최고 모델을 찾는 게 아니라 작업 유형에 맞는 모델을 골라 쓰는 것이다.

참고 출쵘

이 글에서 인용한 벤치마크 수치는 2026년 4월 기준 공개된 데이터다. AI 모델은 빠르게 업데이트되므로, 최신 수치는 각 벤치마크 사이트에서 직접 확인하는 것을 권장한다.

[태그:] AI 정확도

GPT vs Claude vs Gemini, 어떤 AI가 거짓말을 가장 많이 할까?