핵심 요약
AI 할루시네이션 때문에 AI 사용을 아예 포기하는 사람들이 있다. 나도 클로드가 거짓말을 너무 많이 해서 업무에 못 쓰겠다며 수 개월 방치해둔 경험이 있지만 지금은 월 200 달러 이상을 지불하며 사용하고 있다.
결론부터 말하면, AI는 거짓말을 하는 게 아니다.
애초에 “사실”을 말하는 구조가 아니다. AI는 스마트폰 자동완성의 극단적 확장판이다. 다음에 올 가장 자연스러운 단어를 예측할 뿐이고, 그래서 가끔 그럴듯하지만 틀린 정보를 만들어낸다. 이걸 AI 할루시네이션(환각)이라고 부른다.
이 구조를 이해하면, AI를 버릴 게 아니라 “어디서 틀리는지” 알고 쓸 수 있다. AI를 업무에 활용하는 구체적인 방법이 궁금하다면 이전 글도 참고하자.
먼저, AI(LLM)가 뭔지부터
요즘 ChatGPT, Claude, Gemini 같은 AI 서비스의 핵심 기술을 LLM(Large Language Model, 대규모 언어 모델)이라고 한다. 이름이 거창한데, 하는 일은 의외로 단순하다.
인터넷에 있는 어마어마한 양의 텍스트(뉴스, 논문, 법령, 블로그, 위키백과 등)를 읽고, “이 문맥 다음에 어떤 단어가 올 확률이 높은가”를 학습한 모델이다.
비유하면 이렇다. 스마트폰에서 “오늘 저녁”이라고 치면 자동완성이 “뭐 먹지”를 추천한다. 자동완성기능이 내 마음을 아는 걸까? 아니다. 그냥 “오늘 저녁” 다음에 가장 많이 오는 단어가 “뭐 먹지”였을 뿐이다.
LLM은 이 자동완성의 극단적 확장판이다. 수십억 개의 문장을 학습해서, “이 문맥 다음에 올 가장 자연스러운 단어”를 예측한다. 그 단어를 하나 붙이고, 다시 그다음 단어를 예측하고, 또 붙이고 — 이걸 수백, 수천 번 반복하면 우리가 보는 그럴듯한 문장이 만들어진다.
AI 할루시네이션은 왜 발생하는가 — 맞추는 이유, 그리고 틀리는 이유
“대한민국의 수도는?”이라고 물으면, AI는 “서울”이라고 답한다. 맞는 답이다.
그런데 AI가 서울이 수도라는 사실을 알아서 답한 걸까? 아니다. 학습 데이터에서 “대한민국의 수도는” 다음에 “서울”이 올 확률이 압도적으로 높았기 때문이다. 사실을 검색한 게 아니라, 패턴을 이어간 것이다.
자주 등장하는 정보는 이렇게 잘 맞춘다. 문제는 학습 데이터에 많이 없는 정보를 물어볼 때다. 특정 판례의 사건번호, 마이너한 논문의 저자명, 최근에 바뀐 법령의 조문 — 이런 건 학습 데이터에 빈도가 낮다. 그러면 AI는 어떻게 할까?
“그럴듯한 번호”를 만들어낸다. 패턴을 이어가는 게 AI의 작동 방식이니까, “대법원 20XX다XXXXX” 형태의 그럴듯한 사건번호를 생성한다. 존재하지 않는 번호를. 이게 할루시네이션이다.
왜 “모르겠다”고 하지 않을까?
여기서 자연스러운 의문이 생긴다. 왜 AI는 모르면 모른다고 하지 않을까?
이건 AI를 만든 회사들의 훈련 방식 때문이다. OpenAI가 2025년 발표한 논문(“Why Language Models Hallucinate”, arXiv:2509.04664)에 따르면, AI를 평가하는 시험의 채점 방식이 이렇게 되어 있다:
- 정답 → 1점
- 오답 → 0점
- “모르겠다” → 0점
시험에서 4지선다 문제를 만났는데 답을 모른다고 치자. 빈칸으로 내면 무조건 0점이다. 아무거나 찍으면? 25% 확률이라도 맞을 수 있다. 합리적인 학생이라면 당연히 찍는다.
AI도 똑같다. 훈련 과정에서 “추측이라도 하는 쪽”이 점수가 더 높았기 때문에, 모르는 질문에도 자신 있게 답하는 습관이 만들어진 것이다. 거짓말을 하려는 게 아니라, “모르겠다”라고 답할 인센티브가 없었던 거다.
AI 할루시네이션, 실제로 이런 일이 벌어지고 있다
이 문제는 이론이 아니다. 실제 법정에서 벌어지고 있는 일이다.
2025년, 서울북부지법에서 한 원고가 제출한 서면에 대법원 2001다43797, 2007다20234 판결이 인용되어 있었다. 판사가 확인해보니 둘 다 존재하지 않는 사건번호였다. 판사는 판결문에 이 사건번호들이 “AI로 만든 가짜”라고 직접 명시했다(법률신문 보도 기준).
미국에서는 더 일찍 터졌다. 2023년, 뉴욕의 변호사 스티븐 슈워츠(Steven Schwartz)가 ChatGPT로 만든 가짜 판례 6건을 법원에 제출했다가 5,000달러 벌금을 받았다. 이 사건은 AI 할루시네이션의 위험성이 전 세계에 알려진 최초의 사례였다.
한국 법원에서 발견된 AI 환각 사례는 2023년 10건에서 2025년 상반기만 73건으로 급증하고 있다(한국경제 보도 기준). 대법원이 태스크포스를 구성하고, 사법정보공개포털에 ‘허위 사건번호 확인’ 기능까지 추가한 이유다.
법정 밖에서도 벌어지는 일
나도 실무에서 이런 일을 겪었다. 한번은 상대방 변호사가 보낸 내용증명에 인용된 판례가 실제로 존재하지 않는 사건번호였다. AI로 생성한 걸 검증 없이 그대로 넣은 것이다.
더 흔한 건 비법률전문가들의 경우다. 회사와 분쟁 중이던 한 상대방은 AI가 만들어준 법령과 판례를 근거로 “법대로 하자”며 강경하게 나왔다. 실제 판례에 비추면 패소 확률이 거의 100%에 가까운 상황이었는데, AI가 “유리하다”는 분석을 해준 것이다. 결국 소송이 임박하자 그제서야 변호사 상담을 받았고, 자기가 믿었던 법률 근거가 전부 틀렸다는 걸 알게 된 후 태도가 완전히 달라졌다.
이게 할루시네이션의 진짜 위험이다. AI는 틀릴 때도 자신감의 톤이 같다. 그래서 확인하지 않으면 맞는 말과 틀린 말을 구분할 수 없다.
AI 할루시네이션이 있는데 AI를 안 쓰면 되는 거 아닌가?
그건 아니다. AI 할루시네이션 비율은 빠르게 개선되고 있다. Vectara 리더보드 기준, AI의 환각률은 2021년 21.8%에서 2025년 최저 0.7%까지 떨어졌다. 4년 만에 96% 개선된 셈이다.
다만 이 수치는 “요약” 같은 단순 작업 기준이다. 법률, 의료 같은 전문 분야에서는 여전히 환각률이 최대 60%까지 나타날 정도로 높다. 그래서 정답은 “안 쓴다”가 아니라, “어디서 틀리는지 알고 쓴다”이다.
📌 관련 글: 🔗 GPT vs Claude vs Gemini, 어떤 AI가 거짓말을 가장 많이 할까? — 모델별 환각률 비교
AI 할루시네이션을 줄이는 실전 팁 5가지
1. “모르면 모른다고 해”라고 한마디 붙인다
앞에서 설명한 것처럼, AI는 모른다고 답할 인센티브가 없다. 그런데 사용자가 직접 “확실하지 않으면 모른다고 말해줘”라고 지시하면, 무리하게 추측하는 빈도가 눈에 띄게 줄어든다.
2. “출처도 같이 알려줘”라고 요청한다
AI에게 출처를 요구하면 환각이 약 40% 감소한다는 연구 결과가 있다. 출처를 확인할 수 있으면 틀린 정보를 걸러낼 수 있고, AI도 출처를 의식하면서 더 신중하게 답변을 생성한다.
3. 구체적으로 질문한다
“계약법에 대해 알려줘”보다 “민법 제390조 채무불이행 손해배상의 요건 3가지를 알려줘”가 훨씬 정확한 답을 이끌어낸다. 질문이 넓을수록 AI가 패턴으로 채워 넣을 여지가 커진다.
4. AI에게 스스로 검증하라고 시킨다
답변을 받은 후, “네가 방금 한 답변에 틀린 부분이 없는지 검증해봐”라고 후속 지시를 할 수 있다. AI는 자기가 쓴 내용을 다시 읽으면서 논리적 모순이나 의심스러운 부분을 스스로 잡아낸다.
나는 실무에서 이걸 한 단계 더 발전시켜서 쓴다. AI에게 업무를 시킬 때, “결과물을 만든 후 스스로 검수하라”는 규칙을 아예 사전에 박아둔다. 예를 들어 법률 검토를 시킬 때는 “법령이나 판례를 인용하면, 그 법령이 실제로 존재하는지 검색해서 확인하라”는 지시를 넣어둔다. 일종의 자동 팩트체크 장치다.
입문자라면 이렇게만 해도 충분하다. AI에게 답을 받은 후 “이 내용이 사실인지 근거와 함께 다시 확인해줘”라고 한마디 더 붙이는 것. 간단하지만, 이 한마디가 있고 없고의 차이가 꽤 크다.
5. AI를 “정답 기계”가 아니라 “초안 작성기”로 본다
이게 가장 중요한 마인드셋이다. AI의 강점은 빠른 초안 생성이지, 팩트의 정확성이 아니다. AI가 만든 결과물은 반드시 사람이 검증하는 단계를 거쳐야 한다. 특히 숫자, 고유명사, 법령, 판례처럼 틀리면 치명적인 정보는 반드시 원본을 확인해야 한다.
참고 자료
- OpenAI, “Why Language Models Hallucinate” (2025, arXiv:2509.04664)
- Vectara Hallucination Evaluation Leaderboard
- 법률신문, “원고 제시 사건 번호는 AI로 만든 가짜” (2025)
- 한국경제, “법정에 버젓이 등장하는 AI 가짜 판례” (2025)
- 같은 주제 다른 글: GPT vs Claude vs Gemini, 어떤 AI가 거짓말을 가장 많이 할까?