“AI 질문 잘하는 법”을 검색해보면 프롬프트를 잘 써야 한다, 하네스 엔지니어링을 해야 한다 등 정보가 이미 넘쳐나고 있다. 하지만 AI 초심자 입장에서는 달나라 이야기 같이 들린다.
chatGPT를 시작으로 AI를 쓰기 시작한지는 벌써 2년이 지났지만 AI의 특성과 패턴을 알고 쓰기 시작한지는 불과 몇 달 밖에 되지 않았다. 시키는 대로 답해주는 만능 비서라 생각했는데, 그럴싸하게 답변하는 예스맨이라는 것을 깨닫고 잠시 이별도 했었다. 하지만 이제는 안다. AI는 야생마라 내가 어떻게 길들이냐에 따라 완전히 달라진다는 것, 그리고 나는 아무런 조련도 하지 않았으면서 야생마에게 S급 경주마와 같은 능력을 기대했다는 것.
수 많은 시행착오를 거치며 깨달은 5가지 질문 규칙을 정리해보려 한다.
프롬프트만 생각하면 놓치는 것
유튜브나 인스타그램에는 “AI 100% 활용법” 류의 콘텐츠가 홍수처럼 넘쳐나고 있다.
인스타그램의 많은 콘텐츠들은 “댓글에 AI 라고 남겨주시면 DM으로 AI를 똑똑하게 만드는 비결을 보내드릴게요” 라며 마치 대단한 비밀을 숨겨둔 것처럼 홍보한다. 대단한 비법이라도 있나 싶어서 댓글에 키워드를 남기고 DM으로 그 비법을 받아본 적도 있는데, AI 교육 관련 광고와 함께 프롬프트 템플릿을 보내주더라. 그리고 “역할을 부여하라”, “맥락을 명확히 하라”, “예시를 들어라” 같은 식의 원론적인 가이드도 포함되어 있다.
틀린 말은 아닌데, 왜 그래야 하는지, 그리고 언제 그 규칙이 깨지는지는 알려주지 않는다. 받는 사람 입장에서는 이 프롬프트만 넣으면 콘텐츠에 나온 것처럼 AI가 대단한 결과물을 줄 것이라 기대하지만 막상 제공 받은 프롬프트를 넣고 결과물을 받아보면 실망스럽기 그지 없다.
나도 처음엔 법률자문이나 계약서 검토 업무를 하면서 프롬프트만 정성껏 적으면 다 해결될 것이라 믿었다. 분명히 AI에게 “너는 변호사다”라는 역할도 부여하고, 검토보고서 샘플도 주고, 사실관계도 육하원칙에 따라 잘 적었는데 답변이 이상하다. AI가 인용한 법령이나 대법원 판례 사건번호가 검색이 안 된다. 심지어 우리 회사가 확실히 법률적으로 불리한 위치에 있음에도 무조건 내가 이길거라고 듣기 좋은 말만 뱉는다.
문제는 프롬프트 자체가 아니라 질문 프로세스 설계에 있었다.
규칙 1. 작은 단위로 방향을 잡는다.
가장 많이했던 실수는 결과물을 먼저 요구하는 것이었다.
“합의서 써줘”, “내용증명 초안 잡아줘”, “이 분쟁 어떻게 대응해야 돼?” 이렇게 물으면 AI도 추상적이고 알맹이 없는 답을 준다. 내가 써도 저거보다는 잘 쓰겠다 싶은 답이 나온다.
AI는 아주 똑똑한 신입사원이라고 생각하고 대하면 결과물 수준이 달라진다.
신입사원에게 “이 사건 보고서 써와”라고 툭 던지면 대부분의 신입사원은 내 의도와 다른 보고서를 가지고 온다. 그래서 하나씩 하나씩 작은 목표와 방향을 주며 나와 핏을 맞추도록 해야 한다.
예를 들어 분쟁 사건이 들어오면 AI에게 보고서를 한 번에 시키지 않는다. 단계를 이렇게 쪼갠다.
- 자료 정리: 흩어진 자료를 한 곳에 모으고 형식 통일
- 핵심 요약: 자료별 한 줄 요약, 필요하면 시간순 정렬
- 쟁점 추출: 요약 위에서 핵심 쟁점 도출
- 리서치: 쟁점별로 법령 · 판례 검색
- 초안 작성: 리서치 결과를 바탕으로 보고서 초안 작성
- 검수: 초안에서 근거 부족하거나 추론으로 작성된 구간 식별
그리고 각 단계마다 “추론이 필요하면 임의로 진행하지 말고 나의 의사결정을 받아”를 명시한다. (클로드 코워크 스킬을 통해 이 과정들을 자동화 할 수 있고, 실제로 그렇게 하고 있으나 본 글에서는 다루지 않는다.)
작은 단위로 쪼개어 작은 목표를 달성하도록 할 때 AI는 맥락을 정확히 이해하고 그 속에서 패턴을 인식하여 나의 의도에 맞게 깊은 답변을 준다. 한 번에 결과물을 요구하면 평범 또는 그 이하의 결과물이 나오지만, 단계를 쪼개고 들어가면 결과물의 깊이가 달라진다.
규칙 2. 자기 비판을 하도록 하라.
AI 할루시네이션이란 무엇인가 — 챗GPT가 자신 있게 거짓말하는 이유에서 언급한 것처럼 AI는 답을 알고 뱉는 것이 아니라 가장 흔하고 자연스러워 보이는 답을 확신 있게 말한다. 그래서 틀린 답을 정답인 것처럼 내어 놓을 확률이 있다.
그래서 난 AI가 만든 결과물이 나오면 항상 스스로 비판하도록 한다. 상대방 변호사 입장에서 공격할만한 논리의 취약점을 찾도록 하기도 하고, 판사 입장에서 지적하도록 시키기도 한다. 그러면 AI는 다른 사람이 된 것처럼 자기가 만든 결과물을 마구 난도질한다 — 수치심이 없어서 가능한 일인가 싶다.
이렇게 나온 수정버전에 대해 나의 입장에서 다시 비판하도록 시키고, 필요하면 다시 반대 입장에서 비판하도록 시킨다. 이렇게 몇번 하다보면 어느 쪽 논리가 단단한지, 나의 약점이 무엇인지 명확히 보이기 시작한다. 이렇게 자기비판 과정을 거치지 않은 결과물은 미완성 결과물이라 생각한다.
규칙 3. 출처를 요구하라.
법무 영역에서 AI의 가장 큰 위험은 존재하지 않는 판례를 자신 있게 인용하는 것이다. 미국에서는 변호사가 ChatGPT가 만들어낸 가짜 판례 6건을 법원에 제출했다가 제재를 받은 사건이 있었다 (Mata v. Avianca, Inc., 1:22-cv-01461, S.D.N.Y. 2023). 가짜 판례를 인용한 변호사 2명과 소속 법률사무소에 합산 $5,000의 제재가 부과되었고, 법원은 “주관적 악의”로 판단했다. 우리나라라고 다르지 않다.
스탠퍼드 RegLab이 2024년 1월 발표한 연구(“Large Legal Fictions: Profiling Legal Hallucinations in LLMs”)에 따르면, 무작위 미국 연방판례를 질의했을 때 GPT-3.5는 69%, Llama 2는 88% 비율로 할루시네이션을 일으켰다. 법원 핵심 판단(holding)을 묻는 질의에서는 75% 이상이 거짓이었다. 같은 RegLab의 후속 연구(2024년 5월)에서는 법률 전문 AI 도구인 Lexis+ AI가 17%, Westlaw AI가 33%에서 잘못된 답을 출력했다. 자세한 비교는 GPT vs Claude vs Gemini 할루시네이션 비교에서 다뤘다.
그래서 나는 법령 · 판례 등이 들어간 답을 받으면 무조건 이걸 한 번 더 묻는다.
“방금 인용한 판례 사건번호와 법령 조문 번호를 국가법령정보센터(law.go.kr)와 사법정보공개포털(portal.scourt.go.kr)에서 검색해보고, 실재하지 않거나 잘못 인용한 것이 있다면 보고해.”
(참고로 위 두 사이트는 별도 MCP(Model Context Protocol)로 AI에 직접 연결해두면 자동 검증까지 가능하지만, 일반 사용자라면 AI에게 위 두 사이트 URL만 알려주고 웹 검색으로도 어느 정도 커버된다.)
그러면 절반 정도의 가짜 법령이나 판례가 사라진다. 사라진 인용 자리에 “정확한 사건번호 확인 어려움”이라고 적힌다. 그게 정상이다. 사라지지 않는 것만 추가로 검증한다.
AI 스스로 출처를 못 대는 인용은 무조건 버리도록 한다.
AI가 풀어준 논리는 살리되, 그 논리를 떠받치는 인용 중 검증 안 되는 건 잘라낸다. 잘라내고 나서 빈자리는 직접 메운다. 이 한 단계가 AI 결과물을 실무에 쓸 수 있느냐 없느냐를 가른다.
할루시네이션의 작동 원리 자체는 AI 할루시네이션이란 무엇인가에서 더 깊게 다뤘다.
규칙 4. 같은 질문을 3번 다르게 던져라
같은 질문을 같은 모델에 던져도 답이 미묘하게 달라진다. 그래서 단어 하나, 문장 순서 하나가 바뀌면 결론 자체가 달라지는 경우도 있다.
이 변동성은 약점이 아니라 활용 포인트다. 나는 중요한 판단이 걸린 질문은 처음부터 3번 다른 각도로 묻는다. 예를 들면 이런 식이다.
- 첫 번째: “첨부한 계약서 제4조의 내용이 무효가 될 가능성이 있는가? 그 법적근거는?”
- 두 번째: “첨부한 계약서 §4를 우리 회사 표준계약서에 반영했을 때 리스크는?”
- 세 번째: “만약 1년 뒤 이 계약서와 관련하여 분쟁이 발생하면 내가 가장 후회할만한 지점은?”
세 답이 같은 결론을 가리키면 그 결론은 단단하다. 답이 갈리면 갈린 지점에 진짜 쟁점이 있다. 갈린 지점이 보통 사람이 미처 못 본 자리다.
이걸 한 모델 안에서만 해도 효과가 있고, 모델 자체를 바꿔서(Claude vs GPT vs Gemini) 비교해도 좋다. AI 모델별 강약점은 사용해보면서 감을 잡는다 — 이 부분은 AI 활용 시스템 만들기에서 따로 정리했다.
이 규칙은 법무팀 업무 외 개인적인 업무(블로그 콘텐츠 제작, 자산관리, 쇼핑 등)에 쓸 때도 똑같이 적용된다. AI가 한 번에 내놓은 답은 가설이지, 결론이 아니다.
규칙 5. 최종 결정은 AI가 아니라 내가 한다.
가장 중요한 규칙이고, 가장 자주 잊는 규칙이다.
AI에게 5번 검증을 시키고, 반례 받고, 출처 따고, 3번 다른 각도로 물어도, 결국 결정은 사람이 한다. 이 마지막 한 단계를 AI에게 넘기는 순간 모든 게 무너진다.
| AI가 잘하는 것 | 사람이 해야 하는 것 |
|---|---|
| 쟁점 펼치기 | 어느 쟁점이 진짜인지 고르기 |
| 비판하기 | 지적사항 중 수용할 것 가려내기 |
| 출처 정리 | 출처 신뢰성 판단하기 |
| 변동성 보여주기 | 변동 폭 안에서 결론 내리기 |
| 초안 만들기 | 초안의 방향이 맞는지 판단하기 |
누군가는 AI를 자동화도구로 사용하지만 법무팀처럼 데이터 정합성이 강하게 요구되는 영역에서 AI는 엄청나게 빠른 팀원 1명이다. 팀원이 만든 보고서가 아무리 훌륭해도, 서명은 내가 한다. 그 서명의 무게를 잊으면 AI는 조력자가 아니라 실수를 만드는 기계가 되고, 그에 따른 책임은 모두 내가 져야 한다.
결론
내가 언급한 규칙은 엄밀히 말하면 AI를 잘 다루는 기술이 아니라 자기 일을 잘 다루는 기술이기도 하다. 신입직원에게 일을 시킬 때 어떻게 시키느냐를 아는 사람은, AI한테도 똑같이 시킬 수 있다. 반대로 사람한테도 일을 못 시키는 사람이 AI한테 갑자기 잘 시킬 리가 없다.
AI 활용도는 결국 본인의 업무 장악력과 비례한다. 본인이 자기 일의 쟁점 · 비판적 시각 · 근거 · 책임 구조를 모르면, AI한테 시킨 결과물도 그만큼만 나온다. 반대로 자기 일을 깊이 아는 사람은, AI를 활용하여 압도적인 산출량 차이를 만든다 (체감상 5~10배).
질문이 답을 결정한다. AI 시대에는 이 명제가 더 무거워진다.
다음 읽을 글
- AI한테 매번 똑같은 말 하고 계세요? — 비개발자가 만든 AI 업무 시스템 이야기 — 이 글이 “어떻게 묻느냐”라면, 저 글은 “물어볼 매뉴얼을 어떻게 만드느냐”
- AI 할루시네이션이란 무엇인가 — 챗GPT가 자신 있게 거짓말하는 이유 — 규칙 3의 배경 원리
- GPT vs Claude vs Gemini 할루시네이션 비교 — 규칙 3·4의 모델별 비교 데이터
