[태그:] 법무팀

  • “판사를 AI로 대체하자” — 사법부에 대한 불신이 만들어 낸 목소리

    “판사를 AI로 대체하자” — 사법부에 대한 불신이 만들어 낸 목소리

    법관 관련 기사 댓글창에서 ‘AI 판사로 바꾸자’는 외침이 베스트 댓글이 되는 풍경. 어떤 이는 이를 삼권분립도 모르는 감정적 정책제안이라 비웃지만, 내 눈에는 국민들의 사법부에 대한 인식을 여과 없이 보여주는 경고음으로 보인다. 기업 법무팀에서 수많은 민사소송을 수행하며 본 법관들의 두 얼굴, 그리고 ‘AI 판사’라는 외침이 멈추지 않는 배경을 정리한다.


    1. AI 판사가 베스트 댓글이 되는 풍경

    법관이나 판결 관련 기사의 댓글창은 어느새 한 가지 패턴이 됐다. 그중에서도 ‘AI 판사’를 호명하는 댓글이 추천 상위를 차지한다.

    “판사 가족이 그랬어도 저 형량 나왔겠냐.”
    “판사 욕하지 마라, 법 만든 국회의원 욕해라.”
    “그냥 판사는 AI로 바꾸자.”

    추천을 많이 받는 댓글이 거의 비슷하다. 사법부 관계자들도 이 댓글들을 볼 것 같은데, 이를 단순한 조롱이나 무지성 정책제안으로만 보면 그저 국민들의 사법부에 대한 인식을 흐린 눈으로 보는 것이다. “AI 판사”를 외치는 국민 중 진심으로 사람보다 AI가 객관적이고 감정적이지 않으니 낫다고 생각하는 사람도 있을 것이고, 단지 사법부에 대한 반성촉구의 목적으로 말하는 사람도 있을 것이다. 어쨌건 중요한 포인트는 왜 이 말이 멈추지 않는가에 있다.

    이 글은 두 가지 질문에 답하려 한다. 첫째, AI 판사론은 왜 그 자체로는 답이 될 수 없는가. 둘째, 그럼에도 국민이 이 외침을 멈추지 않는 이유는 어디에 있는가.

    법관 관련 기사 댓글창에 'AI 판사로 바꾸자' 베스트 댓글이 떠 있는 모습

    2. AI 판사론은 정책으로는 성립하지 않는다

    2.1. 헌법이 가로막는다

    대한민국 헌법 제101조 제1항은 “사법권은 법관으로 구성된 법원에 속한다.” 고 규정하고 있다.

    이어 헌법 제101조 제3항은 “법관의 자격은 법률로 정한다”고 되어 있고, 이에 따라 법원조직법 제42조 제2항에 따르면 판사는 5년 이상의 경력을 가진 검사 또는 변호사 중에서 임용한다.

    또한, 헌법 제103조는 “법관은 헌법과 법률에 의하여 그 양심에 따라 독립하여 심판한다”고 정하고 있고, 여기서 “양심”이란 “법조인으로서의 객관적·직업적 양심”으로 보는 견해와 헌법 제19조 양심의 자유에서의 주관적 양심과 같다는 견해도 있다. 어떤 견해를 따르든 ‘양심’이란 사람 내심의 가치판단이라고 정의할 수 있다.

    그렇다면 알고리즘은 직업적 양심, 주관적 양심 어느 쪽에도 해당하지 않고, 설령 AI가 아무리 법률해석을 일반적인 법관보다 더 잘하게 되더라도 AI가 양심의 주체가 될 수 없는 이상 AI가 법관이 될 수 없는 것이다. 즉, 단순한 입법의 문제를 넘어 개헌의 문제이다.

    2.2. AI도 인간의 편견을 학습한다 — Loomis 사건

    설령 헌법을 바꾼다 해도 AI가 더 공정하다는 보장이 없다. 미국 위스콘신주의 State v. Loomis 사건이 이를 보여준다. 이 사건에서 법원은 COMPAS라는 위험평가 알고리즘을 양형 판단에 사용했고, 피고인 Eric Loomis는 6년형을 선고받았다 (출처: Loomis v. Wisconsin, Wikipedia).

    문제는 그 다음 분석에서 드러났다. 비영리 탐사보도 매체 ProPublica가 2016년 5월 발표한 분석에 따르면, COMPAS는 흑인 피고를 고위험군으로 잘못 분류할 확률이 백인의 약 두 배였다. 백인은 반대로 저위험군으로 잘못 분류한 뒤 실제 재범하는 사례가 많았다 (출처: “Machine Bias”, ProPublica, 2016-05-23).

    이건 우연한 결함이 아니다. AI는 학습 데이터를 통해 세계를 본다. 그 데이터가 인간의 과거 판결로 만들어졌다면, AI는 그 안에 깃든 편견을 제거하는 것이 아니라 증폭한다. “객관적 도구”라는 외피가 오히려 차별을 정당화한다. 위스콘신 대법원은 COMPAS 사용을 합헌이라 봤지만, 판사들이 그 한계를 충분히 이해하지 못하면 적법절차가 위협받을 수 있다고 판시했다 (출처: “State v. Loomis”, Harvard Law Review Vol. 130).

    즉, AI 판사가 인간 판사보다 더 공정할 것이라는 것은 그저 하나의 가설일 뿐이다.

    헌법 조문 앞에 선 AI 로봇 — AI 판사론의 법적 한계

    2.3. 그럼에도 핵심 질문은 남는다

    정치적인 이유를 배제하고 법률적·기술적인 한계만으로도 AI 판사는 현실화될 수 없다. 그런데 국민들이 이걸 모를까? 아주 논리적으로 설명하지는 못하더라도 우리나라에서 가장 강력한 힘을 가진 법조계가 절대 동의할 리 없다는 수준의 감각적인 판단으로도 충분히 불가능하다고 인지는 할 것이다. 그럼에도 ‘AI 판사’ 외침이 멈추지 않는다면, 그것은 정책 제안이 아니라 경고음으로 읽어야 한다. 이제 그 경고음의 이유를 데이터로 따져본다.


    3. 시민이 외치는 이유 — 객관 자료가 말한다

    3.1. OECD 사법신뢰도, 한국 33% vs 평균 54%

    OECD가 2023년 말 30개 회원국 약 6만 명을 대상으로 실시한 공공기관 신뢰도 조사(2024 발표)에서, 한국 국민의 법원·사법시스템 신뢰도는 33%였다. OECD 평균은 54%다 (출처: OECD Survey on Drivers of Trust in Public Institutions 2024 — Korea Country Note).

    OECD 사법신뢰도 한국 33% vs OECD 평균 54% 비교 인포그래픽
    한국 33% vs OECD 평균 54%.

    21%포인트 격차다. 그리고 같은 조사에서 한국인이 더 신뢰한 대상은 다음 순서였다.

    신뢰 대상신뢰 비율
    타인 (옆 사람)53%
    국제기구52%
    경찰42%
    정부37%
    법원·사법시스템33%
    언론30%
    국회21%
    정당20%

    한국인은 법원을 옆 사람보다, 외국 기관보다, 경찰보다도 덜 신뢰한다. 정부보다 낮다. 이 한 줄로 댓글창의 풍경은 설명이 끝난다.

    3.2. 서울지방변호사회 2025년도 법관평가

    서울지방변호사회는 2026년 1월 27일, 회원들이 1년간 작성한 법관 평가를 집계해 발표했다 (출처: “발언기회 10초·표정 안 좋다 노려보고 말끊고…막말판사”, 연합뉴스, 2026-01-27).

    결과는 둘로 나뉜다. 우수법관 72명, 하위법관 20명. 비율로는 약 3.6 대 1이다. 다수의 법관이 “재판 지휘력이 뛰어나고 당사자의 진술을 경청한다”는 평가를 받았다. 그러나 그렇지 않은 20명의 모습은 충격적이다.

    • 변호인을 선임하지 못하고 출석한 피고인을 보며 “아이 씨”라고 욕설
    • 재판 중 고성을 지르고 볼펜을 던짐
    • 변호인에게 “쓸데없는 소리 하지 마라”
    • 당사자에게 “발언기회 10초”
    • “표정 안 좋다”며 노려보고 말 끊기
    • “항소할 테면 해보라”, “법정에서 끌어내라”

    (출처: “판사가 고성 지르고 볼펜 던져… 고압적 태도·막말 판사 여전”, 세계일보, 2026-01-28 / “항소할 테면 해보라·법정서 끌어내라…막말 판사”, 조선일보, 2026-01-27).

    이런 사례는 한 해에 처음 등장한 것도 아니다. 일부 판사는 6년 동안 여러 차례 하위법관에 반복 선정됐다. 즉 시스템은 알고 있는데도 거르지 못한다는 뜻이다. 시민이 ‘AI 판사’를 호명하는 정서는 바로 이 지점에서 자라난다.

    3.3. 변협의 외부 평가, 대법원의 거부

    2025년 10월 30일, 변협의 법관 평가 결과를 법관 인사 평가에 공식 반영하겠다는 내용의 법원조직법 개정안이 발의됐다. 대한변호사협회는 즉각 환영 성명을 냈다. 그러나 대법원은 반대했다. 이유는 “객관성·공정성을 담보하기 어렵다”, “재판 공정성이 훼손될 수 있다”는 것이었다 (출처: “대한변협 ‘법관 인사평가에 변호사 평가 반영, 적극 환영’”, 이투데이, 2025-10-30).

    변협의 법관평가는 매년 회원 변호사들의 평가를 집계한 결과다. 그것을 “객관성이 부족하다”고 거절한 사법부의 입장이 합리적인지 여부는 별개로 두자. 외부의 평가 잣대가 들어오는 것 자체에 사법부가 저항하는 구조와 시민이 “AI”라는 외부 기준을 외치는 정서는 정확히 이 구도와 맞물려 있다.


    4. 법무팀으로 근무하면서 본 사법부의 두 얼굴

    법무팀에서 11년 동안 업무를 하면서 정확히 세어보지는 않았지만 적어도 200건이 넘는 민사소송을 직접 수행한 것 같다. 변론기일에 출석하거나 서면으로 응대한 법관의 수도 100명은 넘지 않을까 싶다.

    4.1. 80%는 존경 받아 마땅하다

    대부분의 판사님들은 존경 받을만 했다.

    증거까지 합치면 2,000 페이지가 넘는 기록들을 전부 숙지하고 들어오셔서 변론기일에 쟁점과 본질을 깔끔하게 정리해주시던 판사님, 양 당사자의 구두진술을 인내심을 가지고 친절하게 들어주시면서도 적절한 타이밍에 끊고 정리하며 사건의 본질에서 벗어나지 않도록 지휘해주시던 판사님, 변호사 없이 직접 변론기일에 참석한 당사자의 진술을 잘 이해하기 위해 계속 작은 질문을 던져주시고 그 진술을 요약해가며 방향을 잡아주시던 판사님 등 정말 다른 레벨의 사람이라는 점을 느끼게 해주신 분들이 머릿속을 스쳐간다.

    이런 판사님들을 만나고 법정에서 나올 때에는 정말 이 일을 하길 잘했다는 생각이 들기도 한다. 비율로 따지면 대략 10명 중 8명, 적어도 7명이 그랬다. 서울지방변호사회의 우수법관 72명 대 하위법관 20명 비율(약 3.6 : 1)과 큰 차이가 없다.

    법관 80%는 존경할 만하고 20%는 일탈자라는 비율 시각화

    4.2. 그러나 20%가 사법부의 얼굴에 먹칠을 한다

    문제는 나머지다. 내가 만난 최악의 판사들 이야기를 풀자면 밤을 새어도 부족하겠지만 그래도 딱 한 가지 에피소드만 들어보려 한다.

    우리 회사가 피고인 어느 민사사건의 첫 변론기일이었다.

    머리가 희끗한 딱 봐도 정년이 얼마 남지 않은 고령의 판사였다. 얼굴에는 어딘가 짜증이 가득했고, 법정 경위부터 법원 참여관들까지 바짝 경직되어 있었다.

    변론이 시작되었고 재판장이 원고에게 소장에 기재된 사실관계에 대해 질문하였다. 이에 원고가 구두로 진술을 하자 갑자기 재판장은 “그러니까 그 근거가 어디 있냐고! 그렇게 말하는 이유가 있을 것 아니에요!”라며 언성을 높이기 시작했다. 그리고는 바로 나에게 원고가 진술한 부분에 대해 인정하는지를 물었고 나는 “원고가 진술한 부분은 계약 종료 이후에…”라고 말머리를 떼는 순간, 재판장이 갑자기 소리를 질렀다.

    “그냥 예, 아니오로만 답하라고!”

    반말 섞인 일갈이었다. 그러나 그 사실관계는 단순히 “예/아니오”로 답할 수 없는 문제였다. 다시 설명을 시도했지만 재차 같은 고성이 돌아왔고 내가 “그 부분은 서면으로 정리해서 제출하겠습니다”라고 답변하니 재판장은 잠시 고성을 멈추고 나와 원고 측을 번갈아 노려보았다. 그렇게 끝난 줄 알았는데 판사는 목소리가 갈라질 정도로 수 분간 고성을 지르기 시작했다.

    변호사 시점에서 본 법정의 고압적 재판장

    수 분간의 호통이 잦아들고 나서야 재판장이 화가 난 진짜 이유를 이해했다. 첫째, 자기는 30년 넘게 법 공부만 해서 IT 분야를 전혀 모르는데 당신들 때문에 IT 공부까지 해야 하는지 모르겠다 둘째, 그래서 양 당사자가 무슨 주장을 하는지 모르겠으며 셋째, 왜 양쪽 모두 대리인 없이 본인소송을 하는지 이해할 수 없다는 것이었다.

    그 후부터 서면에 기술적인 내용은 쉽게, 비유를 들어가며 풀어쓰고, 판사의 이해를 돕기 위한 자료들을 첨부문서로 제출해도 달라지는 것은 없었다. 매 변론기일마다 판사는 일단 짜증부터 내었고, 내가 낸 서면을 고사하고 원고가 제출한 불과 3페이지 분량의 서면도 읽지 않은 티가 났으며, 3차 변론기일에는 시작하자마자 10초 정도 침묵하더니 “나보고 뭐 판결문을 어떻게 쓰라는건지 모르겠어요.”라고 한 마디를 툭 던지더니 바로 다음 기일을 잡았다.

    그렇게 고성으로 가득한 변론기일을 7차까지 진행한 후에야 변론이 종결되었고 판결문이 나왔는데, 그야말로 엉망이었다. 사실관계도 제대로 파악하지 못했고, 논리도 엉망이었다. 그냥 원고가 청구한 금액을 딱 반 잘라서 인정하고 논리를 끼워 맞춘 느낌이었다. 이럴 거면 그냥 화해권고결정을 하든지… 당연히 양측 모두 항소했다.

    내가 진짜 열 받았던 포인트는 변호사 유무에 따라 판사의 태도가 완전히 달랐다는 것이다. 바로 앞 사건에서는 변호사가 3분이 넘게 구두진술을 해도 끝까지 경청했고, 건축물 하자 관련 사건에서 기술적인 이야기가 나와도 자기가 잘 이해되지 않는 지점이 무엇인지 친절하게 짚어주었고, 변호사가 제출한 수십 페이지 분량의 서면을 화면에 띄워놓고 어떤 점을 보완해야 하는지를 하나하나 짚어주는 서비스 마인드까지 보여주었다. 그러나 변호사가 없는 당사자의 말은 그저 소음인 것처럼 끊고 화를 내었다.

    우리 헌법은 법관의 양심에 따라 독립하여 심판하라고 했지 자기 기분대로, 왕처럼 굴라고 한 적은 없다. 그 양심이 사건의 무게가 아니라 출석한 대리인의 유무에 따라 작동한다면 그것은 이미 양심이 아니다.

    4.3. 민원의 결말

    이 사건 직후 국민신문고를 통해 해당 법관의 태도에 대해 민원을 제기했고, 며칠 후 대법원 감사실 담당자와 20분 정도 통화도 했다. 하지만 아무런 소득은 없었다.

    “녹취 등 증거가 없으면 저희가 할 수 있는 게 없습니다. 이대로 종결처리 하겠습니다.”

    법정 녹음은 신청해야만 이뤄지고, 그조차 사용 범위가 제한된다. 즉 법정 안에서 일어난 일은 법정 안에서만 입증된다. 자정 시스템의 입구에 있는 첫 번째 문이, 사실상 닫혀 있다. 시민이 ‘AI 판사’를 외치게 만드는 구조적 원인은 여기에 있다.


    5. 소수가 다수를 망친다 — 그러나 사법부에서는 비용이 다르다

    어떤 조직이든 소수의 일탈자가 다수를 욕먹게 만든다.

    난 해병대 출신이고, 해병대에 대한 자부심을 늘 마음 속에 품고 산다. 그래서 소수 해병들이 해병대 이미지를 망치는 것을 보면 속상하고 때로는 그들 때문에 다수의 해병들까지 피해를 보는 상황이 싫다. 그래도 소수의 탓이라고 돌릴 생각은 없다. 해병대의 엄격한 서열문화와 군기, 자부심을 자기 편의대로 해석하여 구타와 가혹행위를 정당화하는 변종들이 생겨났고, 문제의 원인은 그 변종들의 등장을 조기에 예방하거나 박멸하지 못한 해병대 문화나 프로세스에 있기 때문이다.

    부정적인 편견과 싸우고 있는 집단들, 가령 기독교, 간호사, 검찰, 교사 등도 다르지 않다.

    그런데 사법부는 사법부라는 조직에 속하지 않은 누군가의 인생 자체를 좌지우지 한다는 점에서 그 일탈자 1명의 비용이 다른 어떤 조직보다 비대칭적으로 크다.


    6. 사법부는 자정할 수 있는가

    6.1. 법관의 일탈을 막을 제도는 있다

    법원조직법 제45조 제3항에 따르면 판사의 임기는 10년이다. 임기가 끝나면 같은 법 제45조의2에 따라 인사위원회 심의와 대법관회의 동의를 거쳐 연임 발령이 이루어진다. 그리고 같은 조 제2항은 다음 어느 하나에 해당하면 연임시키지 아니한다고 적혀 있다.

    1. 신체상 또는 정신상의 장해로 판사로서 정상적인 직무를 수행할 수 없는 경우
    2. 근무성적이 현저히 불량하여 판사로서 정상적인 직무를 수행할 수 없는 경우
    3. 판사로서의 품위를 유지하는 것이 현저히 곤란한 경우

    문제는 현실에서 작동하는지 여부이다.

    6.2. 작동하지 않는다 — KBS의 0건

    KBS는 2020년 10월 6일 보도에서, 막말 판사에 대한 진정이 다수 접수되어 왔지만 그 가운데 법관징계위원회에 정식 회부된 건은 단 한 건도 없다고 보도했다 (출처: “소장 개판·말도 하지 마라 막말 판사들…징계는 0건”, KBS, 2020-10-06).

    진정이 들어오지 않는 게 아니다. 들어와도 위원회 문턱을 넘지 못한다. 그리고 첫 막말 징계 사례조차 처분 수위가 견책에 그쳤다. 2013년 서울동부지법의 한 부장판사가 60대 증인에게 “늙으면 죽어야지요”라고 발언한 사건이었다. 법관징계법상 3종 징계 중 최하위였다 (출처: “대법원 ‘막말 징계’ 1호”, 뉴데일리, 2013-01-12 / “또 막말 판사… 대법원은 징계의 실효성 높이라”, 문화일보 사설, 2013-03-08).

    세계일보가 2021년 2월에 발표한 탐사기획 ‘법관과 징계’는 한 발 더 들어갔다. 뇌물·성추행이 적발된 법관도 법복을 벗으면 징계가 종결된다는 것, 변호사·법학자 설문에서 85%가 “법관에 맞춘 징계기준이 필요하다”고 답했다는 것, 한상희 건국대 법학전문대학원 교수의 표현으로는 “봐주기 관행은 외국에도 있으나 우리나라가 좀 심한 편”이라는 것이다 (출처: “뇌물·성추행 걸려도 법복 벗으면 끝… 관대한 내부 잣대”, 세계일보, 2021-02-08 / “제 머리 못 깎는 사법부… 85% ‘법관에 맞춘 징계기준 필요’”, 세계일보, 2021-02-10).

    조문은 있고, 위원회도 있고, 임기도 10년 단위로 갱신된다. 그러나 결과는 이번 회기에도 같은 법관이 또 하위법관에 선정된다는 것이다.

    6.3. 외부 평가는 막힌다

    3장에서 적었듯, 변협의 법관평가를 인사평가에 반영하자는 시도는 사법부의 거부에 막혔다. 국민이 “AI”를 호명할 때 사법부가 받아들여야 할 메시지는 AI 도입을 검토하라가 아니라 외부의 평가 시선을 차단해 온 구조를 다시 보라는 것이다.


    헌법 정신에 따라 제대로 작동하는 사법부에 대한 국민의 바람

    7. 결론 — 국민은 사실 AI 판사를 원하지 않는다

    국민이 “AI 판사”를 외치는 것은 인공지능에게 인생이나 국가권력을 맡기겠다는 뜻이 아니다. 판사가 인간이기 때문에 좋은 점 즉, 양심, 자비, 통찰, 균형 등이 작동하지 않을 때 차라리 유도리 없는 예외 없는 일관성이라도 달라는 외침이다.

    그 외침의 답은 AI에 있지 않고 사법부 안에 있다. 80%의 존경할 만한 법관 곁에 20%의 일탈자가 같은 권한으로 앉아 있고, 그 일탈자에 대해 제도의 문장은 있는데 제도의 손은 닿지 않는다. 그리고 그것을 외부에서 도와주려는 시도조차 거부된다. 이 구조가 그대로면, 댓글창의 베스트는 앞으로도 같은 자리에 앉아 있을 것이다.

    국민은 AI 판사를 원한 적이 없다. 그저 헌법 정신에 따라 제대로 작동하는 사법부를 원한다.


    관련 글

  • AI 질문 잘하는 법 — 법무팀장이 AI를 쓰며 깨달은 5가지 규칙

    AI 질문 잘하는 법 — 법무팀장이 AI를 쓰며 깨달은 5가지 규칙


    “AI 질문 잘하는 법”을 검색해보면 프롬프트를 잘 써야 한다, 하네스 엔지니어링을 해야 한다 등 정보가 이미 넘쳐나고 있다. 하지만 AI 초심자 입장에서는 달나라 이야기 같이 들린다.

    chatGPT를 시작으로 AI를 쓰기 시작한지는 벌써 2년이 지났지만 AI의 특성과 패턴을 알고 쓰기 시작한지는 불과 몇 달 밖에 되지 않았다. 시키는 대로 답해주는 만능 비서라 생각했는데, 그럴싸하게 답변하는 예스맨이라는 것을 깨닫고 잠시 이별도 했었다. 하지만 이제는 안다. AI는 야생마라 내가 어떻게 길들이냐에 따라 완전히 달라진다는 것, 그리고 나는 아무런 조련도 하지 않았으면서 야생마에게 S급 경주마와 같은 능력을 기대했다는 것.

    수 많은 시행착오를 거치며 깨달은 5가지 질문 규칙을 정리해보려 한다.

    AI 질문 잘하는 법 — 야생마 비유로 본 AI 활용 원리
    AI는 야생마이다. 어떻게 길들이는지에 따라 명마가 될 수도 있고, 마음대로 날뛰는 짐승이 될 수도 있다.

    프롬프트만 생각하면 놓치는 것

    유튜브나 인스타그램에는 “AI 100% 활용법” 류의 콘텐츠가 홍수처럼 넘쳐나고 있다.

    인스타그램의 많은 콘텐츠들은 “댓글에 AI 라고 남겨주시면 DM으로 AI를 똑똑하게 만드는 비결을 보내드릴게요” 라며 마치 대단한 비밀을 숨겨둔 것처럼 홍보한다. 대단한 비법이라도 있나 싶어서 댓글에 키워드를 남기고 DM으로 그 비법을 받아본 적도 있는데, AI 교육 관련 광고와 함께 프롬프트 템플릿을 보내주더라. 그리고 “역할을 부여하라”, “맥락을 명확히 하라”, “예시를 들어라” 같은 식의 원론적인 가이드도 포함되어 있다.

    틀린 말은 아닌데, 왜 그래야 하는지, 그리고 언제 그 규칙이 깨지는지는 알려주지 않는다. 받는 사람 입장에서는 이 프롬프트만 넣으면 콘텐츠에 나온 것처럼 AI가 대단한 결과물을 줄 것이라 기대하지만 막상 제공 받은 프롬프트를 넣고 결과물을 받아보면 실망스럽기 그지 없다.

    나도 처음엔 법률자문이나 계약서 검토 업무를 하면서 프롬프트만 정성껏 적으면 다 해결될 것이라 믿었다. 분명히 AI에게 “너는 변호사다”라는 역할도 부여하고, 검토보고서 샘플도 주고, 사실관계도 육하원칙에 따라 잘 적었는데 답변이 이상하다. AI가 인용한 법령이나 대법원 판례 사건번호가 검색이 안 된다. 심지어 우리 회사가 확실히 법률적으로 불리한 위치에 있음에도 무조건 내가 이길거라고 듣기 좋은 말만 뱉는다.

    문제는 프롬프트 자체가 아니라 질문 프로세스 설계에 있었다.


    규칙 1. 작은 단위로 방향을 잡는다.

    가장 많이했던 실수는 결과물을 먼저 요구하는 것이었다.

    “합의서 써줘”, “내용증명 초안 잡아줘”, “이 분쟁 어떻게 대응해야 돼?” 이렇게 물으면 AI도 추상적이고 알맹이 없는 답을 준다. 내가 써도 저거보다는 잘 쓰겠다 싶은 답이 나온다.

    AI는 아주 똑똑한 신입사원이라고 생각하고 대하면 결과물 수준이 달라진다.

    신입사원에게 “이 사건 보고서 써와”라고 툭 던지면 대부분의 신입사원은 내 의도와 다른 보고서를 가지고 온다. 그래서 하나씩 하나씩 작은 목표와 방향을 주며 나와 핏을 맞추도록 해야 한다.

    예를 들어 분쟁 사건이 들어오면 AI에게 보고서를 한 번에 시키지 않는다. 단계를 이렇게 쪼갠다.

    1. 자료 정리: 흩어진 자료를 한 곳에 모으고 형식 통일
    2. 핵심 요약: 자료별 한 줄 요약, 필요하면 시간순 정렬
    3. 쟁점 추출: 요약 위에서 핵심 쟁점 도출
    4. 리서치: 쟁점별로 법령 · 판례 검색
    5. 초안 작성: 리서치 결과를 바탕으로 보고서 초안 작성
    6. 검수: 초안에서 근거 부족하거나 추론으로 작성된 구간 식별
    AI 질문법 규칙 1 — 한 번에 결과물 요구 vs 6단계 쪼개기 비교
    한 번에 vs 자료정리/요약/쟁점/리서치/초안/검수 6단계

    그리고 각 단계마다 “추론이 필요하면 임의로 진행하지 말고 나의 의사결정을 받아”를 명시한다. (클로드 코워크 스킬을 통해 이 과정들을 자동화 할 수 있고, 실제로 그렇게 하고 있으나 본 글에서는 다루지 않는다.)

    작은 단위로 쪼개어 작은 목표를 달성하도록 할 때 AI는 맥락을 정확히 이해하고 그 속에서 패턴을 인식하여 나의 의도에 맞게 깊은 답변을 준다. 한 번에 결과물을 요구하면 평범 또는 그 이하의 결과물이 나오지만, 단계를 쪼개고 들어가면 결과물의 깊이가 달라진다.


    규칙 2. 자기 비판을 하도록 하라.

    AI 할루시네이션이란 무엇인가 — 챗GPT가 자신 있게 거짓말하는 이유에서 언급한 것처럼 AI는 답을 알고 뱉는 것이 아니라 가장 흔하고 자연스러워 보이는 답을 확신 있게 말한다. 그래서 틀린 답을 정답인 것처럼 내어 놓을 확률이 있다.

    그래서 난 AI가 만든 결과물이 나오면 항상 스스로 비판하도록 한다. 상대방 변호사 입장에서 공격할만한 논리의 취약점을 찾도록 하기도 하고, 판사 입장에서 지적하도록 시키기도 한다. 그러면 AI는 다른 사람이 된 것처럼 자기가 만든 결과물을 마구 난도질한다 — 수치심이 없어서 가능한 일인가 싶다.

    이렇게 나온 수정버전에 대해 나의 입장에서 다시 비판하도록 시키고, 필요하면 다시 반대 입장에서 비판하도록 시킨다. 이렇게 몇번 하다보면 어느 쪽 논리가 단단한지, 나의 약점이 무엇인지 명확히 보이기 시작한다. 이렇게 자기비판 과정을 거치지 않은 결과물은 미완성 결과물이라 생각한다.

    AI 질문법 규칙 2 — AI에게 자기 결과물을 비판시키는 자기 검증 구조
    AI의 자아를 나누어 서로 비판하게 해야 한다

    규칙 3. 출처를 요구하라.

    법무 영역에서 AI의 가장 큰 위험은 존재하지 않는 판례를 자신 있게 인용하는 것이다. 미국에서는 변호사가 ChatGPT가 만들어낸 가짜 판례 6건을 법원에 제출했다가 제재를 받은 사건이 있었다 (Mata v. Avianca, Inc., 1:22-cv-01461, S.D.N.Y. 2023). 가짜 판례를 인용한 변호사 2명과 소속 법률사무소에 합산 $5,000의 제재가 부과되었고, 법원은 “주관적 악의”로 판단했다. 우리나라라고 다르지 않다.

    스탠퍼드 RegLab이 2024년 1월 발표한 연구(“Large Legal Fictions: Profiling Legal Hallucinations in LLMs”)에 따르면, 무작위 미국 연방판례를 질의했을 때 GPT-3.5는 69%, Llama 2는 88% 비율로 할루시네이션을 일으켰다. 법원 핵심 판단(holding)을 묻는 질의에서는 75% 이상이 거짓이었다. 같은 RegLab의 후속 연구(2024년 5월)에서는 법률 전문 AI 도구인 Lexis+ AI가 17%, Westlaw AI가 33%에서 잘못된 답을 출력했다. 자세한 비교는 GPT vs Claude vs Gemini 할루시네이션 비교에서 다뤘다.

    그래서 나는 법령 · 판례 등이 들어간 답을 받으면 무조건 이걸 한 번 더 묻는다.

    “방금 인용한 판례 사건번호와 법령 조문 번호를 국가법령정보센터(law.go.kr)와 사법정보공개포털(portal.scourt.go.kr)에서 검색해보고, 실재하지 않거나 잘못 인용한 것이 있다면 보고해.”

    AI 법률 인용 할루시네이션 비율 — Stanford RegLab 2024 수치

    (참고로 위 두 사이트는 별도 MCP(Model Context Protocol)로 AI에 직접 연결해두면 자동 검증까지 가능하지만, 일반 사용자라면 AI에게 위 두 사이트 URL만 알려주고 웹 검색으로도 어느 정도 커버된다.)

    그러면 절반 정도의 가짜 법령이나 판례가 사라진다. 사라진 인용 자리에 “정확한 사건번호 확인 어려움”이라고 적힌다. 그게 정상이다. 사라지지 않는 것만 추가로 검증한다.

    AI 스스로 출처를 못 대는 인용은 무조건 버리도록 한다.

    AI가 풀어준 논리는 살리되, 그 논리를 떠받치는 인용 중 검증 안 되는 건 잘라낸다. 잘라내고 나서 빈자리는 직접 메운다. 이 한 단계가 AI 결과물을 실무에 쓸 수 있느냐 없느냐를 가른다.

    할루시네이션의 작동 원리 자체는 AI 할루시네이션이란 무엇인가에서 더 깊게 다뤘다.


    규칙 4. 같은 질문을 3번 다르게 던져라

    같은 질문을 같은 모델에 던져도 답이 미묘하게 달라진다. 그래서 단어 하나, 문장 순서 하나가 바뀌면 결론 자체가 달라지는 경우도 있다.

    이 변동성은 약점이 아니라 활용 포인트다. 나는 중요한 판단이 걸린 질문은 처음부터 3번 다른 각도로 묻는다. 예를 들면 이런 식이다.

    1. 첫 번째: “첨부한 계약서 제4조의 내용이 무효가 될 가능성이 있는가? 그 법적근거는?”
    2. 두 번째: “첨부한 계약서 §4를 우리 회사 표준계약서에 반영했을 때 리스크는?”
    3. 세 번째: “만약 1년 뒤 이 계약서와 관련하여 분쟁이 발생하면 내가 가장 후회할만한 지점은?”

    세 답이 같은 결론을 가리키면 그 결론은 단단하다. 답이 갈리면 갈린 지점에 진짜 쟁점이 있다. 갈린 지점이 보통 사람이 미처 못 본 자리다.

    AI 질문법 규칙 4 — Claude·GPT·Gemini 다관점 보고서를 받아 비교 검증

    이걸 한 모델 안에서만 해도 효과가 있고, 모델 자체를 바꿔서(Claude vs GPT vs Gemini) 비교해도 좋다. AI 모델별 강약점은 사용해보면서 감을 잡는다 — 이 부분은 AI 활용 시스템 만들기에서 따로 정리했다.

    이 규칙은 법무팀 업무 외 개인적인 업무(블로그 콘텐츠 제작, 자산관리, 쇼핑 등)에 쓸 때도 똑같이 적용된다. AI가 한 번에 내놓은 답은 가설이지, 결론이 아니다.


    규칙 5. 최종 결정은 AI가 아니라 내가 한다.

    가장 중요한 규칙이고, 가장 자주 잊는 규칙이다.

    AI에게 5번 검증을 시키고, 반례 받고, 출처 따고, 3번 다른 각도로 물어도, 결국 결정은 사람이 한다. 이 마지막 한 단계를 AI에게 넘기는 순간 모든 게 무너진다.

    AI가 잘하는 것사람이 해야 하는 것
    쟁점 펼치기어느 쟁점이 진짜인지 고르기
    비판하기지적사항 중 수용할 것 가려내기
    출처 정리출처 신뢰성 판단하기
    변동성 보여주기변동 폭 안에서 결론 내리기
    초안 만들기초안의 방향이 맞는지 판단하기

    누군가는 AI를 자동화도구로 사용하지만 법무팀처럼 데이터 정합성이 강하게 요구되는 영역에서 AI는 엄청나게 빠른 팀원 1명이다. 팀원이 만든 보고서가 아무리 훌륭해도, 서명은 내가 한다. 그 서명의 무게를 잊으면 AI는 조력자가 아니라 실수를 만드는 기계가 되고, 그에 따른 책임은 모두 내가 져야 한다.

    AI 질문법 규칙 5 — 결정의 책임은 사람이 진다, AI는 책임지지 않는다
    결과물에 대한 책임은 AI가 아니라 내가 진다는 것을 잊지 말자

    결론

    내가 언급한 규칙은 엄밀히 말하면 AI를 잘 다루는 기술이 아니라 자기 일을 잘 다루는 기술이기도 하다. 신입직원에게 일을 시킬 때 어떻게 시키느냐를 아는 사람은, AI한테도 똑같이 시킬 수 있다. 반대로 사람한테도 일을 못 시키는 사람이 AI한테 갑자기 잘 시킬 리가 없다.

    AI 활용도는 결국 본인의 업무 장악력과 비례한다. 본인이 자기 일의 쟁점 · 비판적 시각 · 근거 · 책임 구조를 모르면, AI한테 시킨 결과물도 그만큼만 나온다. 반대로 자기 일을 깊이 아는 사람은, AI를 활용하여 압도적인 산출량 차이를 만든다 (체감상 5~10배).

    질문이 답을 결정한다. AI 시대에는 이 명제가 더 무거워진다.


    다음 읽을 글