AI에게 화풀이를 하면 그 순간은 후련하지만, 그 한 마디를 만든 비용까지 그대로 청구된다. AI는 짜증 섞인 한 문장을 받자고 어제부터 쌓인 대화 전체를 다시 한 번 읽고 답하기 때문이다.
한 줄 요약
- AI 세션은 매 응답마다 새로 시작된다. 즉, 이전 대화를 처음부터 다시 읽어 맥락을 재구성한 뒤 답을 만든다.
- “야 왜 이래” 한 마디도 그 비용을 똑같이 청구한다. 토큰 · 시간 · 사용량 한도가 다 같이 깎인다.
- AI가 답답하게 굴면 화를 내는 대신 원인을 분석시키고 결과를 지침과 메모리에 반영하는 방향이 답변 품질 개선에 도움이 된다.
AI는 매 응답마다 새로 태어난다
많은 사람들이 AI를 기억을 가진 비서라고 느끼는 듯하다. 어제 나눈 이야기를 오늘도 이어가는 동료처럼 다가오기 때문이다. 그런데 내부 구조는 사람의 기억과 전혀 다르게 작동한다.
대규모 언어 모델은 본질적으로 상태를 가지지 않는다. 모델 자체가 어제의 대화를 기억해두는 게 아니라, 매 호출마다 클라이언트가 그동안의 대화 전체를 다시 입력으로 넣어주고, 모델은 그걸 처음 보는 자료처럼 읽어서 다음 답을 만든다.
Anthropic의 “Context windows” 문서에서도 “각 사용자 메시지와 모델 응답은 컨텍스트 윈도우 안에 누적되며, 이전 턴은 완전히 보존된다(Previous turns are preserved completely)”고 하여 답변할 때마다 누적되어 보존된 이전 대화 내용 전체를 읽는다는 점을 분명히 하고 있다. 그리고 누적이 많아질수록 답변의 정확도와 회상 능력이 떨어지는 현상이 일어나는데 이를 “context rot”이라 부른다. 즉, 화풀이 한 마디가 들어간 만큼 이 누적량이 늘고, 누적이 늘면 그 다음 답의 품질이 같이 떨어진다.
또한, 사용자 입장에서는 한 세션 안에서 대화가 매끄럽게 이어지는 것처럼 보인다. 그래서 하나의 AI가 대화를 이어가는 것처럼 보이지만 실제로는 한 번의 답이 나올 때마다 그 답을 만든 그 AI는 사라진다. 그리고 사용자가 다시 대화를 시작하면 새로운 AI가 등장하여 세션에 쌓인 모든 대화를 처음부터 다시 한 번 읽어내려간 후 답변을 하고 사라진다.
비유하자면 회사에 신입사원이 매번 새로 들어오는 상황이다. 신입사원이 어제 다른 신입직원이 적어둔 회의록을 처음부터 끝까지 다 읽은 다음에 한 줄을 쓰고 바로 회사를 떠난다. 그 다음 신입이 또 새로 들어와서, 어제 회의록 + 방금 한 줄까지를 또 처음부터 다시 읽고 다음 한 줄을 쓴다. 사용자는 한 사람과 매끄럽게 대화하는 것 같지만, 실제로는 매 줄마다 담당자가 달라지는 셈이다.
정리하면 오늘 컴퓨터를 켜고 어제 10번 문답을 주고받은 세션에서 “안녕?”이라고 보내면, AI는 “안녕”이라는 메시지만 인식하고 답변하는 것이 아니라 어제의 모든 대화를 다시 한 번 통째로 읽어들인 뒤에 “안녕하세요?”라는 답변을 돌려준다. 인사 한 줄을 받기 위해 어제 분량 전체를 재처리한 셈이다.
화를 내면 후련하지만 토큰은 의미 없이 사라진다
AI 이용자라면 AI가 답답한 소리를 하거나 당당하게 거짓말을 할 때 화가 치민 경험을 했을 것이다. 나도 AI에게 참 거친 말을 많이 뱉었고, AI가 사과하면 어딘가 후련한 느낌이 들기도 했다.
LLM은 글자가 아니라 토큰 단위로 입력과 출력을 처리한다. 한글 한 문장은 보통 수십~수백 토큰 분량으로 변환되어 모델에 들어가고, 모델은 그 토큰들을 모두 다시 읽은 뒤 출력 토큰을 한 개씩 만들어낸다. 입력 토큰 · 출력 토큰은 모두 비용이다. 사용량 한도에서 차감되거나, 결제 청구액으로 잡히거나, 컨텍스트 윈도우라는 작업 책상의 공간을 점유한다.
그래서 화풀이 한 마디도 비용이 된다. 예를 들어 어제 5만 토큰 분량의 대화를 쌓아둔 세션이 있다고 해보자. 거기에 “너 왜 거짓말하냐. 진짜 답답하네”라는 짧은 메시지를 더하면, 모델은 어제의 5만 토큰 + 오늘의 화풀이 한 마디를 합쳐 다시 처리한 뒤 “죄송합니다, 제가 잘못했습니다”라는 짧은 답변을 뱉고, 그 출력 토큰까지 비용으로 청구한다.
이렇게 되면 사용자에게는 아래와 같이 손해가 발생한다.
- 결제 비용: API를 직접 쓰거나 유료 플랜을 쓰면 토큰 청구액이 그대로 늘어난다. 사용량 한도가 있는 플랜은 그 한도가 그만큼 줄어든다.
- 남은 컨텍스트 길이: 컨텍스트 윈도우는 작업 책상 같은 자원이다. 화풀이로 한 줄을 더 얹으면 그만큼 진짜 작업을 위한 공간이 줄어든다. 한도는 모델·플랜별로 다른데, 2026년 5월 기준 Claude는 웹·앱에서 대화할 때 기본 200K 토큰을 쓰고, Sonnet 4.6·Opus 4.6·Opus 4.7 모델은 모든 유료 플랜에서 500K 토큰까지 늘어난다(Anthropic Help Center). 개발자용 API에서는 Opus 4.7과 Sonnet 4.6이 1M 토큰까지 지원한다(Claude API — Models overview). ChatGPT는 Business 플랜 기준으로 Instant 모델이 32K, Thinking·Pro 모델이 196K다(OpenAI Help — ChatGPT Business Models & Limits). 같은 청구 한도를 쓰더라도 어느 모델·플랜을 쓰느냐에 따라 화풀이 한 마디가 잠식하는 비율이 달라진다.
- 다음 답의 깊이: 책상이 좁아질수록 모델이 신경 쓸 수 있는 맥락의 폭도 좁아진다. 그리고 이건 단순히 책상이 다 차면 못 본다는 차원이 아니다. Chroma의 Context Rot 연구는 GPT-4.1·Claude 4·Gemini 2.5·Qwen3 등 프론티어 모델 18종을 검증한 결과, 윈도우 한도에 도달하기 한참 전부터, 단순한 작업에서도 retrieval 정확도가 유의미하게 떨어진다고 보고했다(Chroma Research — Context Rot). Stanford·UC Berkeley 연구진의 “Lost in the Middle”(TACL 2024) 논문은 동일 윈도우 안에서도 중간에 있는 정보는 시작·끝 정보보다 뚜렷하게 부정확하게 활용되는 U자형 곡선을 보여줬다. Anthropic도 Effective context engineering for AI agents에서 컨텍스트를 유한 자원이자 수확체감(diminishing marginal returns)이 작동하는 영역으로 정의했다. 즉 화풀이 한 마디가 채워 넣은 토큰은 책상 공간만 잠식하는 게 아니라, 그 다음 답이 정작 중요한 정보를 중간에서 놓칠 확률 자체를 끌어올린다.
요약하면 후련함은 5초, 비용은 그 세션 끝까지 따라온다.
화내는 대신 분석을 지시하자
그래서 나는 AI에게 화를 내는 대신 반성을 시킨다.
“방금 답변에서 사실관계가 어긋난 부분이 있다. 어느 지점이 문제였는지, 너의 어떤 추론 단계가 어긋났는지, 어떤 정보가 누락됐는지 단계별로 분석해. 다음에 같은 실수를 반복하지 않으려면 내가 너에게 어떤 지침이나 메모리를 미리 갖춰두어야 하는지도 구체적으로 적어.”
이렇게 시키면 AI는 다른 인격이 된 듯이 자기 답을 분해한다 — 직전 답에 대한 수치심이 없어서 가능한 일인 듯하다 (이 부분은 AI 질문 잘하는 법 — 규칙 2 자기비판에서 다룬 자기비판 구조를 참고하면 좋다). 그리고 그 분석 결과는 이번 세션에 일회성으로 참고하고 끝나는 게 아니라, 지침 파일 · 메모리 파일에 적어 두면 다음 세션부터 같은 실수를 반복하지 않게 도와준다.
화내는 1분과 분석시키는 1분의 그 다음 한 달은 완전히 다른 모습이다. 화는 0% 개선이지만, 분석은 그 결과가 누적된다.
이 패턴이 잘 작동하려면 기록할 자리가 있어야 한다. 클로드 데스크톱의 메모리 기능, 코워크의 CLAUDE.md 같은 프로젝트 헌법, 또는 본인이 직접 관리하는 메모장 등 어디든 좋다. 다만 한 번 정한 자리에는 매번 같은 흐름으로 쌓아야 검색되고 재사용된다.
AI를 똑똑하게 만드는 운영 노하우 4가지
그동안 시행착오로 만들어둔 4가지 운영 습관이 있다.
1. 주제 다르면 세션을 분리한다. 한 세션에 법무 검토 · 블로그 글 작성 · 가계부 정리 · 자녀 교육 고민이 한꺼번에 들어가면, 모델은 분쟁 · 자료 · 결제 · 자녀라는 이질적 맥락을 매번 같이 재처리해야 한다. 책상에 신경 쓸 게 많아지면 사람도 실수가 많아지듯, 세션 안에서도 맥락 충돌이 늘어난다. 코워크에서 주제 단위로 세션을 분리해두고 인덱스를 만들어 달라고 시키면, 다음 세션부터 모델은 적합한 한 가지 주제에만 집중하기 때문에 깊이가 올라간다.
2. 길어진 세션은 보고서로 핸드오프한다. 한 주제로 오래 대화하면 컨텍스트 윈도우가 차오른다. 책상이 좁아질수록 응답 품질이 흔들리는 게 보이기 시작하면, 그 시점에 작업 보고서를 마크다운 파일로 남기게 한다. 어떤 결정을 했고, 어떤 미해결 과제가 남았고, 다음 세션에서 무엇부터 시작해야 하는지를 한 문서에 정리한다. 새 세션을 열고 그 마크다운만 읽게 하면, 새로 태어난 AI가 빠르게 같은 자리로 따라온다.
3. 세션 종료 시 회고를 의무화한다. 작업이 끝나면 무엇이 잘 됐고, 무엇이 어긋났고, 그 원인이 무엇인지 짧게라도 회고시킨다. 회고는 그 세션의 부산물처럼 보이지만, 사실은 그 다음 세션의 입력 자료가 된다.
4. 회고 결과를 반드시 지침 · 메모리에 반영한다. 회고를 시켜놓고 그 자리에서 흘려보내면 같은 화날 일이 다음 세션에 그대로 재발한다. “다음에는 X 패턴이 보이면 Y 단계를 먼저 거친다” 정도의 규칙이라도 지침 · 메모리에 적어두면, 다음 세션의 첫 응답부터 그 패턴이 적용된다.
이 4가지를 운영 습관으로 박아 두면, 화날 빈도 자체가 의외로 빠르게 줄어드는 듯하다. AI가 덜 똑똑해진 것이 아니라, 내가 운영을 덜 망친 것이라고 보는 게 정확한 표현일 듯하다.
결론 — AI 결과물은 운영 능력의 거울이다
AI에 대한 분노는, 들여다보면 내 운영 능력의 거울인 경우가 많다. 같은 주제를 너무 오래 끌었는지, 다른 주제와 섞었는지, 회고 없이 다음 세션을 시작했는지, 지침 · 메모리에 왜 잘못했는지를 적어두지 않았는지 등 거의 모든 화날 일이 운영 단계에서의 누락에서 출발한다고 보면 된다.
AI에게 화풀이를 하는 건 어떤 의미에서는 내 운영책임을 모델에게 떠넘기는 행위에 가까운 듯하다. 그러나 그 부채는 모델 쪽에서 갚지 못한다. 어차피 다음 응답을 만드는 AI는 방금 사과한 AI가 아니라 같은 자리에 새로 태어난 다른 AI다. 화는 그 자리에 잠깐 머물 뿐, 다음 세션으로 이월되지 않는다. 이월되는 건 토큰 청구액과 컨텍스트 잠식뿐이다.
화를 한 마디 던질 수 있는 그 1분에, “왜 잘못했는지 단계별로 분석하고, 다음에 같은 실수를 안 하려면 어떤 메모리에 무엇을 적어야 하는지 보고해” 한 줄을 던지는 편이 내 자원을 지키는 방향이라고 본다.
실무에서 자주 받았던 질문
Q1. AI에게 욕을 하거나 거친 말을 쓰면 답변이 실제로 나빠지나?
답변 품질이 분노 자체에 반응해 떨어진다고 단정하긴 어렵다. 다만 거친 말이 들어가면 모델이 그 어조에 맞춰 답하려 하거나, 사과 · 변명 같은 보조 응답을 길게 생성하면서 원래 작업에 쓰일 출력 토큰이 그쪽으로 빨려 들어가는 패턴은 자주 보인다. 결과적으로 같은 양의 토큰을 써도 얻는 분량이 줄어들 가능성이 높다.
Q2. 그러면 세션을 자주 새로 여는 게 좋은가?
주제가 바뀌면 새로 여는 쪽이 낫고, 같은 주제 안에서는 오래 끌되 보고서로 핸드오프하는 쪽이 낫다고 본다. 무조건 자주 여는 것도 컨텍스트 손실로 이어진다. 핵심은 세션의 책상이 좁아지는 신호가 보일 때 보고서를 남기고 옮기는 타이밍이다. 이건 개별 업무의 특성에 따라 달라지는 것이라 업무를 가장 잘 아는 사람 스스로 그 타이밍을 감각적으로 익혀야 한다.
Q3. 메모리와 CLAUDE.md 같은 지침 파일은 어떻게 다른가?
메모리는 사용자에 대한 일반 정보(선호 · 역할 · 자주 쓰는 패턴 등)에 가깝고, 지침 파일은 프로젝트의 규칙(작업 방식 · 출력 양식 · 금지 사항 등)에 가깝다. 둘은 보완 관계라서, 어느 한쪽에만 정보를 몰아두면 누락이 생기기 쉽다. 그런데 내가 일일이 숙지할 필요 없이, 클로드에게 지침 · 메모리가 너무 길지는 않은지, 불필요한 내용은 없는지 스스로 점검하고 보완하라고 시키면 된다.
Q4. 토큰을 아낀다는 게 구체적으로 무엇을 줄이는 건가?
크게 세 가지를 같이 줄인다. (1) 결제 비용 또는 사용량 한도 소진, (2) 컨텍스트 윈도우의 점유 분량, (3) 다음 응답에서 모델이 신경 쓸 수 있는 맥락의 폭. 후자 두 가지는 직접적인 청구서에는 안 보이지만, 답변 품질이라는 더 큰 비용으로 돌아온다.
다음 읽을 글
- AI 질문 잘하는 법 — 법무팀장이 AI를 쓰며 깨달은 5가지 규칙 — 화내는 대신 어떻게 묻고 어떻게 자기비판시키는가에 대한 5가지 규칙.
- AI 할루시네이션이란 무엇인가 — 챗GPT가 자신 있게 거짓말하는 이유 — 답이 이상하게 나오는 원리를 알면 화날 일 자체가 줄어든다.
- AI한테 매번 똑같은 말 하고 계세요? — 비개발자가 만든 AI 업무 시스템 이야기 — 지침 · 메모리 · 보고서를 한 루프로 묶는 운영 시스템 사례.
참고 출처
- Anthropic — Context windows (Claude API Docs) — 컨텍스트 윈도우 작동 원리, “Previous turns are preserved completely”.
- Anthropic Help Center — How large is the context window on paid Claude plans? — Claude 챗 플랜별 컨텍스트 한도 (기본 200K, Sonnet 4.6·Opus 4.6·Opus 4.7은 전 유료플랜 500K, Claude Code 1M).
- Claude API — Models overview — 모델별 윈도우 한도, API 1M 토큰 지원 모델 일람.
- OpenAI Help Center — ChatGPT Business Models & Limits — ChatGPT Business 기준 Instant 32K·Thinking/Pro 196K.
- Chroma Research — Context Rot: How Increasing Input Tokens Impacts LLM Performance — 18개 프론티어 모델 검증, 윈도우 한도 한참 전부터 성능 저하 보고.
- Liu et al. (2024) — Lost in the Middle: How Language Models Use Long Contexts (TACL Vol.12) — 중간 위치 정보는 시작·끝보다 뚜렷하게 부정확하게 활용됨, U자형 성능 곡선.
- Anthropic — Effective context engineering for AI agents — 컨텍스트를 “유한 자원”·”diminishing marginal returns”로 정의한 Anthropic 공식 가이드.
- 본문 내 자체 발행작 인라인 링크 3건 — 자기비판 구조, 할루시네이션 원리, AI 업무 시스템 운영.
