[AI 길들이기 3편] 찰랑거리는 토큰의 잔을 비워라: ‘세션 쪼개기’ 실전 가이드

우리는 디지털 세계에서 무언가를 버리는 행위에 지독한 인색함을 보입니다. 특히 인공지능과 길고 심도 있는 대화를 나누다 보면, 그 대화창 하나에 나의 모든 지적 노동의 역사가 고스란히 담겨 있다는 착각에 빠지게 됩니다. 그래서 우리는 스크롤이 수십 페이지에 달하도록 하나의 ‘채팅창(Session)’을 결코 닫지 않고 미련하게 붙잡고 있습니다. 하지만 대규모 언어 모델(LLM)의 세계에서 영원한 기억이란 존재하지 않습니다. 인공지능의 뇌 속에는 ‘토큰(Token)’이라는 눈에 보이지 않는 물잔이 놓여 있고, 우리가 프롬프트를 입력할 때마다 그 잔에 물이 찰랑찰랑 차오릅니다. 문제는 이 잔의 크기가 제한되어 있으며, 물이 넘쳐흐르는 순간 AI는 생존을 위해 과거의 기억부터 무자비하게 내다 버린다는 사실입니다. 오늘은 AI 치매 간병기 세 번째 시간으로, 뇌 용량이 초과되어 동문서답을 시작하는 AI의 전조 증상을 짚어보고, 과거의 핵심만 챙겨 새로운 대화창으로 이사 가는 ‘세션 쪼개기’의 구체적인 실전 기술을 안내해 드리겠습니다.

1. 뇌 용량 초과의 전조 증상: 내 비서의 눈동자가 흐려지는 순간

실무에서 토큰이 누수되는 현상, 즉 물잔이 넘치는 순간은 꽤나 은밀하게 찾아옵니다. 하나의 예시를 들어보겠습니다. 당신이 AI와 함께 20페이지짜리 방대한 사업계획서를 작성 중이라고 가정해 봅시다. 처음에는 호흡이 척척 맞았습니다. 타겟 고객의 성향을 예리하게 분석하고, 당신이 지정한 엄격한 문서 양식을 완벽하게 준수했습니다. 그런데 10페이지쯤 작성하고 났을 때, 갑자기 AI의 답변이 이상해집니다. 방금 전까지 논의했던 경쟁사의 이름을 엉뚱하게 부르거나, 분명히 ‘전문적인 문어체로 쓰라’고 지시했는데 구어체를 남발하기 시작합니다.

초보자들은 이때 분노하며 기계와 싸우기 시작합니다. “아까 내가 경쟁사 이름은 A라고 했잖아! 왜 자꾸 틀려?”라며 AI를 꾸짖습니다. 그러면 AI는 “죄송합니다, 시정하겠습니다”라고 사과하지만, 다음 답변에서 또 다른 중요한 전제를 잊어버립니다. 이것은 기계가 반항하는 것이 아닙니다. 눈에 보이지 않는 토큰의 잔이 이미 가득 차서, 물을 새로 부을 때마다 바닥에 깔려 있던 가장 중요한 ‘초기 설정(Context)’들이 밖으로 속절없이 쓸려 내려가고 있는 끔찍한 사고 현장입니다. 이렇게 AI의 답변이 겉돌고 초기 규칙을 위반하는 전조 증상이 나타난다면, 대화를 즉시 멈추어야 합니다. 고장 난 차의 가속 페달을 계속 밟아봤자 엔진만 타버릴 뿐입니다.

2. 과거를 압축하는 기술: ‘이삿짐 요약’ 프롬프트 실전

가득 찬 물잔을 들고 어설프게 상황을 수습하려는 시도는 어리석습니다. 이때 가장 현명한 실전 자구책은 미련 없이 새 컵을 꺼내는 것입니다. 하지만 새 채팅창(New Chat)을 열기 전에 반드시 거쳐야 할 핵심 작업이 있습니다. 바로 지금까지의 방대한 대화에서 불필요한 잡담과 오류를 걷어내고, 가장 순수한 핵심 정보만 고농축으로 뽑아내는 ‘이삿짐 요약’ 과정입니다.

AI가 완전히 치매에 걸려 헛소리를 하기 직전, 마지막 남은 정신을 부여잡도록 다음과 같은 명확한 프롬프트를 복사하여 입력해 보십시오.

“우리의 대화가 너무 길어져서 새로운 세션으로 이동하려고 해. 지금까지 우리가 논의한 내용을 바탕으로 다음 세 가지를 마크다운 형태의 건조하고 명확한 개조식(Bullet point)으로 요약해 줘.

1. 이 프로젝트의 최종 목표와 타겟 독자층
2. 네가 글을 작성할 때 반드시 지켜야 할 문체와 절대 써서는 안 되는 금지어 규칙
3. 지금까지 우리가 완성한 목차와, 앞으로 당장 이어서 작성해야 할 다음 목차의 내용
   다른 인사말이나 군더더기 설명은 절대 붙이지 말고 오직 요약된 정보만 출력해.”

이 마법의 주문을 넣으면, 수천 토큰에 달하던 지저분한 대화 기록이 불과 몇백 토큰짜리 작고 단단한 압축 파일로 변환됩니다. 거대한 장롱과 쓰레기를 모두 버리고, 오직 다음 집에 꼭 가져가야 할 귀중품만 담은 작은 캐리어 하나가 완성되는 순간입니다.

4. 미련 없는 이직: 새 창(New Chat)에서의 찬란한 부활

이제 수확한 ‘요약본’ 텍스트를 마우스로 모두 복사하십시오. 그리고 화면 좌측 상단에 있는 ‘새 채팅(New Chat)’ 버튼을 단호하게 누릅니다. 텅 빈 새로운 대화창이 열리면, 방금 복사한 요약본을 붙여넣고 그 아래에 이렇게 첫 지시를 내립니다.

“이 텍스트는 우리가 이전 세션에서 작업하던 프로젝트의 핵심 요약본이자 전제 조건이야. 이 내용을 완벽하게 너의 백그라운드 지식으로 숙지해. 준비가 되었다면, 요약본의 3번에 명시된 ‘다음 목차’에 대한 본문 작성을 바로 시작해.”

결과는 마법과도 같습니다. 텅 빈 토큰의 잔, 즉 100%의 뇌 용량을 확보한 인공지능은 다시 처음의 그 천재적이고 날카로운 비서로 완벽하게 부활합니다. 지나간 방대한 대화 기록에 질척이는 것은 인간의 감정일 뿐, 기계는 오직 현재 눈앞에 주어진 명확하고 압축된 텍스트만을 진실로 받아들입니다. 쓸모없는 텍스트의 파편을 가차 없이 절단하고, 본질만을 증류하여 새로운 세션에 이식하는 이 단호한 ‘세션 쪼개기’야말로, 한정된 자원을 가진 생성형 AI의 한계를 부수고 무한한 생산성을 이끌어내는 현대 지식 노동자의 가장 우아한 생존 기술입니다.