AI와 한참 작업하다 보면 이상한 순간이 옵니다. 분명 아까 정한 조건을 다시 물어보고, 앞에서 고친 내용을 되돌려 놓고, 대화 초반의 지시를 슬그머니 무시합니다. “아까 말했잖아”라고 짚어줘도 잠깐뿐이죠. 고장이 아닙니다. AI가 대화를 기억하는 방식 자체에서 나오는 현상이고, 원리를 알면 대처법도 간단합니다.
AI는 기억하지 않습니다, 매번 다시 읽습니다
가장 큰 오해부터 바로잡겠습니다. AI는 대화 내용을 머릿속에 차곡차곡 기억해 두는 게 아닙니다. 여러분이 메시지를 보낼 때마다, 지금까지의 대화 전체를 처음부터 다시 읽고 다음 답을 만듭니다. 매번요.
그런데 한 번에 읽을 수 있는 분량에는 상한이 있습니다. 이 작업 공간을 컨텍스트 윈도우(Context Window, 문맥 창)라고 부릅니다. 책상에 비유하면 딱 맞습니다. AI는 답변할 때마다 책상 위에 펼쳐진 것만 볼 수 있습니다. 대화가 길어진다는 건 책상 위에 서류가 계속 쌓인다는 뜻이고, 책상 크기는 정해져 있죠.
요즘 모델들의 책상은 책 몇 권 분량이 통째로 올라갈 만큼 커졌습니다. 그런데도 문제가 생깁니다. 이유는 두 가지입니다.
책상이 넘치기 전에, 먼저 산만해집니다
첫째, 책상이 실제로 넘치는 경우. 대화가 한계를 넘으면 서비스에 따라 오래된 대화를 잘라내거나 요약본으로 압축합니다. 초반에 정한 조건이 이 과정에서 통째로 사라질 수 있습니다. “아까 말했잖아”가 안 통하는 건, 그 “아까”가 이미 책상에서 치워졌기 때문입니다.
둘째가 더 흔한데, 책상이 넘치기 전에도 성능이 떨어집니다. 여러 연구가 반복해서 확인한 현상입니다. AI는 긴 입력에서 앞부분과 뒷부분은 잘 참고하면서 중간 부분을 상대적으로 놓칩니다. 서류가 산더미인 책상에서 맨 위와 맨 앞의 서류만 눈에 들어오는 것과 비슷합니다. 대화가 길어질수록, 첨부한 문서가 두꺼울수록, 중간 어딘가에 있던 지시와 정보가 흐려집니다.
지난 편에서 “수백 쪽짜리 자료는 뭉개질 수 있다”고 한 이유가 바로 이겁니다. 자료가 책상을 가득 채우면 그 자료의 중간 내용이 흐릿해지는 거죠.
그럼 ’메모리 기능’은 뭔가요
헷갈리기 쉬운 부분입니다. ChatGPT의 메모리처럼 나를 기억하는 기능은 컨텍스트 윈도우와 별개입니다. 크게 두 가지가 함께 돕습니다. 하나는 대화에서 나온 요점(“사용자는 마케터다”, “존댓말을 선호한다”)을 뽑아 적어두는 수첩입니다. 다른 하나는 필요할 때 지난 대화들을 뒤져 관련 대목을 찾아오는 검색이죠. 그래서 요즘은 “지난주에 그 얘기 했잖아”가 통하는 경우도 꽤 있습니다.
다만 어느 쪽이든 찾아온 조각을 지금 책상에 올려주는 것이지, 책상 자체를 넓혀주지는 않습니다. 지금 이 대화가 길어져서 흐려지는 문제는 메모리로 해결되지 않습니다.
실전 처방 3가지
처방 1, 주제가 바뀌면 새 채팅을 여세요. 가장 중요하고 가장 쉬운 처방입니다. 여행 계획 짜던 방에서 보고서 작업을 이어가면, 책상 위의 여행 서류가 자리만 차지하면서 보고서 답변을 흐립니다. 새 주제 = 새 채팅을 기본값으로 삼으세요. 채팅방을 아껴야 할 이유는 없습니다. 공짜입니다.
처방 2, 긴 작업은 요약해서 이사하세요. 한 주제로 대화가 수십 번 오가서 AI가 헤매기 시작하면, 이렇게 요청하세요. “지금까지 정한 내용과 결정 사항을 정리해줘.” 그 요약을 복사해서 새 채팅 첫 메시지에 붙여넣고 이어가는 겁니다. 어수선한 책상을 치우고 핵심 서류 한 장만 새 책상에 올리는 이사입니다.
처방 3, 중요한 지시는 다시 말해주세요. 긴 대화를 유지해야 한다면, 핵심 조건(“존댓말로”, “300자 이내로”)을 최근 메시지에서 한 번씩 되풀이하세요. 책상 맨 위, AI가 가장 잘 보는 자리에 다시 올려주는 셈입니다.
정리하면
- AI는 기억하는 게 아니라 매번 대화 전체를 다시 읽습니다. 그 분량에는 한계가 있습니다
- 한계를 넘으면 오래된 내용이 잘리고, 넘기 전에도 중간 내용부터 흐려집니다
- 메모리는 지난 대화에서 필요한 조각을 찾아와 책상에 올려줄 뿐, 책상을 넓혀주지는 않습니다
- 새 주제는 새 채팅, 긴 작업은 요약해서 이사, 핵심 지시는 반복
이 주제를 더 깊이 파고 싶은 분(특히 AI 코딩 도구를 쓰는 분)이라면 이 블로그의 AI 컨텍스트 시리즈를 참고하세요. 토큰·컨텍스트 관리 전략을 기술적으로 다룹니다. 다음 편은 많은 분이 기다렸을 실전 질문입니다. ChatGPT·Claude·Gemini, 그래서 뭘 쓰고 뭘 결제해야 할까요? 2026년 기준으로 정리합니다.