[Claude] 컨텍스트 창이란? Claude가 긴 대화에서 앞을 잊는 이유와 한도

안녕하세요, muaco입니다.

컨텍스트 창은 AI의 책상 넓이입니다

AI가 긴 대화에서 앞을 잊는 까닭은 한 번에 펼쳐 볼 책상의 넓이가 정해져 있어서입니다. AI는 답할 때마다 지금까지 나눈 대화를 책상에 다시 펼치고 읽습니다. 이 책상을 컨텍스트 창(context window)이라고 부릅니다.

Anthropic 문서는 컨텍스트 창을 "모델이 답을 만들 때 참고할 수 있는 모든 글"로 정의합니다. 지금 쓰고 있는 답까지 여기에 들어갑니다. 문서는 이를 작업 기억(working memory)이라고도 부릅니다.

책상 넓이는 토큰(token)으로 잽니다. 토큰은 AI가 글을 읽을 때 쓰는 작은 조각입니다. 글자 수와 딱 맞아떨어지지 않아서, 같은 글도 모델마다 토큰 수가 다릅니다.

예를 들어 Claude Opus 4.7부터는 글을 자르는 방식이 바뀌었습니다. 같은 글을 넣어도 이전 모델보다 토큰이 약 30% 더 나옵니다. 창 크기를 볼 때 모델 이름을 함께 봐야 하는 이유입니다.

책상이 없다면 매번 처음부터 설명합니다

AI가 학습으로 익힌 지식은 큰 도서관과 같습니다. 그런데 그 도서관에는 내가 방금 한 말이 꽂혀 있지 않습니다. 오늘 나눈 대화를 올려 둘 자리가 따로 있어야 합니다.

문서도 이 둘을 나눠 설명합니다. 컨텍스트 창은 학습에 쓰인 방대한 자료와 다른, 지금 대화를 위한 작업 공간이라는 설명입니다.

이 자리 덕분에 "아까 만든 표에 열 하나만 더해 주세요" 같은 부탁이 통합니다. 다만 책상은 무한하지 않습니다. 넓이는 모델마다 정해져 있고, 그 넓이가 곧 한도입니다.

대화가 쌓이는 순서를 따라가 봅니다

눈여겨볼 곳은 첫 줄입니다. AI는 대화를 따로 외워 두지 않고, 매번 지금까지의 대화 전체를 다시 받아 읽습니다. 문서의 표현으로는 한 차례의 입력이 "이전 대화 기록 전부와 현재 메시지"입니다.

그래서 한 번 주고받을 때마다 책상 위 종이가 늘어납니다. 내 질문과 AI의 답이 차례로 쌓이고, 앞의 차례는 그대로 남습니다. 열 번 주고받았다면 열 번 치가 모두 올라가 있습니다.

생각보다 빨리 차는 이유

책상에 오르는 종이는 화면에 보이는 대화만이 아닙니다. 문서에 따르면 아래도 모두 한도에 포함됩니다.

시스템 프롬프트(서비스가 AI에게 미리 건네 두는 지시문)
붙여 넣은 문서와 이미지, 도구가 돌려준 결과
AI가 쓸 수 있는 도구 목록과 그 설명
이번에 쓰는 답과, 답하기 전에 거치는 생각 과정(extended thinking)

답할 자리도 미리 떼어 둡니다. Claude 고객센터 문서는 컨텍스트 창의 일부가 항상 Claude의 답을 위해 남겨진다고 설명합니다. 대화에 실제로 쓸 수 있는 자리는 표시된 숫자보다 좁다는 뜻입니다.

왜 앞부분부터 흐려질까요

첫째, 창이 차면 오래된 부분이 정리됩니다. 문서는 claude.ai 같은 채팅 화면이 창을 "먼저 들어온 순서대로 내보내는" 방식으로 관리할 수 있다고 적었습니다.

요약으로 정리하는 경우에도 빈틈은 생깁니다. 컴팩션(compaction, 앞부분을 요약으로 바꾸는 기능) 문서는 기본 요약이 뒤에서 필요한 내용을 빠뜨릴 때를 대비한 방법까지 따로 안내합니다.

둘째, 창 안에 다 들어 있어도 안심할 수 없습니다. 문서는 토큰이 늘수록 정확도와 기억해 내는 힘이 떨어진다고 설명하고, 이를 context rot이라 부릅니다. 우리말로는 '맥락이 상한다' 정도의 뜻입니다.

책상이 넓어도 종이가 수북하면 필요한 한 장을 찾기 어렵습니다. 그래서 문서는 창이 얼마나 넓은가만큼 무엇을 올려 두는가가 중요하다고 짚습니다.

한도를 넘으면 쓰는 곳마다 다릅니다

API(채팅 화면 없이 프로그램이 Claude를 직접 부르는 통로)에서는 Claude Opus 5.5, Sonnet 5.5, Haiku 5.5를 비롯한 다수 모델이 100만 토큰입니다. Claude Sonnet 4.5 같은 그 밖의 모델은 20만 토큰입니다.

같은 모델도 어디서 쓰느냐에 따라 넓이가 다릅니다. Claude Opus 4.6은 API에서 100만 토큰이지만, claude.ai 유료 요금제 채팅에서는 50만 토큰입니다. 무료 요금제의 크기는 고객센터 문서에 나와 있지 않습니다.

한도에 가까워졌을 때 벌어지는 일도 쓰는 곳에 따라 갈립니다.

쓰는 곳	한도에 가까워지면	내가 할 일
claude.ai 유료 요금제, 코드 실행 켬	앞선 메시지를 요약하고 대화를 이어 갑니다	긴 대화일수록 사용 한도를 많이 쓴다는 점을 기억합니다
claude.ai, 위 조건이 아닐 때	길이 한도에 걸릴 수 있습니다	새 대화를 열거나 프로젝트를 씁니다
API 직접 호출	입력만으로 넘치면 오류가 나고, 답을 쓰다 닿으면 멈춥니다	보내기 전에 토큰 수를 세어 봅니다

claude.ai의 자동 요약에는 조건이 있습니다. 고객센터 문서는 이 기능이 코드 실행을 켠 유료 요금제에서 동작한다고 밝힙니다. 요약한 뒤에도 전체 대화 기록은 보존되어 Claude가 참고할 수 있다고 합니다.

그래도 한도가 사라지지는 않습니다. 첫 메시지가 아주 큰 경우처럼 드물게는 자동 정리가 있어도 한도에 걸립니다. 고객센터는 긴 대화에서 사용 한도에 가까워지면 새 대화를 열어 보라고 권합니다.

API에서는 결과가 분명하게 드러납니다. 입력만으로 창을 넘으면 400 오류와 함께 "prompt is too long"이 돌아옵니다. Claude 4.5 이후 모델은 답을 쓰다 한도에 닿으면 멈추고, 멈춘 이유로 model_context_window_exceeded를 알립니다.

개발자라면 보내기 전에 토큰 수를 세는 기능(token counting API)을 무료로 쓸 수 있습니다. 대화가 자주 한도에 닿을 때 문서가 첫째 방법으로 꼽는 쪽은 서버 쪽 컴팩션입니다. Claude 4.6 이후 모델에서 베타로 제공됩니다.

한 대화에 담을 때와 나눌 때

한 대화를 길게 이어 가면 좋은 때가 있습니다. 보고서 한 편을 여러 번 다듬듯, 앞에서 정한 내용이 계속 쓰이는 작업입니다. 여기서 대화를 끊으면 쌓아 온 사정을 다시 설명해야 합니다.

반대로 나누는 편이 나은 때는 이렇습니다.

주제가 바뀔 때. 앞의 대화는 새 일에 쓸모가 없는데도 자리를 차지합니다.
초안을 여러 번 갈아엎었을 때. 버린 초안도 책상에 그대로 남아 토큰을 씁니다.
같은 자료를 매번 붙여 넣을 때. 고객센터 문서는 이럴 때 프로젝트 기능을 권합니다. 프로젝트는 관련 있는 부분만 골라 창에 올립니다.
앞에서 정한 내용을 AI가 틀리게 말할 때. 창이 찼거나 context rot이 시작됐다는 신호로 보입니다.

긴 대화를 나누고 정리하는 순서

아래 순서는 claude.ai 채팅 기준입니다. 메뉴 이름은 영문 화면에 나오는 그대로 적었습니다.

대화를 시작하기 전에

유료 요금제라면 Settings > Capabilities에서 Code execution and file creation 스위치를 켭니다. 자동 요약은 이 설정이 켜져 있어야 동작합니다.
대화 하나에는 주제 하나만 둡니다. 다른 일이 생기면 새 대화를 열어야 새 일에 창을 온전히 씁니다.
긴 문서는 필요한 장만 붙여 넣습니다. 붙여 넣은 문서와 이미지도 모두 한도에 들어가기 때문입니다.
쓰지 않는 기능은 꺼 둡니다. 고객센터 문서는 필요 없을 때 확장 사고와 쓰지 않는 도구, 커넥터를 끄라고 권합니다.

Team과 Enterprise 요금제는 이 설정이 기본으로 켜져 있습니다. 꺼져 있다면 조직 소유자가 Organization settings > Capabilities에서 끈 경우일 수 있으니 관리자에게 물어보세요.

대화가 길어졌을 때

"지금까지 정한 내용을 다섯 줄로 요약해 주세요"라고 요청합니다. 돌아온 요약을 직접 읽고 틀린 줄은 그 자리에서 바로잡습니다.
바로잡은 요약을 복사해 새 대화의 첫 메시지로 붙여 넣습니다. 고객센터 문서도 길이 한도에 걸리면 새 대화를 열라고 안내합니다.
새 대화에서 "앞에서 정한 마감일이 언제였나요?"처럼 요약 속 내용을 하나 묻습니다. 바로 맞게 답하면 정리가 제대로 옮겨졌다는 뜻입니다.
같은 자료를 여러 대화에서 쓴다면 프로젝트에 올려 둡니다. 대화마다 붙여 넣을 때보다 창을 덜 차지합니다.

지금 해 볼 첫걸음

오늘은 지금 열린 가장 긴 대화 하나만 골라 보세요. 위 순서의 요약 요청 한 줄을 보내고, 돌아온 요약에서 빠진 결정을 찾아봅니다.

빠진 곳이 있다면 앞부분이 이미 흐려지고 있다는 신호일 수 있습니다. 채운 요약을 새 대화에 붙여 넣으면 책상을 한 번 말끔히 치운 셈이 됩니다.

이상으로 글 마치겠습니다.

출처

컨텍스트 창이란? Claude가 긴 대화에서 앞을 잊는 이유와 한도