AI 에이전트 대화 길어지면 이상해지는 이유, 컨텍스트 관리부터 확인하세요
업무 툴에 붙은 AI 에이전트나 챗봇을 하루 종일 켜놓고 쓰다 보면, 처음에는 똑똑하게 답하던 녀석이 오후가 되면 같은 질문에도 엉뚱한 답을 내놓는 경험을 해보셨을 겁니다. 모델을 바꾼 것도 아니고 설정을 건드린 것도 아닌데 왜 이런 일이 생기는지, 그리고 실무에서 이걸 어떻게 관리해야 하는지 정리합니다. 결론부터 말하면 원인은 모델의 실력 저하가 아니라 대화가 쌓이면서 생기는 컨텍스트 관리 문제입니다.
AI 에이전트가 업무 툴 안에 내장되고, 문서 작성이나 데이터 정리 같은 여러 단계를 이어서 처리하는 경우가 늘면서 이 문제는 더 자주 눈에 띕니다. 한 번의 짧은 질문-답변이 아니라 몇 시간, 며칠씩 이어지는 작업 세션에서는 대화 기록 전체가 매번 모델에 다시 입력되는데, 이 기록이 쌓일수록 정작 중요한 지시가 소음에 묻히는 현상이 생기기 때문입니다.
왜 대화가 길어지면 AI가 이상해질까요
핵심 답은 이렇습니다. AI 모델은 대화창에 쌓인 모든 텍스트(컨텍스트)를 매번 다시 읽고 답을 생성하는데, 이 컨텍스트가 특정 길이를 넘어가면 오래된 지시나 초반에 준 규칙을 놓치거나, 서로 상충하는 내용 중 어느 쪽을 따라야 할지 헷갈려 하는 경우가 생깁니다. 사람이 회의록을 백 장 읽고 나서 초반 내용을 깜빡하는 것과 비슷한 현상이라고 이해하면 쉽습니다.
이 문제를 업계에서는 흔히 “컨텍스트가 오염된다” 또는 “컨텍스트 로트(context rot)“라고 부릅니다. 컨텍스트 창의 크기(토큰 수)가 아무리 커져도, 그 안에 불필요한 정보나 오래된 시행착오 기록이 계속 누적되면 모델이 정작 필요한 신호를 찾아내기 어려워지는 것입니다. 특히 다음과 같은 상황에서 두드러집니다.
- 한 대화창에서 여러 개의 서로 다른 작업(문서 작성 → 데이터 정리 → 코드 수정)을 순서대로 처리한 경우
- 중간에 틀린 시도, 되돌린 지시, 취소된 요청이 그대로 대화 기록에 남아있는 경우
- 파일 업로드, 검색 결과, 이전 답변이 겹겹이 쌓여 실제 필요한 지시 비중이 작아진 경우
실무에서 바로 적용할 수 있는 컨텍스트 관리 방법
이론은 알았으니 실무에서 무엇을 바꿀 수 있는지가 중요합니다. 세 가지 정도로 정리할 수 있습니다.
1. 작업 단위로 대화를 끊기
하나의 대화창에서 여러 종류의 업무를 이어서 처리하지 말고, 성격이 다른 작업이라면 새 대화창을 여는 습관이 필요합니다. 예를 들어 제안서 초안을 작성하다가 갑자기 데이터 정리를 시키고, 다시 제안서로 돌아오면 그 사이 쌓인 데이터 정리 대화가 제안서 작업의 컨텍스트를 흐리게 만듭니다. 저희가 다룬 제안서 AI 티 안 나게 쓰는 법에서도 다뤘듯, 제안서처럼 톤과 논리 흐름이 중요한 작업은 별도 대화창에서 처음부터 끝까지 집중해서 진행하는 편이 결과물 품질에 유리합니다.
2. 핵심 지시는 대화 중간이 아니라 시작 부분에, 반복해서 명시하기
대화가 길어질 걸 알고 있다면, 중요한 규칙(예: “숫자는 반드시 천 단위 콤마로”, “존댓말로 작성”)은 대화 초반에 한 번만 말하고 끝내지 말고, 작업이 전환되는 지점마다 다시 짧게 상기시켜 주는 것이 안전합니다. 예를 들어 파이썬 스크립트로 자동화 작업을 지시할 때도 마찬가지입니다.
# 매 요청마다 핵심 규칙을 짧게 다시 명시하는 방식의 예시
system_reminder = """
[규칙 재확인]
- 출력 파일명은 '결과_YYYYMMDD.xlsx' 형식 유지
- 빈 셀은 0이 아니라 공백으로 처리
- 위 두 가지는 이전 대화와 동일하게 적용
"""
prompt = system_reminder + "\n이번엔 8월 데이터로 같은 작업을 해주세요."이렇게 규칙을 짧게라도 반복해주면, 대화가 길어져도 모델이 초반 지시를 놓칠 위험이 줄어듭니다.
3. 정기적으로 대화를 요약하고 새로 시작하기
하루 이상 이어지는 작업이라면, 그날의 진행 상황을 짧게 요약해 새 대화창에 붙여넣고 다시 시작하는 편이 낫습니다. “지금까지 이런 걸 했고, 다음엔 이걸 할 겁니다”라는 요약 한 문단이, 며칠치 대화 기록 전체보다 오히려 더 정확한 컨텍스트 역할을 합니다. 이런 인계 과정에서 맥락이 끊기는 문제는 에이전트 여러 개를 운영할 때 더 커지는데, 관련해서는 에이전트 인계 문제, 왜 서로 안 이어질까요에서 다룬 인계 방법을 참고하시면 도움이 됩니다.
컨텍스트 관리, 비용 문제와도 연결됩니다
컨텍스트가 길어지는 문제는 답변 품질만이 아니라 비용 문제와도 직결됩니다. API 기반으로 AI를 쓰는 경우 매 요청마다 쌓인 대화 전체가 다시 입력 토큰으로 계산되기 때문에, 대화창을 정리하지 않고 계속 이어가면 같은 작업인데도 매번 비용이 늘어나는 구조가 됩니다. 사내에서 여러 팀이 AI 에이전트를 쓴다면, 대화창을 얼마나 오래 유지하는지에 대한 최소한의 사용 규칙을 정해두는 것도 예산 관리 차원에서 의미가 있습니다. 이런 사용 규칙을 정하는 방법은 사내 AI 사용 가이드라인 만드는 법에서 소개한 항목들과 함께 검토해보시면 좋습니다.
또한 문서나 데이터를 업로드해서 작업을 시키는 경우, 필요 이상으로 큰 파일을 통째로 올리기보다는 실제 필요한 부분만 잘라서 전달하는 습관도 컨텍스트를 깨끗하게 유지하는 데 도움이 됩니다. 엑셀 데이터를 정리해서 필요한 열만 추출하거나, PDF에서 필요한 페이지만 뽑아 전달하는 식의 사전 작업이 결국 AI의 답변 품질을 높이는 지렛대가 되는 셈입니다. 이런 사전 정리 작업이 익숙하지 않다면 공문·제안서 PDF, 매번 손으로 합치고 나누고 계신가요에서 소개한 방법으로 필요한 부분만 골라내는 과정을 자동화해두면 반복 작업 부담도 줄어듭니다.
정리하며
AI 에이전트가 대화 중간부터 이상한 답을 내놓는다면 모델 성능을 의심하기 전에 대화창이 얼마나 길어졌는지, 그 안에 불필요한 기록이 얼마나 쌓였는지부터 점검해보시길 권합니다. 작업 단위로 대화를 끊고, 핵심 규칙을 반복해서 상기시키고, 주기적으로 요약해서 새로 시작하는 세 가지 습관만으로도 답변 품질과 비용 두 가지를 동시에 관리할 수 있습니다. 픽셀앤코드에서는 이런 AI 활용 방식을 사내 업무 프로세스에 맞게 정리하고, 반복되는 데이터 가공이나 문서 작업을 자동화 스크립트로 연결하는 작업을 함께 진행하고 있으니, 관련해 고민이 있으시면 편하게 문의해주시기 바랍니다.