같은 업무 지침이나 긴 문서를 AI API에 여러 번 보내는 서비스라면, 매번 같은 입력을 처음부터 처리하는 비용이 부담될 수 있습니다. 프롬프트 캐싱은 반복되는 앞부분을 재사용해 입력 처리 비용과 지연 시간을 줄이는 방법입니다.
다만 ‘캐싱하면 전체 요금이 90% 줄어든다’고 단정할 수는 없습니다. 캐시를 만드는 비용, 다시 읽은 분량, 새로 입력한 부분과 출력 토큰의 비용이 각각 다르기 때문입니다. 이 글은 Claude API 공식 캐싱 문서를 기준으로 원리와 확인 방법을 설명합니다. 요금과 기능은 모델·플랫폼·시점에 따라 바뀔 수 있습니다.
프롬프트 캐싱이 필요한 상황
고객 문의를 분류하는 가상의 시스템이 매 요청마다 긴 분류 지침을 보내고, 그 뒤에 고객 문의만 바꿔 붙인다고 생각해 보겠습니다. 앞의 지침이 반복된다면 API는 그 공통 부분을 캐시에 기록하고 이후 요청에서 재사용할 수 있습니다.
[반복되는 시스템 지침과 분류 기준] ← 캐시 후보
[매번 달라지는 고객 문의] ← 새 입력
캐시가 재사용되더라도 모델이 생성하는 답변까지 자동으로 동일한 정답이 되는 것은 아닙니다. 답변의 정확성과 고객 정보 처리 권한은 별도로 검토해야 합니다.
Claude API의 자동 캐싱과 명시적 캐싱
공식 문서에 따르면 Messages API에서는 cache_control을 요청에 지정해 캐싱할 수 있습니다. 요청의 최상위에서 자동으로 캐시 지점을 적용하는 방식과, 개별 콘텐츠 블록에 명시적으로 지정하는 방식이 있습니다. Managed Agents 등 다른 제품에서는 동작과 설정이 다를 수 있으므로 사용하는 제품의 문서를 확인하세요.
| 방식 | 생각해 볼 상황 | 확인할 점 |
|---|---|---|
| 자동 캐싱 | 대화가 이어지며 앞부분이 반복되는 경우 | 제공자와 제품이 지원하는 설정 확인 |
| 명시적 지점 | 고정 지침·문서 구간을 구분하고 싶은 경우 | 실제 요청 구조와 캐시 범위 확인 |
| 캐싱하지 않음 | 반복이 드물거나 입력이 짧은 경우 | 생성 비용보다 재사용 이득이 작은지 비교 |
Claude 문서에는 기본 5분 또는 선택 가능한 1시간 캐시 수명과 모델별 조건이 안내돼 있습니다. 요청 간 간격과 지원 범위는 바뀔 수 있으므로 실제 사용하는 버전의 문서가 기준입니다.
캐시를 쓰면 비용은 어떻게 계산하나요?
Claude API 응답의 사용량에는 캐시에 새로 기록한 입력, 캐시에서 읽은 입력, 캐시 밖의 새 입력이 나뉘어 표시됩니다. 출력 토큰도 별도로 비용을 계산해야 합니다. 원리를 보여 주는 가상의 예시는 다음과 같습니다.
총비용 = 캐시 생성 입력 비용
+ 캐시 읽기 입력 비용
+ 캐시 밖 새 입력 비용
+ 출력 비용과 적용되는 기타 비용
공식 문서는 일반적인 기준으로 5분 캐시 생성 입력을 기본 입력 요금의 1.25배, 1시간 생성 입력을 2배로 설명하며, 읽기 비용에는 모델별 예외가 있다고 명시합니다. 따라서 특정 할인율을 모든 모델에 적용하지 말고 현재 요금표와 응답의 실제 사용량으로 계산해야 합니다. 같은 자료를 충분히 재사용하지 못하면 캐시 생성 비용 때문에 기대한 절감이 나오지 않을 수도 있습니다.
재사용이 안 될 때 무엇을 살펴볼까요?
캐싱은 반복되는 접두사와 요청 구성에 영향을 받습니다. 다음과 같은 변화가 있으면 캐시가 기대한 만큼 재사용되지 않을 수 있습니다.
- 공통 지침 앞에 매번 바뀌는 시간이나 사용자별 정보를 넣은 경우
- 도구 정의나 공통 문서의 내용·순서가 바뀐 경우
- 캐시 수명이 끝난 뒤 다시 요청한 경우
- 모델별 최소 입력 길이 또는 지원 조건을 충족하지 않은 경우
모든 변화가 요청 전체의 캐시를 똑같이 무효화한다고 단정할 수는 없습니다. 사용하는 API의 캐시 경계와 무효화 규칙을 확인하고, 바뀌지 않는 부분과 변하는 부분을 의도적으로 나누세요. 요청 구조를 조정할 때 개인정보가 다른 사용자에게 전달되지 않도록 분리하는 것도 중요합니다.
실제 절감 효과를 확인하는 순서
1. 동일한 작업에서 반복되는 지침·문서가 무엇인지 정합니다. 2. 캐싱 전후의 호출 수, 입력·출력 토큰과 실제 청구액을 기록합니다. 3. Claude 응답의 cache_creation_input_tokens, cache_read_input_tokens, input_tokens를 확인합니다. 4. 캐시 수명 안에 재사용됐는지와 새로운 입력·출력 비용을 함께 살핍니다. 5. 결과의 정확도와 개인정보 처리 조건이 유지되는지 검토합니다.
공식 문서는 세 입력 필드를 더해 전체 입력 토큰을 계산하도록 안내합니다. 캐시 사용량이 높더라도 요청 횟수나 출력 길이가 늘면 총비용은 증가할 수 있습니다. 여러 모델의 비용과 품질을 비교하는 기준은 AI 모델 비용과 라우팅을 함께 참고하세요.
자주 묻는 질문
프롬프트 캐싱은 답변을 저장해서 그대로 돌려주는 것인가요?
이 글에서 다루는 Claude 프롬프트 캐싱은 반복되는 입력 접두사를 재사용하는 기능입니다. 결과 답변을 동일하게 재생하는 일반적인 응답 캐시와 구분해야 합니다.
캐시를 쓰면 모든 요청이 더 저렴한가요?
아닙니다. 캐시 생성 비용과 재사용 횟수, 수명, 모델 요금에 따라 달라집니다. 실제 사용량과 총비용을 비교해야 합니다.
캐싱하면 긴 대화의 정보 유실 문제도 해결되나요?
아닙니다. 캐싱은 반복 입력 처리의 비용과 지연을 줄이는 기능이며, 필요한 맥락을 선택하고 답변을 검증하는 작업은 여전히 필요합니다.
참고 자료: Claude 프롬프트 캐싱, Claude API 요금. 확인일: 2026년 11월 6일.
다음 한 걸음
내 환경에서 막힌 부분은 실행 단계와 함께 질문해 주세요. 바꿔 만든 결과도 함께 나눌 수 있습니다.