🦉 Lv 4⏱ 20분
Prompt Caching 적용
🎯 비용 90% 절감 패턴
코리의 한 마디
프롬프트 캐싱은 "긴 시스템 프롬프트·컨텍스트를 캐싱해 매 호출마다 같은 비용을 다시 안 내게" 만드는 기법이야.
핵심 정리
원리: 모델이 캐시 식별자(보통 cache breakpoint)를 보고, 같은 접두사면 입력 단가의 10%만 청구.
쓰는 곳: 사내 매뉴얼(5,000자) + 매번 다른 짧은 질문. 매뉴얼 부분이 캐시되어 90% 절감.
TTL: 보통 5분. 5분 내 재호출이 잦으면 비용 효과 극대.
주의: 캐시 단위는 "접두사 동일"이라 시스템 프롬프트 → 도구 정의 → 매뉴얼 → 질문 순서로 배치하면 캐시가 깨지지 않아.
1분 점검
프롬프트 캐싱 효과를 가장 크게 보는 시나리오는?
직접 써보기0 / 1000