LLM - 캐시 - 시맨틱 캐싱(Semantic Caching)

(개념) 질의(Query)나 데이터 요청을 캐시할 때, 단순히 결과 데이터만 저장하는 것이 아니라, 그 데이터가 어떤 의미(시맨틱)를 갖는지까지 함께 저장하는 방식

- 데이터의 의미 기반으로 캐시를 활용하여, 새로운 요청이 들어왔을 때 기존 캐시된 데이터로 처리 가능한지 판단할 수 있도록 함

 

항목	설명
기본 아이디어	데이터의 의미(semantic)를 기반으로 질의 결과를 캐싱
목적	재질의를 줄이고 응답 속도 향상, 중복 계산 방지
적용 분야	데이터베이스 질의 처리, 웹 서비스, 추천 시스템, 시맨틱 웹, LLM 기반 시스템 등
차별점	단순한 값 기반 캐싱이 아닌 의미 기반 판단으로 캐시 재활용

 

코사인 유사도와 같은 거리 기반 유사도 계산을 활용해서 문장 간 의미가 얼마나 가까운지를 측정하고, 그 거리가 일정 임계값 이상이라면 같은 의미라고 판단해 캐시 HIT를 적용하는 방식

 

시맨틱 캐싱 아키텍처 설계 및 구현

 

예시 1: 단순 캐싱 vs 시맨틱 캐싱

• 단순 캐싱:
• 시맨틱 캐싱:

 

예시 2: 자연어 질문

• 이전 질문: "서울에서 가장 인기 있는 맛집은?"
• 새로운 질문: "서울 강남구에서 인기 있는 맛집은?"

→ 의미상 이전 질문이 포함하는 더 일반적인 범주이므로, 기존 캐시를 부분적으로 활용 가능

 

🔹 장점

• 질의 응답 속도 향상
• 서버 부하 감소
• 불필요한 데이터 중복 전송 방지
• 의미 기반 캐싱으로 더 넓은 범위 재사용

 

🔹 단점/과제

• 시맨틱 관계 파악의 계산 비용
• 부분 질의 응답을 위해 정교한 질의 포함 관계 분석 필요
• 의미 추론 오류 시 캐시 오용 가능

 

🔹 시맨틱 캐싱 적용 분야

분야	적용 예시
데이터베이스	질의 최적화, 부분 질의 응답
웹/REST API	의미 유사한 요청 간 캐시 공유
LLM (GPT 등)	이전 질의 문맥에 기반한 응답 캐싱
추천 시스템	유사한 사용자 선호도를 기반으로 캐시 활용
지식그래프	의미 유사 노드 간 캐시 재사용

---

🔹 참고 논문/자료

• Dar, S., Franklin, M. J., Jónsson, B. T., Srivastava, D., & Tan, M. (1996). Semantic data caching and replacement. VLDB.
• "Semantic Caching for Web Services" – IEEE Web Services Conference
• 최근에는 LLM 캐시에도 의미 기반 임베딩 캐시(Embedding Cache)로 확장됨

 

https://medium.com/daangn/%EC%97%B0%EA%B0%84-llm-%ED%98%B8%EC%B6%9C-%EB%B9%84%EC%9A%A9-25-%EC%A0%88%EA%B0%90-%EC%9D%B8%ED%84%B4%EC%9D%B4-%EB%8F%84%EC%A0%84%ED%95%9C-%EC%8B%9C%EB%A7%A8%ED%8B%B1-%EC%BA%90%EC%8B%B1-%EB%8F%84%EC%9E%85-%EA%B8%B0%EB%A1%9D-af3de9a74d0c