LLM - 검색 증강 생성 (RAG) - AWS, SK하이닉스의 RAG 플랫폼 구축 및 성능 평가/분석

https://aws.amazon.com/ko/blogs/tech/sk-hynix-rag-platfrom-analysis-evaluation/

2025.2.24
[SK하이닉스의 RAG 플랫폼 구축 및 성능 평가/분석 연구 사례]

이 보고서는 SK하이닉스가 AWS 클라우드 인프라를 활용하여 검색 증강 생성(RAG) 플랫폼을 구축하고, 메모리 시스템 최적화를 위해 수행한 성능 분석 결과를 담고 있습니다. 연구진은 데이터 규모가 커짐에 따라 지식 검색 단계가 전체 응답 속도와 첫 토큰 생성 시간(TTFT)에 미치는 영향을 상세히 측정하였습니다. 특히 인덱스 용량이 시스템 메모리를 초과하는 디스크 스필(Disk-spill) 상황에서 발생하는 급격한 성능 저하를 경고하며, 하드웨어 자원의 효율적 관리를 강조합니다. 결과적으로 이 텍스트는 향후 데이터 증설에 대응하기 위해 비용과 성능의 균형을 맞춘 디스크 기반 벡터 검색 등의 최적화 솔루션이 필수적임을 제안하고 있습니다.

 

Figure 1. 기본 RAG 흐름도

Figure 3. RAG 단계 별 AWS 솔루션

 

Figure 4. RAG Inference Work flow

Figure 7. RAG 에서의 TTFT와 측정 결과

 

Figure 9. 데이터 셋 크기에 따른 TTFT 비교