LLM - 검색 증강 생성, Retrieval-augmented generation (RAG)

(정의) 프라이빗 또는 독점 데이터 소스의 정보로 텍스트 생성을 보완하는 기술

​​          정보 검색 구성 요소와 텍스트 생성기 모델을 결합

- 데이터의 정확도를 높여 생성형 AI 환각을 없애는 데 초점을 맞춘 기술

 

생성형 AI의 소개 및 활용시 규제 관련 논의사항(금융보안원), 2024.03

 

 

 

*벡터화:  정형, 비정형 등 다양한 포맷의 데이터를 숫자로 표현하는 것

 

- 대규모 데이터 세트 또는 지식 기반을 검색하도록 설계된 검색 모델에 해당 정보를 가져와 읽을 수 있는 텍스트 응답을 생성하는 대규모 언어 모델(LLM)과 같은 생성 모델을 결합

- 추가 데이터 소스의 컨텍스트를 더하고 훈련을 통해 LLM의 원래 지식 기반을 보완함으로써 검색 경험의 정확도를 개선할 수 있습니다. 따라서 모델을 다시 훈련할 필요 없이 대규모 언어 모델의 출력이 향상됩니다. 

- 생성형 AI 시스템이 외부 정보 소스를 사용하여 보다 정확한 상황 인식 응답을 생성할 수 있도록 해주기 때문에 질문 답변 및 콘텐츠 생성과 같은 작업에 유용합니다. 일반적으로 시맨틱 검색이나 하이브리드 검색과 같은 검색 방법을 구현하여 사용자 의도에 응답하고 보다 정확한 결과를 제공합니다.

 

 

(동작방식)

1. 검색

2. 생성

 

AutoRAG: 자동으로 최적의 RAG 파이프라인을 찾아주는 자동화 툴

• AutoRAG는 ML을 자동으로 최적화 해주는 AutoML처럼 RAG를 자동으로 최적화 해줌
• 수천개의 문서(pdf, 워드 등)들 내에서 검색을 통해 LLM이 모르는 지식에 대해서도 답변할 수 있게 하는 RAG(Retrieval-Augmented Generation)가 많은 관심을 받고 있음.
• 실제 문서에서 높은 성능의 RAG 파이프라인을 구성하는 것은 어려움.
• RAG는 데이터와 목적에 따라 어울리는 조합이 모두 다르며 최적의 조합을 찾기 위해서는 많은 실험과 평가를 반복해야 함.
• RAG 파이프라인 조합은 AutoRAG에서 현재 지원하는 12개의 모듈에서만 960가지의 조합이 나올 정도로 다양함.
  (임베딩 및 언어모델은 조합에서 제외)
• AutoRAG는 ML을 자동으로 최적화 해주는 AutoML처럼 RAG를 자동으로 최적화 해줌
• YAML 파일을 간단히 수정하는 것 만으로 사용 가능.
• 찾은 최적의 RAG를 곧바로 fastAPI 서버로 실행하여 사용 가능.

---

RAG를 공부하고, 여러 파이프라인을 만들고 성능을 시험해 보며 느꼈던 가장 큰 어려움은 ‘데이터마다 최적화 하는 것’ 이었습니다.
학계에서는 매일 새로운 RAG 모듈이나 파이프라인을 제안하고 있지만, 힘들게 가져와 실제 데이터에 적용을 해보면 성능이 전혀 향상되지 않는 경우가 많았습니다. 또한, pdf와 같은 문서들에서 평가용 데이터셋을 구축하고, 여러 모듈로 실험하고 평가하는 과정이 귀찮고 힘들었습니다.

대부분의 RAG 개발팀이 같은 어려움을 겪을 것이라 예상이 되어 저희 팀에서 오픈소스로 AutoRAG를 만들었습니다. 깃허브와 저희의 Docs를 보시고 따라하시면 쉽게 이용하실 수 있을 것입니다.

RAG를 기존에 열심히 만들고 계셨던 분들도, 새롭게 RAG에 입문하시는 분들도 모두 만족하며 사용하실 수 있을 것입니다!

 

https://www.elastic.co/kr/what-is/retrieval-augmented-generation

검색 증강 생성(RAG)이란? | 포괄적인 RAG 안내서

https://www.promptingguide.ai/techniques/rag

Retrieval Augmented Generation (RAG) – Nextra

https://github.com/Marker-Inc-Korea/AutoRAG

GitHub - Marker-Inc-Korea/AutoRAG: RAG AutoML Tool - Find optimal RAG pipeline for your own data.

https://byline.network/2024/02/240219_003/

[그게 뭔가요] 생성AI 환각 줄이는 ‘RAG’ - 바이라인네트워크