LLM - 검색 증강 생성 (RAG) - Vertex AI Search - Ground Truth

대규모 언어 모델은 RAG를 통해 사용자가 선택한 데이터 소스에 그라운딩된 응답을 생성할 수 있습니다. RAG에는 두 가지 단계가 있습니다.

1. 검색: 가장 관련성 있는 사실을 빠르게 가져오는 것이 일반적인 검색 문제일 수 있습니다. RAG를 이용하면 답변을 생성하는 데 중요한 사실을 빠르게 검색할 수 있습니다.
2. 생성: LLM은 검색된 사실을 이용해서 그라운딩된 응답을 생성합니다.

따라서 그라운딩된 답변 생성 방법은 그라운딩 소스로부터 사실을 검색하고 그라운딩된 답변을 생성합니다.

 

입력 데이터

그라운딩된 답변 생성 방법을 이용하려면 요청에 다음 입력이 필요합니다.

• 역할: 제공된 텍스트의 발신자로서, 사용자(user) 또는 모델(model) 중 하나일 수 있습니다.
• 텍스트: 역할이 user이면 텍스트가 프롬프트이고 역할이 model이면 텍스트가 그라운딩된 답변입니다. 요청에서 역할 및 텍스트를 지정하는 방법은 다음과 같이 결정됩니다.
  • 싱글턴 답변 생성의 경우 사용자가 요청에 프롬프트 텍스트를 전송하고 모델이 응답에 답변 텍스트를 전송합니다.
  • 멀티턴 답변 생성의 경우 요청에는 모든 이전 턴의 프롬프트-답변 쌍과 현재 턴에 대한 사용자의 프롬프트 텍스트가 포함됩니다. 따라서 이러한 요청에서 역할은 프롬프트 텍스트에 대해서는 user이고 답변 텍스트에 대해서는 model입니다.

• 그라운딩 소스: 답변이 그라운딩되는 소스이고, 다음 중 하나 이상일 수 있습니다.
  • Google 검색: Google 검색 결과와 함께 답변을 그라운딩합니다. 그라운딩 소스가 Google 검색이면 동적 검색 기준점이 포함된 동적 검색 구성을 지정할 수 있습니다. 자세한 내용은 동적 검색을 참조하세요.중요: 응답과 함께 Google 검색 추천이 수신된 경우 이러한 응답은 서비스 특정 약관의 서비스 약관 섹션에 있는 Google 검색을 사용하는 그라운딩 약관의 영향을 받는 "그라운딩된 결과"입니다. Google 검색 추천을 사용하려면 Google 검색 추천 사용을 참조하세요.
  • 인라인 텍스트: 요청에 제공된 사실 텍스트에서 답변을 그라운딩합니다. 사실 텍스트는 지정된 요청에 대해 사실로 간주되는 사용자가 제공한 문구입니다. 이 모델은 사실 텍스트의 진위를 확인하지 않습니다. 각 인라인 텍스트 소스에서 최대 100개의 사실 텍스트를 제공할 수 있습니다. 사실 텍스트는 제목, 저자, URI와 같은 메타 속성을 사용하여 지원할 수 있습니다. 이러한 메타 속성은 답변을 지원하는 청크를 참조할 때 응답에 반환됩니다.
  • Vertex AI Search 데이터 스토어: Vertex AI Search 데이터 스토어의 문서에서 답변을 그라운딩합니다. 웹사이트 검색 데이터 저장소를 그라운딩 소스로 지정할 수 없습니다.
  제공된 요청에서 인라인 텍스트 소스와 Vertex AI Search 데이터 스토어 소스를 모두 제공할 수 있습니다. Google 검색을 이러한 소스와 조합할 수는 없습니다. 따라서 Google 검색 결과로 답변을 그라운딩하려면 Google 검색을 유일한 그라운딩 소스로 지정하여 개별 요청을 전송해야 합니다.
  • 인라인 텍스트 소스 3개(각 소스에 최대 100개의 사실 텍스트 포함 가능)
  • Vertex AI Search 데이터 스토어 6개
  • 인라인 텍스트 소스 1개(최대 100개의 사실 텍스트 포함 가능)
  각 소스에는 요청에 지정된 순서로 색인이 할당됩니다. 예를 들어 요청에 소스 조합을 지정한 경우 다음 테이블에 표시된 것처럼 소스 색인이 할당됩니다.이 색인은 응답에서 인용되며 출처를 추적할 때 유용합니다.

 

• 순서에 관계없이 최대 10개의 그라운딩 소스를 제공할 수 있습니다. 예를 들어 총 10개의 그라운딩 소스를 얻기 위해 다음 순서로 다음 개수의 그라운딩 소스를 제공한다고 가정해 보세요.
• 생성 사양: 다음 정보로 구성된 모델 구성의 사양입니다.
  • 모델 ID: 답변 생성에 사용할 Vertex AI Gemini 모델을 지정합니다. 그라운딩된 답변을 생성하는 데 사용할 수 있는 Gemini 모델 목록은 모델 버전 및 수명 주기를 참고하세요.
  • 모델 매개변수: 사용하도록 선택하는 모델에 설정할 수 있는 매개변수를 지정합니다. 이러한 매개변수에는 언어, 강도, Top-P, Top-K가 있습니다. 이러한 매개변수에 대한 자세한 내용은 Gemini 모델 매개변수를 참고하세요.
• 언어 코드: 생성된 대답의 언어는 일반적으로 프롬프트의 언어와 일치하도록 설정됩니다. 프롬프트에 단일 언어가 없는 경우 (예: 프롬프트가 매우 짧고 여러 언어로 유효할 수 있는 경우) 언어 코드 필드가 대답의 언어를 결정합니다.
• 언어 코드 목록은 언어를 참고하세요.
• 위도 및 경도: 사용자의 위도와 경도를 지정합니다. 질문에 '내 주변의 커피숍을 찾아 줘'와 같은 위치 관련 질문이 포함된 경우 이러한 필드가 사용됩니다. 검색어 언어를 확인할 수 없고 언어 코드가 설정되지 않은 경우 위도와 경도를 사용하여 답변의 언어를 확인합니다.

출력 데이터

모델이 생성하는 응답은 후보라고 부르며 다음 데이터를 포함합니다. 모든 필드가 출력에 제공되지 않을 수 있습니다.

• 역할: 그라운딩된 답변의 발신자입니다. 응답에는 항상 그라운딩된 답변 텍스트가 포함됩니다. 따라서 응답의 역할은 항상 모델입니다.
• 텍스트: 그라운딩된 답변입니다.
• 그라운딩 점수: 지정된 소스에서 답변이 그라운딩된 정도를 나타내는 [0, 1] 범위의 부동 소수점 값입니다.
• 그라운딩 메타데이터: 그라운딩 소스에 대한 메타데이터입니다. 그라운딩 메타데이터에는 다음 정보가 포함됩니다.
  • 지원 청크: 답변을 지원하는 청크 목록입니다. 각 지원 청크에는 출처를 추적할 때 도움이 되는 지원 청크 색인이 할당됩니다. 각 지원 청크에는 다음이 포함됩니다.
    • 청크 텍스트: 답변 또는 답변의 일부(주장 텍스트라고 부름)가 추출되는 소스에서 가져온 정확한 인용 텍스트 부분입니다. 이 부분은 응답에 항상 표시되지 않을 수 있습니다.
    • 소스: 요청의 소스에 할당된 색인입니다.
    • 소스 메타데이터: 청크에 대한 메타데이터입니다. 소스에 따라 소스 메타데이터는 다음 중 하나일 수 있습니다.
      • 인라인 소스의 경우에는 제목, 저자, URI와 같이 요청에 지정된 추가 세부정보가 메타데이터가 될 수 있습니다.
      • Vertex AI Search 데이터 스토어의 경우에는 문서 ID, 문서 제목, URI(Cloud Storage 위치), 페이지 번호가 메타데이터가 될 수 있습니다.
      • Google 검색을 통한 그라운딩의 경우 그라운딩된 결과가 생성되면 그라운딩된 결과를 생성하는 데 사용된 콘텐츠의 게시자로 리디렉션되는 URI가 메타데이터에 포함됩니다. 메타데이터에는 게시자의 도메인도 포함됩니다. 제공된 URI는 그라운딩된 결과가 생성된 후 최대 30일 동안 액세스 가능한 상태로 유지됩니다.
      중요: 제공된 URI는 최종 사용자가 직접 액세스해야 하며 프로그래매틱의 자동 방식으로 쿼리하지 않아야 합니다. 자동 액세스가 감지되면 Google 검색 서비스를 통한 그라운딩에서 리디렉션 URI 제공이 중지될 수 있습니다. 리디렉션 URI를 다시 시작하려면 고객 엔지니어에게 문의하세요.
  • 그라운딩 지원: 답변의 주장에 대한 그라운딩 정보입니다. 그라운딩 지원에는 다음 정보가 포함됩니다.
    • 주장 텍스트: 지원 청크 텍스트로 지원되는 답변 또는 답변의 일부입니다.
    • 지원 청크 색인: 청크가 지원 청크 목록에 표시되는 순서로 지원 청크에 할당된 색인입니다.
    • 웹 검색어: Google 검색 추천을 위해 추천되는 검색어입니다.
    • 검색 추천: 응답과 함께 Google 검색 추천이 수신된 경우 이러한 응답은 Google 검색을 사용한 그라운딩에 대한 서비스 약관의 영향을 받는 '그라운딩된 결과'입니다. 자세한 내용은 서비스 약관을 참고하세요. searchEntryPoint 필드 내의 renderedContent 필드는 Google 검색 추천을 구현하기 위해 제공된 코드입니다. Google 검색 추천을 사용하려면 Google 검색 추천 사용을 참조하세요.

 

 

[google] https://docs.cloud.google.com/generative-ai-app-builder/docs/grounded-gen?hl=ko