LLM - 분석 - 텍스트 분석

feat. AI가 쓴 글, 사람 글과 정말 다를까

 

대규모 통계 분석으로 AI 글쓰기의 한계 규명

서울시립대학교 연구진은 챗GPT와 같은 대형 언어 모델(LLM)이 생성하는 텍스트와 인간이 작성한 텍스트의 본질적 차이를 대규모 통계 분석으로 규명했습니다. 이번 연구는 AI 텍스트의 구조적 특성을 이해하고, 인간 텍스트와의 유사성에 대한 평가를 목표로 했습니다.

 

연구 개요

항목	내용
데이터 수집 기간	2023년 12월 6일 ~ 2024년 1월 17일
분석 데이터	- 맨해튼 호텔 리뷰 32,000여 개 - CNN 뉴스 기사 8,008개 - SQuAD2 문장 9,198개 - Quora 질문 24,714개
분석 대상	- 원본 텍스트(O) - GPT로 패러프레이징한 텍스트(G) - G를 다시 패러프레이징한 텍스트(S)
연구 질문	1. O와 G의 구조적 차이가 G와 S의 차이와 같은가? 2. GPT의 텍스트 다양성 조절이 인간 텍스트와의 유사성에 미치는 영향은?

 

 

연구 방법

 

• 데이터셋 구성:
  • O (Original): 인간이 작성한 원본 텍스트
  • G (Generated): O를 LLM을 통해 패러프레이즈한 텍스트
  • S (Secondary): G를 다시 LLM으로 패러프레이즈한 텍스트
• 분석 질문:
  1. O와 G의 잠재적 구조 차이가 G와 S의 차이와 동일한가?
  2. LLM의 텍스트 생성 다양성을 조절하는 매개변수를 조정하면 G가 O와 더 유사해지는가?
• 데이터 및 분석 방법
  • 웹 크롤링을 통해 30,000개 이상의 인간 작성 텍스트 수집
  • LLM을 사용해 원본 텍스트의 패러프레이즈 생성
  • 텍스트 임베딩과 클러스터링을 활용한 분석
  • 비모수적 가설 검정 방법 사용

 

 

항목	내용
텍스트 임베딩	OpenAI의 text-embedding-3-small 모델로 텍스트를 1536차원 벡터로 변환.
통계적 분석 기법	- 호텔링의 T-제곱 검정 - 에너지 검정 - 쿨백-라이블러 발산 - 바서스타인 거리
클러스터링 실험	클러스터 수를 2~5개로 설정하여 텍스트 간 구조적 차이 분석.

 

주요 결과

1. 온도 매개변수의 영향:
   • GPT의 온도를 0.1(보수적)에서 1.5(창의적)까지 조정하며 텍스트 생성 실험.
   • 낮은 온도: 원본과 유사한 텍스트 생성.
   • 높은 온도: 창의적이지만 원본과 크게 다른 텍스트 생성.
   예시:

   온도	생성 텍스트 예시
   0.1	"저렴하고 깨끗하며 아늑한 숙소. 단기 숙박에 적합하다."
   0.7	"아늑하고 잘 관리된 호텔로, 짧은 여행에 적합하며 위치가 편리하다."
   1.5	"이 부티크 호텔은 훌륭했다. 객실이 아늑했고 직원들이 친절했다. 도시를 탐험하기에 완벽한 장소였다."

2. 텍스트 변환의 누적 차이:
   • O → G 변환보다 G → S 변환에서 원본과의 차이가 더 커짐.
   • 이는 LLM이 패러프레이징을 반복할수록 원본과 더 멀어질 가능성을 보여줌.
3. 데이터셋별 특이성:
   • CNN 뉴스, SQuAD2와 같은 특정 문체의 데이터는 온도 변화에 따른 특이 패턴을 보임.

연구의 한계와 시사점

항목	내용
한계	- 간접 증거에 의존한 분석. - 특정 데이터 유형에만 적용 가능. - 정량적 평가 방법론의 부족.
시사점	- LLM 평가를 위한 통계적 방법론 개발의 필요성. - 인간 텍스트와 AI 텍스트의 본질적 차이를 정량화.

 

 

https://arxiv.org/pdf/2501.01273

https://zdnet.co.kr/view/?no=20250107101514