[궁금] 온도를 사용해 샘플링할 수 있다.

 

AI 엔지니어링에서 가능한 값들의 확률을 재분배하기 위해, 온도를 사용해 샘플링할 수 있다.

 

여기서 말하는 **온도(Temperature)**는 실제 열이나 물리적 온도가 아니라, 확률을 조절하는 숫자 매개변수예요.

 

수학적으로는?

AI 모델은 단어마다 "점수(logit)"를 주고, 그 점수를 **소프트맥스(softmax)**라는 함수로 확률로 바꿔요.

이때 소프트맥스에 **온도 TTT**를 넣어서 이렇게 바꿔요.

 

 

 

• T가 작을수록 → 점수 차이가 더 크게 반영 → 확률이 뚜렷 (한 단어에 몰림)
• T가 클수록 → 점수 차이가 작게 반영 → 확률이 고르게 (희귀한 단어도 기회)

 

온도는 모델이 “얼마나 모험할지” 결정하는 스위치예요.

온도	의미	결과
T < 1	차가운 분위기	안정적, 정답 같은 표현
T = 1	기본 모드	일반적인 대답
T > 1	뜨거운 분위기	창의적, 예상 밖 표현

 

 

 

직관적으로, 더 높은 온도는 흔한 토큰의 확률을 줄임으로써,

결과적으로 희귀한 토큰의 확률을 증가시킨다.

 

AI 모델의 선택 과정 = 인기 투표

AI가 다음에 어떤 단어(토큰)를 낼지 고르는 과정을 인기 투표라고 생각해봐요.

• 어떤 단어는 인기 많음 → 나올 확률 높음
• 어떤 단어는 인기 적음(희귀) → 나올 확률 낮음

 

온도(Temperature)는 분위기 조절 스위치

온도는 이 "투표 분위기"를 바꾸는 스위치 같아요.

온도	분위기	결과
낮은 온도 (예: 0.1)	모두가 진지함 → 인기 많은 단어만 선택	매우 예측 가능한 답
높은 온도 (예: 1.0+)	자유로운 분위기 → 인기 낮은 단어도 기회 얻음	더 창의적이고 다양하지만 가끔 엉뚱함

 

온도가 높으면 평소 잘 안 나오던 단어의 확률을 올려서
AI가 더 창의적이고 다양하게 말하게 한다.

즉,

• 🎯 온도 낮음 → 정확, 예측 가능, 안정
• 🎨 온도 높음 → 창의적, 다양, 가끔 엉뚱