[궁금] 신경망의 확률을 다룰 때는 언더플로 문제를 줄이는 데 도움이 되기 때문에 로그 스케일이 선호된다.

 

신경망이 어떤 일이 일어날 확률을 계산할 때,

그 숫자들이 너무 작아져서 컴퓨터가 제대로 저장하거나 계산하기 어려울 때가 있어요.
이걸 **언더플로(underflow)**라고 불러요.

 

예를 들어

0.00000000023 같은 숫자를 여러 번 곱하면
거의 0에 너무 가까운 숫자가 되어버려서 컴퓨터가 정확히 표현 못 하는 상황이 생기죠.

 

그래서 확률을 직접 다루는 대신, **로그(log)**를 취해

• 0.00000000023 → -22 같은 숫자로 바꿔서 계산해요.
  이렇게 하면 숫자가 너무 작아지지 않아서 안정적으로 계산할 수 있어요.

> 작은 확률을 직접 계산하면 숫자가 너무 작아져 문제가 생기니, 로그로 바꿔서 계산하면 더 안전하다!