[용어] 엔트로피와 교차 엔트로피의 차이점

엔트로피는 단일 확률분포의 불확실성 정도를 측정하는 정보이론의 지표이며,

교차 엔트로피는 두 개의 서로 다른 확률분포 간의 차이를 측정하는 척도입니다.

주요 차이점대상: 엔트로피는 하나의 분포 불확실성, 교차 엔트로피는 두 분포 차이.

용도: 머신러닝에서 교차 엔트로피는 손실 함수로 사용되어 모델 예측 [ q ]와 실제 레이블 [ p ] 간 차이를 최소화합니다.