딥러닝 - 역전파 (Back Propagation)

 

 

Cost Function(Loss Function)

 

위 그림에서 s는 활성함수, 즉 sigmoid 함수를 뜻하며, s’는 s의 미분함수이다.Feed forward 과정에서 왼쪽에서 오른쪽으로 흐름이 만들어지며, 위 그림의 원에서 오른쪽 반원에 있는 부분에 해당한다.즉, 모든 넷에서 들어오는 입력의 합을 sigmod 함수를 거쳐서 출력함을 의미한다. Backpropagation을 하는 경우는 오른쪽에서 왼쪽으로 계산을 하며, 연산을 수행할때는 왼쪽 반원에 있는 부분을 선택한다.즉, 에러를 역전파할때는 sigmoid 함수의 미분함수 s’를 사용하고 각 net로 모드ㅜ 동일하게 전파된다.

 

• N은 훈련에 사용하는 입력의 수, y(x)는 입력 x를 가했을 때 기대값을 나타내며, a는 입력 x를 신경망에 넣었을 때 실제 출력 값이다.
• 신경망에 훈련 데이터 x를 가하고 실제 출력과 기대 출력간의 차에 대한 MSE( Mean Square Error )를 구하는 것임을 알 수가 있음
• Y(x)와 a의 차가 작아질수록 신경망이 학습이 잘된다고 볼 수 있음.

• 훈련 데이터를 이용해 가중치(w)와 바이어스(b)를 변화시키는 과정을 반복적으로 수행하여 cost function이 최소값이 되도록 하는 것이 신경망 학습목표