[용어] 잔차 연결(residual connection)

(개념) 딥러닝에서 신경망이 너무 깊어졌을 때 학습이 어려워지는 문제를 완화하기 위해 사용하는 연결 방식

- 대표적으로 Microsoft 연구팀의 ResNet(Residual Network)

 

https://www.geeksforgeeks.org/deep-learning/residual-networks-resnet-deep-learning/

 

신경망을 깊게 쌓으면 단순히 층을 추가하는 것만으로 성능이 좋아지지 않습니다.

오히려 기울기 소실(vanishing gradient)이나 최적화 어려움 때문에 깊은 네트워크의 학습이 힘들어질 수 있습니다.

잔차 연결은 입력을 다음 층으로 직접 전달하는 우회 경로(skip connection)를 만들어 줍니다.

 

'잔차(residual)'라는 이름은 왜 붙었을까?

핵심은 네트워크가 완성된 함수 H(x) 자체를 학습하는 대신, 입력에서 얼마나 달라져야 하는지를 학습하도록 만든다는 것입니다.

 

어떤 층의 입력이 x=10 이고, 네트워크가 이 값을 최종적으로 11로 바꾸고 싶다고 해봅시다.

일반적인 네트워크는 10 → 11이라는 변환 자체를 학습해야 합니다. 

 

잔차 연결에서는 네트워크가 10+F(10)=11 을 만들면 됩니다.

따라서 F(10)=1 만 학습하면 됩니다.