머신러닝 - 전이학습 (Transfer Learning)

딥러닝 알고리즘 개발로 촉발된 인공지능 기술의 급속한 발전은 기계가 인간의 대화를 이해하고 응대하며 인간보다 더 뛰어난 시각 능력으로 다양한 사물을 분류할 수 있는 수준에 이르렀다. 하지만 여전히 인공지능 기술은 새롭게 부상하는 기술(Emerging Technologies)이며, 많은 투자와 연구가 지속되고 있다. 특히, 인공지능 응용 기술 및 서비스의 상업적 확산을 위해 많은 기업들이 총력을 기울여 연구개발 및 상업화를 진행 중에 있으며, 국가 차원에서도 이를 뒷받침하고 있다. 딥러닝 기반 알고리즘들은 대부분 빅데이터와 많은 양의 연산 장치들이 필요하므로 상업화로 가는 길목이 더딜 수 밖에 없다. 따라서 적은 데이터와 좀 더 적은 자원으로 인공지능을 다양한 영역으로 확산시키기 위한 효율성을 추구하는 기술들이 개발되고 있다. 그 중에서도 한 분야에서 학습한 결과를 학습한 적이 없는 다른 분야에 적용해서 학습하는 전이학습(Transfer Learning)이 각광받고 있다. 본 고에서는 전이학습 기술에 대한 개념을 간단히 살펴보고, 이에 대한 응용 영역들에 대해 좀 더 상세히 살펴봄으로써 전이학습 기술에 대한 이해와 향후 발전 방향을 알아보도록 한다.

 

(개념) 학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 머신러닝 기법

- target task의 데이터 양이 적을 때 딥러닝 기반의 인식률을 향상시킬 수 있는 기법 중 하나

(개념) 학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 머신러닝 기법

- target task의 데이터 양이 적을 때 딥러닝 기반의 인식률을 향상시킬 수 있는 기법 중 하나

 

 

 

- 예를 들어, 이미지를 분류 할 때, 이미지넷 전체 데이터를 통해 학습한 기본 모델을 활용하여, 이미지넷에는 없는 이미지를 선별할 때 활용

 

 

Inductive learning and Inductive Transfer

 

Transfer Learning for Deep Learning with CNN

 

 

 

 

 

 

 

 

 

https://data-flair.training/blogs/transfer-learning

Transfer Learning for Deep Learning with CNN - DataFlair

 

하지만 전이학습을 적용한다고 항상 타깃 태스크의 성능이 높아지는 것은 아니다. 표현 동기화, 유사성 기반 매핑 등 성공적인 전이학습을 위한 필수 관련 분야에서 만족스러운 성능을 보이는 머신러닝 기법이 확보되지 못한 관계로 전이학습을 잘못 적용할 가능성이 매우 높다.

 

전이학습을 잘못 적용할 경우 학습 성능이 저하되는 네거티브 전이(Negative Transfer) 현상*이 발생한다. 아직까지 전이학습을 실제 응용문제에 적극적으로 적용할 수는 없지만, 전이학습의 가능성을 고려할 때 적극적인 연구가 필요한 분야임에 틀림없다.

 

* 네거티브 전이: 관련성이 낮은 태스크간에 전이학습을 시도하면 도리어 성능이 악화되는 현상을 의미

 

( 2017 데이터산업 백서)

 

전이학습은 서로 다른 task 또는 domain으로부터 학습된 skill 또는 knowledge를 특정 공통성을 공유하는 새로운 task 또는 domain에 적용하는 연구 분야이다. 다른 domain 학습으로 추출된 지식(학습 모델 등)을 활용하여 학습 데이터가 부족한 상황에서도 학습성능을 높일 수 있는 장점이 있다.

 

 

 

http://cs231n.github.io/transfer-learning/

CS231n Convolutional Neural Networks for Visual Recognition

 

http://pytorch.kr/beginner/transfer_learning_tutorial.html?fbclid=IwAR0haQ-ovuntRjBqjunRfZta6nauGEkD1NLPzypOTqMz20PsgJuxK16lNOw

전이학습(Transfer Learning) 튜토리얼 — PyTorch Tutorials 0.4.0 documentation