머신러닝 - 분류 - SVM (Support Vector Machine) 알고리즘

SVM 알고리즘

분류분석, Margin, Support Vector, 초평면, 커널함수, 오차가 0에 수렴 , 이진분류기, 패턴인식, 자료분석(분류, 회귀분석)

 

[개념] 학습데이터를 두개의 클래스로 나누는데 Margin을 최대로 하는 결정직선을 찾는 분류알고리즘

데이터집합을 비확률적 이진선형, 또는 비선형분류를 통해 범주를 나누는 초평면(Hyperplane)을 구하는 지도학습 기반 분류알고리즘. ※이진선형분류:범주를 2개로 분류함을 의미

 

[원리] 현재 차원에서 데이터를 선형적으로 분류하기 힘든 경우에 데이터의 차원을 고차원으로 확장하고, 경계평면을 찾는 원리

1)Convex Hull 도출:같은 범주를 기준으로 바깥에 위치한 벡터들의 연결선으로 이루어진 다각형 도출

2)Maximum Hyperplane 도출:그룹을 분류하는 최적의 데이터 분류기준 선/면 도출(가장 가까운 학습데이터로부터 가장 먼 거리를 가지는 평면-그래야 분류오차(Classifier Error)가 최소화 되므로)

 

[목적] Training Data에서 두 클래스의 어떤 포인트로부터 최대한 멀리 떨어져있는 Decision Boundary를 찾는 것

[생성] 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할 것인지 판단하는 비확률적 이진 선형 분류 모델

 

[장점]

1)과대적합(Overfitting), 국소최적화(Local Minimum) 문제 완화

2)이진분류시 효율적(상대적으로 Decision Tree, Neural NW보다 빠르고 쉽게 분류가능)

3)해석용이

4)적은 학습자료기반 신속한 분류가능

 

[고려사항]

1)커널트릭 활용:데이터를 고차원 특징공간으로 사상하여 간단하게 분류가능.

2)Noise, Outlier 영향최소화:다른 데이터보다 영향력이 클 가능성이 있는 사전 학습데이터 정비필요

 

SVM 기반 이미지 인식 방법(CV-Tricks.com)

 

 

[구성]

1)Support Vector: 결정직선에서 가장 근거리에 위치하는 벡터

2)HyperPlane:n차원의 공간의 구분을 위해 결정되는 n-1평면

3)Margin:Class 의 Support Vector 와 B Class 의 Support Vector 사이의 거리

4)Kernel 함수: 선형패턴 고차원 공간 변환 및 비선형 경계면 탐색

 비선형 패턴을 분리하기 위하여 비선형 패턴의 입력공간을 선형 패턴의 feature space 로 변환(고차 공간) 하고 해당 비선형 경계면을 찾는방법

  예) 선형커널, 차수 다항 커널, 시그모이드 커널, 가우시안 RBF 커널

 

기존 분류기는 ‘오류율을 최소화’ 하는 방법인 반면, SVM은 ‘여백 Margin 을 최대화’하여 일반화 능력을 극대화함

 

[장점] 분류, 학습, 데이터

(1)이론적 근거에 기반하여 결과 해석이 용이,

(2)실제 응용에 있어 인공신경망 수준의 높은 성과,

(3)적은 학습자료만으로 신속 하게 분별학습 수행

 

[단점] 입력, 출력, 한계

(1)최적모델위한 커널,모델 여러 번 테스트

(2)커널함수 의존적 성능차

(3) 입력데이터에 따른 훈련속도 반비례 성능

 

[응용분야] 문자 및 문서 인식, 생체인식, 로봇 비전, 금융데이터 분석, 뇌 신호처리 등

 

 

 

 

https://sites.google.com/site/bimprinciple/in-the-news/dibleoning-euliyonghangaegchegeomchulr-cnnyolossd

Google Sites: 로그인