웬만한 상황에서 딥 러닝 못지 않는 성능. 무엇보다도 가볍다.
가장 많이 사용되는 SVM은 radial basis funtion(RBF) 커널을 사용한 것
어떻게 해야 SVM을 좀 더 잘 사용할 수 있을지!
RBF커널 SVM도 두개의 매개변수(C,gamma)가 사용자에 의해 세팅되어야 한다.
grid search라는 경험적인 방법에 의해서만 선택한다.
grid search란 그림 1과 같이 매개변수들의 여러 조합들을 테스트해서 가장 좋은 성능을 내는 매개변수를 찾아내는 것.
선형 SVM을 먼저 이해하고 있어야 한다. 사용자가 설정해야하는 매개변수가 cost이고, RBF 커널 SVM은 cost와 함께 gamma라는 매개변수를 추가적으로 조정
선형 SVM
마진이란 두 데이터 군과 결정 경계가 떨어져 있는 정도.
서포트 벡터들은 두 클래스 사이의 경계에 위치한 데이터 포인트들(그림4에서 점선 위에 있는 데이터들)
서포트 벡터들이 결정 경계를 만드는데 영향을 준다.
약간의 오류를 허용하는 전략
관련된 파라미터가 바로 cost(C) C는 얼마나 많은 데이터 샘플이 다른 클래스에 놓이는 것을 허용하는지
작을 수록 많이 허용, 클 수록 적게 허용.
작을 수록 이상치들이 있을 가능 성을 크게 잡아 일반적인 결정 경계
클 수록 이상치의 존재 가능성을 작게 봐서 좀 더 세심하게 결정 경계 찾아냄.
C가 너무 낮으면 과소적합.
C가 너무 크면 과대적합.
RBF커널 SVM
주어진 데이터를 고차원 특정 공간으로 사상해주는 것.
‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’ 커널 등이 있다.
RBF커널의 경우 gamma라는 매개변수,
기본 매개변수인 C
두가지를 설정해줘야 한다.
gamma의 역할은? : 하나의 데이터 샘플이 영향력을 행사하는 거리를 결정. 가우시안 함수의 표준편차와 관련되어 있는데, 클수록 작은 표준편차를 갖는다. 즉, gamma가 클수록 한 데이터 포인트들이 영향력을 행사하는 거리가 짧아지는 반면, gamma가 낮을수록 커진다.
C : 커질수록 이상치의 존재 가능성을 낮게 본다.
gamma : 결정 경계의 곡률을 조정한다고 말할 수도 있다.
두 파라미터 모두 적정값을 찾아야 한다.
결론
SVM알고리즘 중 가장 성능이 괜찮고 일반적으로 널리 사용되는 것은 RBF 커널 SVM
매개변수인 C와 gamma를 잘 조정해야한다.
C는 데이터 샘플들이 다른 클래스에 놓이는 것을 허용하는 정도를 결정하고, gamma는 결정 경계의 곡률을 결정한다.
두값 모두 커질수록 알고리즘의 복잡도는 증가
grid search로 경험적으로 최적의 매개변수 값들을 찾아가는데,
좋은 성능을 내는 매개변수 값들을 찾아낼 수 있을 것