Kernel-SVM

mapping function 

가장 중요한 것은 input Space와 Featuer Space 사이를 매핑해주는 함수 Φ

커널을 도입하게 되면 연산량이 폭증하게 됩니다. 그도 그럴 것이 모든 관측치에 대해 고차원으로 매핑하고 이를 내적하기 때문입니다.  고차원 매핑과 내적을 한방에 할 수 는 없을까요? 이를 위해 도입도니 것이 바로 커널(Kernel)

K는 다음과 같이 정의된다. 

 

 

polynomial 커널을 쓰는 경우 사용자가 지정한 d가 Feature space의 차원이 됩니다. 그러면 가우시안 커널은 어떨까요?

 

Kernel의 효과

기존 SVM에 해당하는 Linear 커널은 선형 분류경계면을 만들어냅니다. Polynomial 등 이 글에서 소개하는 커널은 비선형 경계면이 만들어집니다. 다음과 같습니다.

이번엔 가우시안 커널을 보겠습니다. gamma는 지수의 분모에 해당하는 하이퍼 파라메터인데요. 작을수록 마진이 넓어지는 걸 확인할 수 있습니다.