나이브 베이즈(Naive Bayes)

확률적 모델링(probabilistic modeling)은 통계학 이론을 데이터 분석에 응용한 것 초창기 머신 러닝 형태 중 하나고 요즘도 널리 사용된다. 가장 잘 알려진 알고리즘 중 하나가 나이브 베이즈(Naive Bayes) 

입력 데이터의 특성이 모두 독립적이라고 가정하고 베이즈 정리(Bayes theorem)을 적용하는 머신 러닝 분류 알고리즘이다.(강한, 또는 '순진한'(naive) 가정)

베이즈 정리는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있다. 

베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할때 유용하게 사용된다, 전통적인 확률이 연역적 추론에 기반을 두고 있다면 베이즈 정리는 확률임에도 귀납적, 경험적인 추론을 사용한다.

• 베이즈 정리

${\displaystyle P(A_{1}|B)={\frac {P(B\cap A_{1})}{P(B)}}}$

= ${\displaystyle {\frac {P(B|A_{1})P(A_{1})}{P(B)}}}$

= ${\displaystyle {\frac {P(B|A_{1})P(A_{1})}{P(B|A_{1})P(A_{1})+P(B|A_{2})P(A_{2})}}}$

베이즈 알고리즘 : http://bcho.tistory.com/1010