Naive Bayes

728x90

나이브베이즈(Naïve Bayes)

확률 기반 머신러닝 분류 알고리즘

나이브 베이즈분류 알고리즘

나이브(단순)하게 독립적인 사건으로 가정하고, 이 독립 사건들을 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘

가우시안 나이브 베이즈 분류

특징들의 값들이 정규분포(가우시간 분포)되어있다는 가정하에 조건부 확률을 계산하여, 연속적인 성질이 있는 특징이 있는 데이터를 분류하는데 적합

다항 분포 나이브 베이즈(Multinomial Naïve Bayes)

데이터 특징이 출현 횟수로 표현됐을 때 사용

베르누이 나이브 베이즈 모델(Bernoulli Naïve Bayes)

데이터의 특징이 0과 1로 표현됐을 때 사용

스무딩

학습 데이터에 없던 데이터가 출현해도 빈도수에 1을 더해 확률이 0이 되는 현상 방지

이상적인 데이터의 경우 빈도수가 0인 경우가 존재(=확률이 0이 됨). 이때 분류가 어려워지는데 이를 극복하기 위해 스무딩(smoothing) 기술 발생

장점

모든 데이터의 특징이 독립적인 사건이라는 나이브 가정에도 불구하고 실전에서 높은 정확도를 보임

나이브 가정에 의해 계산 속도가 다른 모델들에 비해 빠름

단점

모든 데이터의 특징을 독립적인 사건이라고 가정하는 것은 문서 분류에 적합할지는 모르나 다른 분류 모델에는 제약이 될 수 있음

bernoulli naive bayes

gaussian naive bayes - IRIS dataset

multinomial naive bayes

Ornni