NB (Naive Bayes) 알고리즘

NB(Naive Bayes) 알고리즘은 지도 학습(Supervised Learning)에서 분류(Classification) 문제를 해결하는 데 사용되는 확률기반의 알고리즘이다. NB 알고리즘은 Bayes 정리를 기반으로 하는데, Bayes 정리는 사건 A가 발생한 조건에서 사건 B가 발생할 확률을 계산하는 데 사용되는 확률적인 방법입니다. 이를 수식으로 나타내면 다음과 같다.

 

P(B|A) = (P(A|B) * P(B)) / P(A)

 

 

NB 알고리즘은 분류할 클래스(라벨)를 y, 입력 변수를 x1, x2, ..., xn이라고 할 때, 주어진 데이터에 대한 각 클래스의 확률을 계산하여 새로운 데이터 포인트를 분류하는 방식으로 작동한다. 이 때, 각 feature들은 서로 조건부로 독립이라는 가정을 한다. 이 가정이 실제로 항상 성립하지는 않지만, 간단하고 계산이 빠른 알고리즘이기 때문에 많은 경우에 효과적으로 사용된다.

NB 알고리즘은 다양한 분야에서 활용되는데, 텍스트 분류(Text Classification)에서 특히 많이 사용된다. 예를 들어, 스팸 메일 필터링, 문서 분류, 감성 분석 등에 사용될 수 있다. 또한, feature들 간의 조건부 독립 가정이 꽤 정확한 경우, 작은 데이터셋에서도 상당히 좋은 성능을 발휘하는 장점이 있다.


NB 알고리즘은 데이터셋의 크기에 민감하지 않고, 학습 속도가 빠르며, 특히 텍스트 데이터와 같이 차원이 높은 데이터에서도 잘 작동하는 장점이 있다. 그러나 feature 간의 조건부 독립 가정이 실제 데이터에 부합하지 않으면 예측 성능이 낮아질 수 있다.