딥러닝 이론-5 : Logistic regression classification

1. Binary Classification (이진 분류)

- 스팸메일 분류와 같은 것이 대표적인 이진 분류의 예이다. 이러한 경우 스팸은 1, 스팸이 아닌 것은 0 으로 labeling을 하여, 모델이 0 또는 1로 예측하도록 한다. 예를 들어 아래와 같이 공부시간에 대한 시험 pass/fail에 대해 예측하는 모델이 있다고 하자.

​

이 경우 Linear한 모델로 pass/fail을 분류할 수 있을 것 같다. 맨처음 L1 (wx)와 같이 모델이 예측했다고 하자. 그럼 y 값이 0.5 인 경우 p3까지 정확히 분류할 수 있지만, 점점 공부시간이 많아지면서 통과한 경우 (p4) 를 예측하기 위해 L2처럼 선이 기울어지게 된다. 학습이 진행되면서 L2처럼 모델이 되었을 경우 기존 L1의 경우에는 y값이 0.5 일 때 제대로 분류되었던 값(p1, p2) 이 합격이지만 불합격으로 인식을 하는 error가 발생하게 된다 (문제점 1). 다음으로는 본래 위 모델이 linear하기 때문에 p4의 y 값은 1보다 커야 하지만 이진 분류이므로 y 값이 0 또는 1이어야하는 문제점이 발생하게 된다. (문제점 2)

​

2. Logistic Hypothesis

- 위 문제를 해결하기 위해서 값을 0과 1 사이로 압축시켜주는 함수를 이용하게 되었다. (시그모이드 함수)

하지만 이 경우 cost function의 그래프 형태가 구불구불한 형태가 되게 된다.

 

본래 살펴보았던 cost function은 시작점과 관계없이 같은 최소값을 찾게 되는데, 이 경우에는 시작점에 따라 찾는 최소 값(Local minimum)이 달라지게 된다. (우리의 목표는 global minimum) 그래서 아래와 같은 새로운 cost function을 사용하게 된다.