딥러닝 이론-2 : Linear Regression

지난 딥러닝 이론 1에서 Regression(회귀)는 범위가 넓은 경우를 예측하는 것이라고 했다.

 

이번 딥러닝 이론 2에서는 Linear Regression(선형 회귀)에 대해 알아보고자 한다. 

 

 

1. Linear Regression이란?

위 그래프에서 x축은 feature, y축은 예측해야되는 대상이고, 각각 좌표를 찍었을 때 그래프처럼 linear한 모델이 되는 경우를 linear regression이라 한다. 이렇게 linear한 모델이 된다는 가설에 맞는 선을 찾도록 training하는 것이다. 위 그래프는 일차 방정식으로 표현될 수 있는데, H(x) = Wx + b 로 표현할 수 있으며, 이는 linear regression의 가설이 된다.

 

 

​

2. 그러면 어떤 가설이 좋은 가설일까?

위 그래프에서 그어진 선은 training을 통해 그어진 선이고, 점들은 각 x값과 y값에 해당하는 점들이다.

선과 점들의 거리가 멀면 training이 잘되지 못한 것이고, 거리가 가까우면 training이 잘된 것이다. 하지만 모든 좌표의 점들이 가깝도록 training하는 것은 overfitting 때문에 무조건 좋다고 할 수 없다. (이부분은 나중에 포스트 하기로 한다.)

​

 

 

3. Cost function

- cost는 가설(H(x))와 실제 값(y) 사이의 차이를 말한다. => H(x) - y

위 그래프에서도 볼 수 있겠지만, 이 cost 값은 음수일 수 있기 때문에 제곱의 형태로 나타낸다. 또한 제곱의 형태로 나타낼 경우 cost 값이 클 때 penalty를 크게 줄 수 있다.

​

결국 우리의 목표는 cost를 적게 하는 w,b 값을 찾는 것이다!

​