딥러닝
-
딥러닝 이론-6 : Softmax Classification딥러닝 2023. 7. 5. 22:12
1. Multinominal classification - 지금까지는 Logistic classification에 대해서 살펴보았다. 하지만 찾고자 하는 label이 3개 이상이라면 어떻게 해야할까? 아래와 같이 label 값이 3개 표시된 그래프를 보자. 앞서 살펴본 Logistic classification 처럼 binary로 표현이 가능하다. 하나의 선으로 구분하는 것은 어렵지만 3개의 선으로 각각 해당 label이거나 아니거나로 binary classification으로 표현할 수 있다. (각각 label에 대한 classifier를 만든다고 보면 된다. - 3개의 classifier) 이에 대한 식은 아래와 같다. 이렇게 3개의 classifier에 대한 식을 행렬의 곱을 이용해 1개의 식으로 ..
-
딥러닝 이론-5 : Logistic regression classification딥러닝 2023. 7. 4. 21:28
1. Binary Classification (이진 분류) - 스팸메일 분류와 같은 것이 대표적인 이진 분류의 예이다. 이러한 경우 스팸은 1, 스팸이 아닌 것은 0 으로 labeling을 하여, 모델이 0 또는 1로 예측하도록 한다. 예를 들어 아래와 같이 공부시간에 대한 시험 pass/fail에 대해 예측하는 모델이 있다고 하자. 이 경우 Linear한 모델로 pass/fail을 분류할 수 있을 것 같다. 맨처음 L1 (wx)와 같이 모델이 예측했다고 하자. 그럼 y 값이 0.5 인 경우 p3까지 정확히 분류할 수 있지만, 점점 공부시간이 많아지면서 통과한 경우 (p4) 를 예측하기 위해 L2처럼 선이 기울어지게 된다. 학습이 진행되면서 L2처럼 모델이 되었을 경우 기존 L1의 경우에는 y값이 0..
-
딥러닝 이론-4 : Multivariable linear regression딥러닝 2023. 7. 3. 21:47
1. input이 여러 개인 경우 - 지금까지는 input이 하나인 경우에 대해서만 살펴보았다. input이 여러 개인 경우는 그저 input의 개수 만큼 x값을 넣어주면 된다. 아래의 식은 input의 개수가 3개인 경우이다. 이에 대한 cost function 또한 아래와 같다. 2. Matrix - 이렇게 input 값이 많아질수록 H(x)에 대한 식이 길게 늘어지는데, 이 경우 matrix(행렬)을 사용하면 쉽게 표현할 수 있다. 위의 H(x)에 대한 식을 행렬로 표현하면 아래와 같다. 딥러닝에서 행렬은 떼려야 뗄 수 없는 관계이므로 꼭 제대로 아는 것이 중요하다!!
-
딥러닝 이론-3 : Cost를 최소화하는 방법딥러닝 2023. 7. 2. 15:55
1. Simplified hypothesis - linear regression 에서 가설로 세웠던 식 (H(x) = Wx +b) 를 간단히 하기 위해 bias를 제외시키고 생각하자. 그렇게 되면 아래와 같은 식과 그래프가 나타나게 된다. 그래프에서도 보이듯이, x축은 w 값, y축은 cost 값으로, 우리가 구하고자하는 것은 y축인 cost가 가장 적은 w값이 된다. 2. Gradient descent algorithm - Gradient descent algorithm(경사 하강법)은 cost function을 최소화하는 알고리즘으로, 최소화 하는 문제들에 많이 사용되는 알고리즘이다. w값이 하나인 경우 뿐만 아니라 여러개의 w값이 있는 cost function에도 적용될 수 있다. 이 알고리즘이..
-
딥러닝 이론-2 : Linear Regression딥러닝 2023. 7. 1. 21:53
지난 딥러닝 이론 1에서 Regression(회귀)는 범위가 넓은 경우를 예측하는 것이라고 했다. 이번 딥러닝 이론 2에서는 Linear Regression(선형 회귀)에 대해 알아보고자 한다. 1. Linear Regression이란? 위 그래프에서 x축은 feature, y축은 예측해야되는 대상이고, 각각 좌표를 찍었을 때 그래프처럼 linear한 모델이 되는 경우를 linear regression이라 한다. 이렇게 linear한 모델이 된다는 가설에 맞는 선을 찾도록 training하는 것이다. 위 그래프는 일차 방정식으로 표현될 수 있는데, H(x) = Wx + b 로 표현할 수 있으며, 이는 linear regression의 가설이 된다. 2. 그러면 어떤 가설이 좋은 가설일까? 위 그래프에..
-
딥러닝 이론-1 : Machine Learning Basics딥러닝 2023. 6. 30. 21:47
비전공자로서, 딥러닝과 기계학습 이론을 공부하기 위해 여러 서적들과 강의들을 찾아보았지만, 처음 시작하는 단계에서는 홍콩 과기대 김성훈 교수님의 모두를 위한 딥러닝 강의만한 게 없는 것 같다. 그래서 블로그에 모두를 위한 딥러닝 강의를 듣고 강의 내용을 요약해보기로 한다. 1. 머신러닝이란? - 말 그대로 기계학습으로, 개발자가 일일이 프로그래밍할 필요 없이 기계가 알아서 학습하는 것이다. 기계 학습 전에는 explicit programming (각 단계마다 수행될 작업이 정확하게 프로그래밍) 으로 문제를 해결했지만, rule이 많이 필요하게 되고 아무리 rule을 많이 써도 모든 문제를 cover 할 수 없기 때문에 한계가 있었다. 이러한 한계점을 머신러닝을 통해 해결하게 되었다. 2. 머신러닝..