딥러닝 이론-8-1 : 딥러닝 기본 개념 1

1. Activation Function

사람들의 궁극적인 목표는 스스로 인간의 일을 하는 기계를 만드는 것이었다. (아이언맨의 자비스와 같은)

이를 위해서 기계 스스로 생각할 수 있는 능력이 있어야하는데, 이를 위해서 인간의 뇌에 대해서 연구를 하기 시작했다. input을 받아 다음 뉴런에 전달하는 뉴런의 구조를 모티브하여, activation function(활성화 함수)를 고안하게 되었다. activation function은 아래 구조 처럼 w와 x의 곱의 형태의 input을 받아서 특정 값 이상이면 output을 내보내는 형태이다.

 

 

2. XOR 문제

초기에는 간단한 AND와 OR 문제를 linear하게 푸는 것으로 neural net을 굉장히 희망적으로 바라보았지만, XOR문제를 linear하게 푸려고 시도하지만, 정확도가 많이 떨어지게 되었다. (아무리 해도 정확도 50%) 거기다 Marvin Minsky 교수님의 MLP와 관련된 책으로 인해서(여러 multilayer perceptrons을 합치면 XOR문제를 풀 수 있지만 각각의 layer를 학습하는 것이 불가능) neural net의 발전이 후퇴하게 되었다.

​

​

 

3. Backpropagation

여러 layer로 이루어진 모델이 예측된 값이 잘못된 값일 경우, output과 가장 가까운 layer부터 거꾸로 차근차근 w와 b 값을 조정하면서 학습을 하는 방법이다. 이를 통해서 Marvin Minsky 교수님의 주장을 뒤엎는 이론이 나오게 되었다. 이를 통해 더 복잡한 layer를 가진 모델도 학습이 가능하게 되었다.

하지만, backpropagation은 거꾸로 학습시키는 것이기 때문에 layer가 많을 수록 input에 가까운 layer에 error가 전달되지 않고 성능이 떨어지게 되었다. 또한 다른 머신러닝 알고리즘(SVM, RandomForest)이 성능이 뛰어나 두번째 neural network의 침체기를 맞게 되었다.