Deep Learning
딥러닝은 심층 신경망이라는 머신러닝의 기법을 개선하여 음성, 영상 인지, 자연어 처리에 뛰어난 성능을 보이는 기술이다.
심층 신경망의 성능 개선
딥러닝은 여러가지의 작은 기술적 개선들이 모인 결과이다. 심층 신경망에서 성능이 떨어지는 원인이 있고, 이를 딥러닝은 어떻게 해결했는지 정리한다.
그래디언트 소실
과적합
많은 계산량
학습시간이 오래 걸리는 문제가 있다. 은닉층이 많아질수록 연결 가중치가 기하 급수적으로 늘어난다. 동시에 학습량 역시 기하 급수적으로 증가한다. 이런 문제는 GPU 같은 하드웨어의 등장과 배치 정규화(batch normalization) 등과 같은 알고리즘의 덕분에 상당 부분 개선되었다. 머신러닝에서 영상 인식, 음성 인식, 자연어 처리는 3개 핵심 분야이다. 각각의 분야별로 좋은 성능을 내는 기술들이 존재했었다. 딥러닝은 이런 3대 분야에서 뛰어난 성능을 보인다. 딥러닝에서 사용되는 기법 중에서 대표적인 ReLU 활성함수와 드롭아웃이 있다.