딥러닝이 각광받는 진짜 이유

1.3 왜 딥러닝 일까? 왜 지금일까?

1.3.1 하드웨어

NVIDIA, AMD 등의 회사에서 3D 게임을 위해 개발한 GPU가 신경망에 사용되기 시작되었다. 구글은 한발 더 나아가, 딥러닝에 특화된 TPU (Tensor Processing Unit)을 설계했다. 

1.3.2 데이터

네트워크를 훈련시키기 위해선 방대한 양의 데이터가 필수적이다. 인터넷과 저장기술이 점차 발달함에 따라 이미지 데이터, 영상 데이터, 자연어 데이터가 많아졌다.

1.3.3 알고리즘

2010년경 딥러닝에 중요한 알고리즘이 개선되어서 그래디언트를 더 잘 전파되게 만들어주었다.
 - 신경망의 층에 더 잘 맞는 활성화 함수 (activation function)
 - 층별 사전 훈련(pretraining)을 불필요하게 만든 가중치 초기화(weight initialization)
 - RMSProp과 Adam 같은 더 좋은 최적화 방법

1.3.4 새로운 투자의 바람

2011년 1,900만 달러였던 AI 투자금액이 2014년에는 3억 9,400만 달러로 늘었다. (3년 만에 10배 이상) 구글의 딥마인드 인수 (5억 달러) 인텔의 너비나 시스템즈 인수 (4억 달러) 등 인수합병도 활발하다.

1.3.5 딥러닝의 대중화

초창기 딥러닝을 하기 위해선 C++, CUDA의 전문가가 되어야 했다. 하지만 씨아노(Theano), 텐서 플로(Tensor flow) 라이브러리는 파이썬과 자동 미분 등을 지원하여 접근성을 높였다. 케라스(Keras)는 레고 블록을 조립하듯 딥러닝을 할 수 있다.

1.3.6 지속될까?

지속된다. 딥러닝이 스포트라이트를 받은 지 겨우 몇 년밖에 되지 않았고, 할 수 있는 모든 영역에 접목해 보지 못했다.
 - 단순함 : 5~6개의 텐서 연산만으로도 실행할 수 있다.
 - 확장성 : CPU, TPU로 쉽게 병렬화할 수 있기 때문에 무어의 법칙 혜택 (2년에 2배)을 받는다. 
 - 다용도와 재사용성 : 이미지 트레이닝시켰던 모델을 영상 분류에 적용하는 식으로 다용도로 쓸 수 있다. 또 새로 올라오는 데이터를 자동으로 학습할 수 있다.