딥러닝 with Caffe - 다케이 히로마사, 이주석

딥러닝 with Caffe - 다케이 히로마사, 이주석

 

딥러닝에 대해서 전반적인 내용을 빠르게 습득하기에 좋은 책이다.

딥러닝의 개요, 동작 방법, 알고리즘 설명 뿐만 아니라 Caffe라는 분석 실행할 수 있는 프레임워크에 대한 사용 설명까지 포함되어 있다.

그러면서도 책의 페이지는 전체 200페이지를 안넘는다. 고로 설명이 아주 자세하지는 않다는 의미이다. ^^

그럼에도 불구하고 딥러닝에 대한 전반적인 내용을 알 수 있는 좋은 서적이다.

실용서 적인 느낌이 나면서도 아주 디테일하게 설명하지 않기 때문에 완벽히 이해가 안되는 부분도 있다.

 

 

 

기계학습이란 : 훈련 데이터를 학습기에 넣어 학습 모델을 만들고, 그 학습 모델을 이용해 처리를 수행하는 방법(기술)

- 학습기 : 패턴을 찾아내는 장치

 

문제를 기준으로한 기계 학습 방법 분류

(회귀분석, 분류, 클러스터링)

회귀분석 : 결과값으로 수치를 출력

분류 : 데이터 속성 또는 종류를 출력

클러스터링 : 데이터 그룹을 묶어주는 결과 출력

 

이전에는 순서 처리를 자동화하는 것

순서나 이유를 명확하게 설명할수 없는(프로그래밍할수 없는) 경우 기계학습 활용

 

CNN : Convolutional Neural Network : 이미지 인식에 사용 (전에는 BoF: Bag of Features 기법 활용)

RNN : Recurrent Neural Network) : BPTT(Back Propagation Through Time)

오토인코더(Autoencode)

 

 

레쿤, 1998년, 손글씨 문제에 CNN 이용

2000년대 초 빙하기 : 대신 SVM과 베이지안 네트워크 가 많이 활용되었음 (이해하기 쉽고 정확도도 높고)

     빙하기가 된이유

     1, 인공 신경망 조정 방법이 불명확한 점,

     2. 인공 신경망의 계산량이 많은 점,

     3. 인공 신경망 이외의 기계 학습 방법이 높은 성능을 나타낸 점

2006년 벤지오, 오토인코더의 사전 학습 방법 제안

2012년, 이미지넷 주최 이미지 인식 콘테스트(ILSVRC: ImageNet Large Visual Recognition Contest) 2012에서 압도적 1위, 다른방법대비 10%우위로 나오면서 관심 집중

2006년 11월 CUDA 발표, 2007년 7월 CUDA 1.0

 

 

활성화 함수

쌍곡 탄젠트 함수(hyperbolic tangent)  : y = tanh(x)

시그모이드 함수 (Sigmoid)                 : y = 1 / a + e(지수 -x)

ReLU 함수(Recrified Linear Unit)          : y= 0, x <0 이라면,  y = x, x >= 0 이라면

 

 

전결합층, 컨볼류션층, 풀링층

 

 

경사 하강법의 종류

확률적 경사 하강법 : (계산방법) 훈련 데이터에서 하나씩 적당히 선택해 갱신 처리를 수행하는 방법

미니배치법 : 훈련 데이터에서 소량의 데이터를 적당히 선택해 갱신 처리흘 수행하는 방법

배치법 : 모든 데이터를 이용해 갱신 처리를 수행하는 방법

 

 

오류역전파법(back propagation)

 

 

드롭아웃(drop-out), 드롭커넥트(drop connect), 어댑티브 드롭아웃(adaptive dropout)

정밀학습법: 아다그라드(AdaGrad), 아다델타(DatDelta), 아담(Adam)