The Yellow Lion King 데이터와 함께 살아가기

딥러닝 with Caffe - 다케이 히로마사, 이주석

딥러닝에 대해서 전반적인 내용을 빠르게 습득하기에 좋은 책이다.

딥러닝의 개요, 동작 방법, 알고리즘 설명 뿐만 아니라 Caffe라는 분석 실행할 수 있는 프레임워크에 대한 사용 설명까지 포함되어 있다.

그러면서도 책의 페이지는 전체 200페이지를 안넘는다. 고로 설명이 아주 자세하지는 않다는 의미이다. ^^

그럼에도 불구하고 딥러닝에 대한 전반적인 내용을 알 수 있는 좋은 서적이다.

실용서 적인 느낌이 나면서도 아주 디테일하게 설명하지 않기 때문에 완벽히 이해가 안되는 부분도 있다.

기계학습이란 : 훈련 데이터를 학습기에 넣어 학습 모델을 만들고, 그 학습 모델을 이용해 처리를 수행하는 방법(기술)

- 학습기 : 패턴을 찾아내는 장치

문제를 기준으로한 기계 학습 방법 분류

(회귀분석, 분류, 클러스터링)

회귀분석 : 결과값으로 수치를 출력

분류 : 데이터 속성 또는 종류를 출력

클러스터링 : 데이터 그룹을 묶어주는 결과 출력

이전에는 순서 처리를 자동화하는 것

순서나 이유를 명확하게 설명할수 없는(프로그래밍할수 없는) 경우 기계학습 활용

CNN : Convolutional Neural Network : 이미지 인식에 사용 (전에는 BoF: Bag of Features 기법 활용)

RNN : Recurrent Neural Network) : BPTT(Back Propagation Through Time)

오토인코더(Autoencode)

레쿤, 1998년, 손글씨 문제에 CNN 이용

2000년대 초 빙하기 : 대신 SVM과 베이지안 네트워크 가 많이 활용되었음 (이해하기 쉽고 정확도도 높고)

     빙하기가 된이유

     1, 인공 신경망 조정 방법이 불명확한 점,

     2. 인공 신경망의 계산량이 많은 점,

     3. 인공 신경망 이외의 기계 학습 방법이 높은 성능을 나타낸 점

2006년 벤지오, 오토인코더의 사전 학습 방법 제안

2012년, 이미지넷 주최 이미지 인식 콘테스트(ILSVRC: ImageNet Large Visual Recognition Contest) 2012에서 압도적 1위, 다른방법대비 10%우위로 나오면서 관심 집중

2006년 11월 CUDA 발표, 2007년 7월 CUDA 1.0

활성화 함수

쌍곡 탄젠트 함수(hyperbolic tangent)  : y = tanh(x)

시그모이드 함수 (Sigmoid)                 : y = 1 / a + e(지수 -x)

ReLU 함수(Recrified Linear Unit)          : y= 0, x <0 이라면,  y = x, x >= 0 이라면

전결합층, 컨볼류션층, 풀링층

경사 하강법의 종류

확률적 경사 하강법 : (계산방법) 훈련 데이터에서 하나씩 적당히 선택해 갱신 처리를 수행하는 방법

미니배치법 : 훈련 데이터에서 소량의 데이터를 적당히 선택해 갱신 처리흘 수행하는 방법

배치법 : 모든 데이터를 이용해 갱신 처리를 수행하는 방법

오류역전파법(back propagation)

드롭아웃(drop-out), 드롭커넥트(drop connect), 어댑티브 드롭아웃(adaptive dropout)

정밀학습법: 아다그라드(AdaGrad), 아다델타(DatDelta), 아담(Adam)

[코딩교육] 코딩을 가르친다 - 마츠바야시 코지/황석형

똑똑한 엄마는 국영수보다 코딩을 가르친다.

(원재 : 아이들을 억만장자로 만들려면 프로그래밍의 기초를 가르쳐라)

코딩 교육에 대한 전반적인 기초 지식을 제공한는 책이다.

보통 IT 직업은 (특히 프로그래머, 개발자는) 3D 업종이라는 표현으로 더럽고, 힘들고, 어려운 직업중의 하나로 인식된다. 특히 실제로 프로그래밍을 업으로 하고 있는 IT관련자들은 더욱 공감할 것이다. 그럼에도 불구하고 선진국에서, 그리고 현재 잘나가고 미래를 선도하는 기업이나 개인을 보면 프로그래밍 역량(Soft Power)가 중요한 것임에는 틀림이 없는 것 같다.

우리 주변에서 애플, 페이스북, 구글과 같은 강한 소프트웨어 기업이 나오지 말란 법은 없다.

우리의 자녀들 중에서 스티브잡스, 마크주커버거, 빌게이츠와 같은 인물도 나올 수 있다.

한국에서도 2018년 부터 초등학교와 중학교에서 소프트웨어 교육이 의무화 된다.

초등학생은 19년 부터 17시간 이상 (문제해결과정, 알고리즘, 프로그래밍 체험 중심)

중학생은 18년 부터 34시간이상 필수/의무적으로 이수해야한다. (컴퓨팅 사고 기반 문제해결 실시, 간단한 알고리즘,프로그래밍 개발)

고등학생은 18년 부터 심화선택 과목에서 일반선택 과목으로 바뀐다. (융합 알고리즘, 프로그래램 설계)

이러한 사회적 변화와 바람에 따라 코딩교육을 피할 수 없는 (피할 필요없는) 일이 되었다.

프로그래밍을 배운다고 모두가 프로그래머가 될 필요는 없다. 중요한 것은 프로그래머가 갖추어야할 사고 역량이 나중에는 모든 사람들이 기본적으로 갖추어야할 역량이 될 것이고, 이를 잘 활용하면 원재에서 처럼 억만장자의 기회가 더욱 높아지는 것은 분명하다.

아이들에게 프로그래밍 교육이 필요한 이유

1. 아이들의 호기심과 감성을 길러준다.

2. 미래의 일자리와 밀접하게 연관되어 있다.

3. IT분야의 인재를 양성한다.

아이들이 프로그래밍 교육을 받으면 얻게 되는 장점

1. 사물의 구조를 보다 깊이 있게 생각해 보는 동기가 된다.

2. 논리적인 컴퓨팅 사고력과 문제해결력을 기른다.

3. 다른 관점에서 세계를 바라보는 기회가 된다.

4. 인내심, 지구력과 창의력을 길러준다.

프로그래밍 기초 교실의 대략적인 구성

1. 프로그래밍 입문

2. 아이디어 고안

3. 실제 제작

4. 제작 결과물 발표

프로그램(Programme) : 고대 그리스 시대- 미리(pro-) 작성해 놓은 것(-gramme) 이라는 의미, 즉, 행사 또는 작업을 이와 같은 절차로 진행한다.

프로그래밍과 심부름

- 아이들에게 마트에가서 저녁 준비 재료를 사오라는 심부름을 프로그래밍 적인 사고로 정리하는 사례가 인상적임.

프로그래밍과 자동판매기

자동 발매기와 프로그래밍 : 상태천이도와 상태천이표 정리

흐름도와 프로그래밍 부품(처리, 분기, 반복)

알고리즘 : 문제를 해결하기 위한 순서 또는 절차를 표현한 것. 정답 없음. 좋은 알고리즘 있음 (

프로그램 : 알고리즘을 컴퓨터가 이해할 수 있는 형태로 작성한 것

코딩 교육의 좋은점

프로그램의 품질

1. 목적을 실현할 수 있도록 과하거나 부족하지 않게 정확히 프로그래밍되어 있다.

2. 버그(오류)가 없다.

3. 어떤 고장이 발생하더라도 정지하지 않고 대응하도록 되어 있다.

4. 컴퓨터의 자원과 시간을 지나치게 헛되게 사용하지 않는다.

5. 읽기 쉽게 작성되어 있다.

6. 이용자가 사용하기 쉽다.

7. 기능 추가 변경이 쉽다.

헝가리 출신 미국인 폰 노이만, 1945년에 보고서 말표

윌크스, 현대 컴퓨터의 원조 에드삭 개발 완료 (1949) 

폰 노이만 컴퓨터의 구조 : 입력 -> 처리 -> 출력

루브 골드버그

컨트랩션 메이커

인벤셔니어스(Inventioneers)

학교 비상 전화 연락망 알고리즘

컴퓨터과학 언플러그드(Computer Science Unplugged)

뉴질랜드의 컴퓨터과학자 팀 벨을 중심으로 고안

스크래치 : 앨런 케이의 정신을 이어받은 비주얼 언어 (스몰토크 smalltalk 언어에서 발전)

스몰토크 기반에 스퀵, 스퀵 이토이 개발 (블록 프로그래밍)

비츠박스(BitsBox) 자바스크립트를 사용한 코드를 실제로 작성할 수 있음

레고 마인드스톰, 아켁 로보틱스

기술적 특이점(Technological Singularity) : 컴퓨터과학자이며 SF작가인 버너 빈지와 발명가이며 미래 학자인 레이 커즈와일이 제창한 개념

"향후 30년 이내에 우리들은 인간을 초월한 '초인적인 지능'을 만들어 내는 기술적인 방법을 손에 넣을 것이고, 그렇게 되면 인류의 시대는 종말을 고하게 된다. 인류에 의한 기술 개발이 이대로 진행된다면 언젠가는 컴퓨터의 '지능'이 인간을 초월하게 되어, 컴퓨터가 인류의 예지력조차도 뛰어넘는 컴퓨터를 만들기 시작할 것이다. 이제는 지금까지의 기술진보와는 전혀 다른 세계, 인간의 두뇌로는 예측 불가능한 미래가 시작된다" 라고 말함. 

기술적 특이점의 시기를 2045년으로 예측

멘사 공부법 - 조세핀 풀턴/권태은

멘사란 '탁자'를 뜻하는 라틴어로 지능지수 상위 2% 이내(IQ148 이상)의 사람만 가입할 수 있는 천재들의 모임이다. 1946년 영국에서 창설되었다. 멘사코리아는 1996년 문을 열었다.

"공부하는 방법에 문제가 있다"

바로 머릿 말의 제목이다.

당연히 이책을 읽고자 선택한 사람들은 문제까지는 아니어도 공부하는 방법을 다시 생각해보고 배우고자 하는 목적에서 이 책을 선택했을 것이다.

이러한 관점에서 보면 책은 정리가 잘된 것 같다. 기본이 되는 기억력 학습 방법과,  오랫동안 기억을 지속하기 위한 기초작업인 집중력을 높이는 방법, 그리고 다양한 지식의 습득을 위한 독해력, 수리력, 창의력, 판단력/의사결정력, 마지막으로 의사소통 능력까지 종합적인 방법이 정리되어있다.

단점은 영어권 자료를 번역하다 보니 사례로 든 내용 들이 한국어와 맞지 않아서 조금 어색한 부분이 있는 정도이다.(ABC로 예를 든것 들.)

Chapter1 학습능력

자신의 가능성을 한정짓지 말라

실수도 도움이 된다

기존 지식과 관련지어 암기하라

오감을 활용하라

뛰어난 이들을 주목하라

문제를 인정하고 도움을 청하라

틀에 얽매이지 말라

학습효율을 높이는 음악을 찾아라

적절한 휴식을 취하라

자신에게 맞는 학습환경을 만들라

즐겁게 몰두할 수 있는 것을 찾아라

몸과 마음과 생활을 먼저 돌보라

Chapter2 기억력

기억력이 좋아지는 7가지 방법

1. 반복하고 반복하고 또 반복하라

2. 연관지어 암기하라 : 단순히 숫자가 아니라 의미있는 숫자로 바꾸거나, 숫자에 의미를 부여하여 암기

3. 시각화 하라 : 배경을 상상하라. 엉뚱하고 재치 있는 이미지를 배경에 넣어서 기억하자

4. 일정한 체계를 만들어 암기하라 : 기존 지식에 연계하여 새로운 지식을 기억하라

5. 읽은 내용을 쉽게 기억하는 방법(휴식하라, 몸을 움직여라, 복습하라, 복습내용을 확인하라, 주기적으로 기억을 강화하라

6. 집중하고 즐겨라 : 노랫 가락으로 만들어 암기

7. 마음을 다스려라 : 긴장하지 말고, 두려워하지 말고 노력하면 된다.

반복하라

연결고리를 만들어라

머리만 쓰지 말고 온몸으로 외워라

재미있게 암기하라

Chapter3 집중력

강화방법 6

1. 집중이 안되고 있는 상황을 인식하라

2. 제대로 집중하고 있는지 점검하라

3. 공부 목표를 세워라

4. 움직임을 자제하라

5. 주의를 분산시키는 요소를 제거하라

6. 자신에게 맞는 공부 환경을 마련하라

집중력이 높아지면 기억력도 좋아진다.

두뇌는 두 가지를 동시에 할 수 없다

목표를 세워 공부하라

외적 방해물을 제거하라

Chapter4 독해력

스캐닝 독서가 읽기 효율을 극대화한다.

글자 단위가 아니라 의미 단위로 읽어라

무조건 많이 읽어라

신문을 가까이하라

Chapter5 수리력

숫자를 두려워하지 말라

끊임없이 연습하라

암산 습관을 길러라

Chapter6 창의력

틀에서 벗어나라

자신감을 가져라

감각을 열어두라

좋아하는 일에 몰두하라

Chapter7 판단력/의사결정력

문제의 본질을 정확히 파악하라

시간이 판단의 적절함을 보증하지 않는다

사고의 폭을 넓혀라

Chapter8 의사소통능력

언어 외적인 요소에 주의하라

상대방의 입장에서 생각하라

자기 의견을 분명히 하라