The Yellow Lion King 데이터와 함께 살아가기

(1) 4차 산업혁명에 대하여 

4차 산업 혁명에 대해서 말들이 많습니다.

산업혁명은 지금까지 산업혁명이 일어난 다음에 그 현상을 정의하였는데 4차 산업혁명이란 말은 일어나기도 전에 회자되는 말이 되었지요. 그러다보니 명확하다기 보다는 방향성과 현상을 이야기 하는 느낌입니다. 그도 그럴 것이 4차 산업혁명의 개념속에 기존에도 있었던 여러 개념들이 포함되어 있기 때문에 이해가 쉽지 않고 받아들이기 어려운 부분도 있는것 같습니다.

이런 와중에 인터넷을 뒤지다가 KISTEP에서 발표한 자료중 개념과 주요 내용에 대해 요약 정리해 보고

유투브에서 찾은 다보스포럼 회장인 클라우스 슈밥의 발표 내용을 정리해 보았습니다.

2016년 1월 다보스 포럼에서 논의됨

핵심기술로 IoT, 빅데이터, AI 로봇, CPS 등의 ICT기반 기술을 언급

미국의 경우 2011년부터 스마트제조에 관한 필요성이 지속적으로 언급됨 되면서 확대됨. 민간 중심으로 컴소시엄 설립 활동

독일은 하이테크 전략 2020과 함께 인더스트리 4.0을 발표. 정부주도로 추진중

일본은 로봇기술을 적극활용한 제4차 산업혁명 대응전략 발표

중국은 ICT기반의 제조업 혁신인 제조 2025를 발표

이러한 다양한 미래 전망자료를 종합·분석해보면, 과학기술 측면에서 제4차 산업혁명과 미래사회 변화를 야기하는 주요 변화동인이 ICBM 등 정보통신기술(ICT) 기반의 기술임을 알 수가 있습니다. 따라서 이를 바탕으로 우리는 제4차 산업혁명이 가지고 있는 특성을 이해할 수 있을 것입니다..

ICBM : IoT, Cloud, Big Data, Mobile

제4차 산업혁명의 특징

제4차 산업혁명은 ‘초연결성(Hyper-Connected)’, ‘초지능화(Hyper-Intelligent)의 특성을 가지고 있고, 이를 통해 “모든 것이 상호 연결되고 보다 지능화된 사회로 변화”시킬 것이다.

2020년까지 인터넷 플랫폼 가입자가 30억 명에 이를 것이고 500억 개의 스마트 디바이스로 인해 상호 간 네워크킹이 강화될 것이라는 전망

제4차 산업혁명은 ‘초지능화’라는 특성이 존재한다. 즉 제4차 산업혁명의 주요 변화동인인 인공지능(A.I.)과 빅데이터의 연계 및 융합으로 인해 기술 및 산업구조가 ‘초지능화’ 된다는 것이다. 2016년 3월 이미 우리는 ‘초지능화’ 사회로 진입하고 있음을 경험하였다. 인간 ‘이세돌’과 인공지능 컴퓨터 ‘알파고(Alphago)’와의 바둑 대결이 그것이다

사실 2011년에도 이미 인공지능과 인간과의 대결이 있었다. 미국 ABC 방송국의 인기 퀴즈쇼인 ‘제퍼디!(Jeopardy!)’에서 인간과 IBM의 인공지능 컴퓨터 왓슨(Watson)과의 퀴즈대결

트렉티카 보고서에 따르면 인공지능 시스템 시장은 2015년 2억 달러 수준에서 2024년 111억 달러 수준으로 급성장할 것으로 예측되고 있고(Tractica, 2015), 인공지능이 탑재된 스마트 머신의 시장 규모가 2024년 412억 달러 규모가 될 것으로 보고 있다(BCC Research, 2014).

미래 사회 변화

기술·산업구조, 고용구조 그리고 직무역량 등 세 가지 측면에서 나타날 것으로 예측

16년 초등학교를 입학하는 어린이가 직업을 갖을 때쯤이면 지금 있는 직업의 65%는 사라질 것이다.

산업 혁명이라고 불리울 만큼의 사회 변화 역시 메가톤 급일 것이라고 생각된다.

KBS 인사이트 포럼 특집 다보스의 선택 4차 산업혁명이 미래다.

글라우스 슈밥   회장

역사적 배경

1차 산업혁명 18세기 증기기관의 발명과 기계화 시대 도래

2차 산업혁명 20세기초 전기, 포드 : 대량생산으로 산업화 발생

3차 산업혁명 20세기말 디지털화의 시작, 컴퓨터와 인터넷 기반의 지식정보 혁명

4차 산업혁명 : 3차 혁명과의 차이

1.     속도

-       빠르게 전환되고 있음, SNS 15년전 있지도 않았음

-       2004년 Facebook 직원은 8명으로 시작 현재 전 세계를 하나로 연결

2.     개별적 기술 발전이 아닌 포괄적 변화

-       로봇, 자율주행차, 인공지능, 인지 컴퓨팅

-       기술간 융향으로 강력해짐 로봇+ 인공지능, 로봇 +빅데이터

3.     시스템적 혁신

-       에어비엔비, 우버는 새로운 제품이 없음. 방식만 바꿈

4.     인간의 정체성을 변화시키는 혁명

어떤 변화? 

제품 생산/소비의 방식 바뀜

금융산업은 핀테크로 완전히 달라질 것임

일자리는? 많은 일자리가 빠르게 사라질 것임. 따라서 노동시장의 유연화 필요

사람들은 4차 혁명을 두려워하지만 어쩔수 없음

러다이트혁명 : 직원이 증기기관을 부순 사건  -> 막을 수 없다.

정부의 긍정적 대응 필요

열린자세로 포용하라

세계경제포럼의 회장은 돈많은 기업가들의 후원을 받으니 그냥 받아드리라고 말하는 것은 아닌지 의심되기도 했음(^^) 하지만 말그대로 대세이고 메가 트렌드이니 거스르기는 어려울 것 같다고 생각됨.

한국 국가 경쟁력 26위

혁신 역량 중요 – 자본주의 시대가 아님, 재능이 중요한 시대에 살고 있음

데이터 분석 방법론 (2) - 예시포함 (CRISP-DM)

데이터 분석 방법론에 대한 개요와 자료는 많이 쉽게 찾을 수 있는데 실질적인 사례나 예시에 해당하는 내용은 접하기 어려운 것이 현실인 것 같습니다.
그도 그럴 것이 일반적으로 학교에서 분석을 한다고하면 R이나 Spss, SAS 등의 툴을 가지고 리포트를 작성하는 내용 정도가 공유될 수 있을 것 같은데 이것은 실제 산업 현장에서 쓰이는 항목과 내용의 리포트, 방법론과는 다른 차이가 있을 것 같습니다. (아니 어느정도는 달라야만 할 것 같습니다. 이론과 실전, 목적이 다르니깐요...^^)


하여간, 그래서 졸업 후 바로 기업 현장에 투입되서 분석을 업무로 하다보면 품질 수준의 차이과 절차 상의 문제 등이 이슈화 되어서 종종 목소리가 커지는 일이 생기는 것 같습니다. 이것은 마치 소프트웨어 공학에서의 개발 방법론을 준수하지 않고 대규모 프로젝트를 시행하게 될 경우 중간에 문제가 발생하여 관계자간 이견으로 목소리가 커지고 심하게 되면 프로젝트가 실패하고 더 심하면 소송까지 가게되는 안좋은 일이 생기게 되는 것과 유사하다고 생각됩니다.


이러한 이유로 실제 사례나 예시 등을 공부하고 준비하는 것은 중요하다고 할 수 있겠습니다.
그래서 다시보면 CRISP-DM과 같은 방법론이 중요하고요


그러나......


여기서 CRISP-DM 방법론에 대한 구체적인 내용 자체에 대한 설명은 가급적 조금하겠습니다.
왜그러냐하면 그 내용은 전에 포스팅한 것도 있고, 각 단계의 정의나 개요는 구글, 네이버를 찾아보시면 금방 나옵니다.
자료도 많고요.


따라서, 여기서는 각 단계에서 실제 분석 사례를 설명하면서 어떤 항목과 내용을 정리/진행했는지 말씀드려 보겠습니다.


참고) KDD, SEMMA, CRISP-DM 개념 관련해서는 이전에 작성한 아래 글을 참고해주세요.

https://bigdatamaster.tistory.com/11

1. 배경 및 목표 : 뭐 할라고??? 왜???

가. 비즈니스 배경 및 목적
경우에 따라 이러한 내용 뿐만 아니라 분석을 진행하려는 기업의 일반적인 정보에 대한 분석이 필요하기도 합니다. 비즈니가 처해있는 상황, 문제점, 사업 목표, 조직구성 등도 프로젝트를 완료하는데 도움이 됩니다.
예를 들면 대리점의 매출 저하로 인해 사업 성장에 문제가 발생하고 있어서 이를 개선하기 위한 니즈가 있을 수 있겠습니다.


나. 분석 목적 및 목표

2. 데이터 이해 : 데이터 넌 어떻게 생겨먹었니?

가. 초기 데이터 수집

분석 목적에 따라 관련있는 데이터를 찾아서 수집해야합니다. 보통 기업에서는 데이터를 DBMS에 관리하기 때문에 업무담당자와 DBA를 통해서 필요하다고 생각되는 데이터를 확보할 수 있습니다. 일반적인 기업의 관점에서 ,,,데이터 성격 유형을 나누어 보면 고객 데이터, 상품 데이터, 구매 데이터, 로그 데이터 등이 있겠습니다. 이러한 데이터를 생성하고 보관하는 시스템으로 부터 데이터를 다운 받아서 확보합니다.
사례의 경우에도 영업시스템의 DBMS에서 데이터를 다운 받아서 초기 데이터를 수집하였습니다.

나. 데이터 기술

확보한 데이터가 어떤 데이터인지를 설명하는 자료를 만든다고 생각하시면 됩니다. 각각의 시스템, 테이블 별로는 몇건의 데이터가 들어있고 테이블의 항목은 어떤 것들이 있으며 데이터 유형(범주형, 연속형, integer, numeric, character 등)은 이렇다고 정리해 놓는 것입니다. 코드로 관리하는 것은 어떤 것들이 있으면 주요 코드의 해석은 이렇게 한다.등등. IT 시스템의 데이터 관리 측면에서 보면 Metadata와 데이터 품질에 해당하는 정보를 제공한다고 생각하면 이해가 쉬울 것 같습니다. 물론 통계 분석의 기술분석에 해당하는 정보들도 제공되면 좋습니다.

3. 데이터 전처리 : 지루하지만 중요한 작업, 장인 정신으로 한땀 한땀...

가. 데이터 정제
데이터를 클린징합니다. 일반적인 데이터의 문제로는 데이터 누락(데이터가 빠져있거나), 오류(엉뚱한 값이 들어있거나), 이해 부족(Metadata가 없어서 무슨 의미의 데이터 인지 모르는 경우) 등이 있을 수 있습니다.
대리점 코드가 빠져 있거나, 생성규칙에 안 맞는 이상한 대리점 코드가 들어 있거나, 이해할 수 없는 컬럼명이 있거나 하는 경우 입니다.
이러한 경우 정제 작업을 통해 데이터를 체워 넣고, 오류를 정정/변환하고, 생성원천을 찾아서 의미를 알아 냅니다.

나. 데이터 생성 / 통합
말 그대로 데이터를 만들고 통합해서 모델을 돌리기 좋게 만들어 놓습니다. 보통은 하나의 (파일) 데이터 셋으로 만들어 놓지요.


다. 데이터 확정
앞선 데이터 이해 단계를 통해 대상 데이터 종류(구분) 및 건수, 분석 기간, 분석 기준 시점 등을 정합니다.


팁으로 모든 활용 가능한 데이터를 분석할 수는 없습니다. 그리고 그럴 필요도 없습니다.
분석 목적에 맞게 최적의 대상 범위를 정하면 됩니다. 데이터 기간이 그렇고, 대상 종류도 그렇고, 데이터 건수이 그렇습니다.
데이터 기간은 분석 목적에 맞는 기간을 확보해야합니다. 다음 달의 대리점별 추정 매출액을 구하는 모델을 만들 경우 대리점 개점이후 모든 월 매출액 정보가 있어야만하는 것은 아닙니다. (필요하다고 다 있지도 않고요.^^) 직전월, 또는 직전 3개월, 6개월, 12개월 정도 기간의 데이터만 있어도 여러 분석 방법을 이용해서 돌릴 수 있습니다.
대상 종류와 건수도 목적에 맞게 조정해서 정하는게 모델의 정확도를 높일 수 있습니다. 예를 들면 수도권 대리점의 추정 매출이 필요하면 (당연하지만) 수도권의 대리점과 관련된 데이터만 처리하면 됩니다. 건수도 적용 알고리즘에 따라 조금씩 다르겠지만 일반적인 통계 분석의 경우 F검정 후 t검정을 통과하는 정도만으로도 성능에 차이가 크지 않습니다.
(물론 빅데이터 시대가 되면서 이러한 부분은 많이 안 중요해 지고 있습니다. 그냥 가능한 다 적용하는 거죠. 그래도 그보다는 빠르고 효과적인 분석을 원한다면 고려해보는게 좋습니다.)

4. 모델링 : 노른자, 붕어빵에 단팥...

가. 활용 모델링 기술 선정
적합한 모델링 기술을 정하기 위해 알아두면 좋은 질문들이 있습니다. 아래 질문을 통해서 어느 모델링 기술이 적합한지를 생각해 볼 수 있습니다.

• 충분한 신뢰도를 만들 만한 데이터량을 가지고 있는가?
• 일정수준 이상의 데이터 품질이 필요한 모델인가?
• 보유 데이터가 특정 모델에서 사용하기에 적합한 형태인가?

마지막 질문의 답으로 적합하지 않은 데이터라 하더라도 데이터 변환 작업을 하면 모델에서 사용할 수 있게 만들 수는 있습니다. 그러나 이러한 변환에 따른 성능의 영향도를 고려해서 결정해야 합니다. 안그러면 억지로 돌린 꼴이 되니까요.
대리점 매출 추정 예에서는 Regression을 사용했습니다. 여러가지 요인들의 영향도를 파악해서 회귀식으로 만들었다.


나. 테스트 방안 설계 수립
어떤 모델링이 잘된 모델링인지 먼저 정해놓아야 딴소리가 없습니다.. 그러기 위해서 어떻게 테스트하고 쓸만한 모델인지를 평가하는 방법과 기준을 정해 놓아야 합니다.
즉, 모델링 기술에 따라 성능을 분석할 수 있는 지표를 미리 정하고 이 지표의 수준을 미리 정해 놓아야 합니다. 지도학습의 경우 (오분류표의) 오류율을 정하거나, 클러스터링 같은 비지도학습의 경우 실루엣이나 중심점과의 오차값 평균 등이 될 수 있겠습니다. 그리고 당연히 테스트를 위한 데이터는 별도로 만들어 놓아야 합니다. 보통은 모델 훈련 시 전체 분석 데이터의 70%를 이용해서 모델링하고, 나머지 30%를 테스트에 사용합니다.
사례에서도 7 대 3으로 나누어 진행했고 추정 매출액과 실제 매출액의 SME를 기준으로 10% +-를 목표로 잡았다.

5. 평가 : 얼마나, 무슨 의미가 있나??? 잘 한건가?

미리정해 놓은 폭표에 대비해서 어떻게 성과가 나왔는지를 정리하는 단계 입니다. 통계 모델의 입장에서 원하는 목표 성능은 나왔는지 그리고 이러한 성과가 비즈니스에 어떠한 의미를 주고 효과를 가져올 것인지 등을 정리하는 것 입니다.
그래서 제 생각에 이 단계에서는 성능 지표 분석과 모델/성능 최적화를 해야할 것 같습니다.
물론 많이 와서 전단계로 돌아가기 힘들지만 결국 이러한 순환/반복적인 작업이 바로 분석의 작업이고 의미있는 Insight를 찾아 내기 위한 활동이니까요. 이러한 경험과 노하우를 가지고 초기 데이터 정의, 전처리 단계 부터 여러 경우를 고려하면서 준비하면 빠르게 작업해 나갈 수 있습니다.

6. 발표/보고 : 이건 예술이야..!!!

드디어 마지막 단계인 Deployment 단게에 왔습니다.
이단계에서는 개발된 모델을 적용하여 결과를 확인하고 계속적인 관리를 위한 방법을 제시하는 단계 입니다. 간단히 말하면 완료 보고서를 쓰는 단계이지요. 프로젝트의 개요를 설명하고 비즈니스/데이터에 대한 이해 내용을 설명하고, 전처리 단계와 적용한 모델링 기술에 대한 내용을 설명하고, 결과로 나온 내용과 그 의미/시사점을 정리하면 됩니다. 마지막으로 향후 자동화 구축 방안 또는 모니터링 방안 등을 추가하여 보고하면 마무리 됩니다.


데이터 분석은 예술의 한 분야라고 생각합니다.
그림을 그리거나 글을쓰거나 또는 음악을 만들때 완벽한 것은 만들수 없습니다.
정말 드물게는 왼벽하다고 느낄 수도 있으나 일시적인 것이고 주관적인 입장에서만 그렇습니다.
데이터 분석도 그런 것 같습니다. 며칠 밤을 세워서 데이터를 정재하고 모델을 만들어도 마음에 쏙드는 결과를 얻는 것은 거의 물가능합니다. 다시 정재하고 보완하면 좋아질 수 있지만 이또한 완벽할 수 없지요.
그래서 방법론이라는 부분도 완벽할 수 없습니다. 모든 프로세스와 타스크를 체워 넣는다고해서 품질 좋은 모델이 만들어지는 것은 아닙니다.
결국 여러분이 진행하시려는 분석의 상황에 맞게 핵심 타스크를 잘 골라서 사용하시면 됩니다.
바로 예술적으로 말이죠....


도움이 되셨길 바라고 명품을 만드시길 바랍니다.

그리고 다른 글에서 실제 고객분석의 이론과 실무 방법을 알려드리겠습니다.

딥러닝 with Caffe - 다케이 히로마사, 이주석

딥러닝에 대해서 전반적인 내용을 빠르게 습득하기에 좋은 책이다.

딥러닝의 개요, 동작 방법, 알고리즘 설명 뿐만 아니라 Caffe라는 분석 실행할 수 있는 프레임워크에 대한 사용 설명까지 포함되어 있다.

그러면서도 책의 페이지는 전체 200페이지를 안넘는다. 고로 설명이 아주 자세하지는 않다는 의미이다. ^^

그럼에도 불구하고 딥러닝에 대한 전반적인 내용을 알 수 있는 좋은 서적이다.

실용서 적인 느낌이 나면서도 아주 디테일하게 설명하지 않기 때문에 완벽히 이해가 안되는 부분도 있다.

기계학습이란 : 훈련 데이터를 학습기에 넣어 학습 모델을 만들고, 그 학습 모델을 이용해 처리를 수행하는 방법(기술)

- 학습기 : 패턴을 찾아내는 장치

문제를 기준으로한 기계 학습 방법 분류

(회귀분석, 분류, 클러스터링)

회귀분석 : 결과값으로 수치를 출력

분류 : 데이터 속성 또는 종류를 출력

클러스터링 : 데이터 그룹을 묶어주는 결과 출력

이전에는 순서 처리를 자동화하는 것

순서나 이유를 명확하게 설명할수 없는(프로그래밍할수 없는) 경우 기계학습 활용

CNN : Convolutional Neural Network : 이미지 인식에 사용 (전에는 BoF: Bag of Features 기법 활용)

RNN : Recurrent Neural Network) : BPTT(Back Propagation Through Time)

오토인코더(Autoencode)

레쿤, 1998년, 손글씨 문제에 CNN 이용

2000년대 초 빙하기 : 대신 SVM과 베이지안 네트워크 가 많이 활용되었음 (이해하기 쉽고 정확도도 높고)

     빙하기가 된이유

     1, 인공 신경망 조정 방법이 불명확한 점,

     2. 인공 신경망의 계산량이 많은 점,

     3. 인공 신경망 이외의 기계 학습 방법이 높은 성능을 나타낸 점

2006년 벤지오, 오토인코더의 사전 학습 방법 제안

2012년, 이미지넷 주최 이미지 인식 콘테스트(ILSVRC: ImageNet Large Visual Recognition Contest) 2012에서 압도적 1위, 다른방법대비 10%우위로 나오면서 관심 집중

2006년 11월 CUDA 발표, 2007년 7월 CUDA 1.0

활성화 함수

쌍곡 탄젠트 함수(hyperbolic tangent)  : y = tanh(x)

시그모이드 함수 (Sigmoid)                 : y = 1 / a + e(지수 -x)

ReLU 함수(Recrified Linear Unit)          : y= 0, x <0 이라면,  y = x, x >= 0 이라면

전결합층, 컨볼류션층, 풀링층

경사 하강법의 종류

확률적 경사 하강법 : (계산방법) 훈련 데이터에서 하나씩 적당히 선택해 갱신 처리를 수행하는 방법

미니배치법 : 훈련 데이터에서 소량의 데이터를 적당히 선택해 갱신 처리흘 수행하는 방법

배치법 : 모든 데이터를 이용해 갱신 처리를 수행하는 방법

오류역전파법(back propagation)

드롭아웃(drop-out), 드롭커넥트(drop connect), 어댑티브 드롭아웃(adaptive dropout)

정밀학습법: 아다그라드(AdaGrad), 아다델타(DatDelta), 아담(Adam)