EDW 개념 아키텍처ㅡ빅데이터 아키텍처의 아버지

Enterprise Data Warehouse (EDW) 개념 아키텍처

 

Enterprise Data Architecture는 크게 3가지 레이어로 나누어 집니다.

Data Source, Data Storage, Front-End Tools 가 그것 입니다.

 

Data Source

소스는 말 그대로 원천입니다. 데이터가 만들어지는 것(시스템)을 말합니다.

일반적으로 운용 어플리케이션(응용) 시스템이라고 불리우는 시스템에서 데이터가 생성됩니다.

운영계 시스템이라고도 하며 예를 들면 고객관리 시스템, 자산관리 시스템, 재무관리 시스템, 직원 관리 시스템 등이 되겠습니다.

즉, 경영을 하면서 필요한 오퍼레이션(운영/관리)를 위해 필요한 시스템들을 말합니다. 그래서 운영계라는 말을 사용합니다. 은행업계에서는 계정계라고 합니다.

 

Data Storage

이와 달리 EDW는 분석계에 해당합니다. 운영계 처럼 업무처리니 관리를 위한 시스템이 아니라 말그대로 분석을 위한 시스템입니다. 전에는 주로 통계나 리포트 작성을 위한 데이터 생성이 목적이었습니다. 왜냐하면 운영계에서는 업무/서비스를 위해서 24시간 운영되는 경우도 있는데 이런경우 통계/리포트를 만들기 위해서 데이터 처리를 위한 시스템 구조/용량을 확보할 수 없거나 그렇게 하는 것이 비효율적이었기 때문입니다. 그러다가 Direct Marketing, CRM(customer Relation Marketing) 등의 바람이 불면서 분석계의 인기(중요성)이 부각 되었었지요. 단순히 통계 숫자 뽑고 필요한 리포트 만들어주는 시스템이 아니라 돈버는데 필요한 시스템이 되엇던 것입니다. 그런데 너무 앞서 갔던 걸까요?! 매출신장에 혁신적이라고 생각해서 인프라/시스템적인 투자를 엄청나게(?) 했는데 효과는 기대했던것에 미치지 못했습니다. 이유를 생각해보면 3가지가 될 것 같은데요. 첫째 데이터가 없었습니다. 둘째, 좋은 알고리즘, 그리고 이를 잘 활용할 만한 인력이 없었습니다. 그리고 마지막으로 세번째는 분석계 시스템/인프라 도입에 많은 비용이 들었습니다. (이 세가지 이야기는 할 말이 많으니 나중에 더 하겠습니다.) 하여간 이러한 이유로 투자 대비 효과가 별로라는 평가로 투자와 관리/발전이 소흘해 졌습니다.

그러다가 드디어 짜쨘~ 스티브 잡스께서 스마트폰을 세상에 내놓으셨지요. 갑자기 스티브잡스와 스마트폰이 무슨 말인지 연계가 안되시나요? (아 되시는 분도 계시군요) 바로 첫번째 문제 였던 데이터 부족을 해결하게 됩니다.

- 너무 할말이 많아서 중략 ^^ -

요즘은 빅데이터가 발전하면서 Data Storage에 대한 여러종류의 아키텍처가 발전하고 있습니다. 많이 들어보셨을 하둡( Hadoop), HDFS(하둡 File System) 등이 그것 입니다.

 

Front-End Tools

이렇게 데이터 스토리지에서 열심히 분석해서 만들어놓은 데이터를 활용하는 레이어 입니다. 가장 기본적인 것은 SQL(Structured Query Language: DB의 데이터를 입력/조회/수정/삭제 할 수 있는 명령어 모음), 리포트(쉽게 말하면 엑셀 표/자료), OLAP Tool(On Line Analytical Processing) 입니다. 이쪽의 아키텍처도 실시간과 시각화 관점에서 다양한 아키텍처가 새롭게 나오고 있습니다.

 

하여간 오늘날에는 4차 산업혁명이라는 주제아래 빅데이터, 인공지능/기계학습(AI/ML) 등의 이야기가 나오면서 분석계의 중요성은 나날이 높아지고 있는 상황입니다. 그 기본이 되는 아키텍처가 바로 상기의 EDW개념 아키텍처 입니다.

 

이후부터 차근차근 관련된 아키텍처와 기술, 서비스에 대해서 이야기해보겠습니다.