The Yellow Lion King 데이터와 함께 살아가기

어떻게 하면 고객의 성향을 알수 있을까?

가장 확실한 방법은 MBTI 테스트를 고객 별로 실행하고 결과를 확인하는 것이다. 이보다 확실 할 수는 없다.
그러나 실제 고객 분석 시 실현 가능성이 매우 낮다. 왜냐하면 많은 비용과 시간이 들 뿐만 아니라 고객이 이를 원하지 않을 수도 있기 때문이다.
고객 성향을 예측하는 방법으로는 여러가지가 있을 수 있겠지만 간단한 방법중 하나가 워드 클라우드(Word Cloud) 또는 태그 클라우드(Tag Cloud)가 아닌가 싶다.
특정 텍스트 즉, 말뭉치(Corpus)에서 단어의 출현 빈도수에 비례하여 단어의 크기, 색상 등이 표시되는 이미지를 생성하는 방법이다.
(상세 내용은 아래의 Wiki 페이지를 참고하기 바란다.)
https://ko.wikipedia.org/wiki/%ED%83%9C%EA%B7%B8_%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C

고객이 생성한 텍스트 말뭉치를 분석해서 고객의 특성을 파악하는데 사용할 수 있다. 이를 통해 고객이 얼마나 다양한 단어를 사용하는지, 어떤 단어를 더 자주 사용하는지 알 수 있다. 이러한 정보를 확대해서 해석하면 고객이 얼마나 관심분야가 넓은지, 어떤 분야에 더 관심이 있는지 등을 알 수 있으며 이러한 분석을 정기적으로 실행할 경우 이러한 특성의 변화 추이도 알아낼 수 있다.
이러한 분석의 진행은 크게 3단계로 나눌 수 있으며, 고객 데이터 확보, 워드 클라우드 생성, 생성된 워드 클라우드 해석/분석의 단계를 거친다.
고객 데이터 확보는 '개인정보 보호법', '정보통신망 이용 촉진 및 정보 보호 등에 관한 법률' 등 관련 법에서 정한 절차와 고객 동의 등을 통해서 확보 및 관리되어야 한다.
워드 클라우드를 생성하는 방법은 여러 프로그래밍 언어에서 여러 종류의 관련 패키지 프로그램이 제공되기 때문에 여러 가지 방법으로 만들 수 있고 만들기도 쉬운 편이다. 본 글에서는 가장 찾기 쉽고 만들기 쉽도록 파이썬(Python) 프로그램 언어에 wordcloud 라는 패키지를 이용하겠다. 여기서 패키지란 재사용을 위해 특정 기능을 위해 미리 개발해서 묶어 놓은 프로그램이라고 생각하자. 이러한 프로그램의 설치 및 이용을 위해서는 다음과 같은 절차 단계가 필요하다.

1. 파이썬 설치
2. wordcloud 패키지 설치
3. 프로그램 작성 또는 다운로드
4. 실행 및 해석

아래에서 하나씩 차근차근 따라하기만 하면 된다.
(나중에 복잡한 기능을 추가하여 분석하고자 할 경우에는 하나씩 따라하고, 개발이나 분석보다는 활용과 빠른 결과에 관심이 많은 분들은 제일 아래의 기타 워드 클라우드 서비스 내용을 참고하기 바란다. 그래도 한번 읽어보기를 권장한다.)

1. 파이썬 설치

아래의 링크를 클릭하여 파이썬 홈페이지에 접속한다.
https://www.python.org/downloads/

접속하면 아래와 같은 화면이 보이고 왼쪽에 있는

를 클릭한다.

그러면 접속한 시스템의 운영 소프트웨어에 맞는 최신 버전의 파이썬 프로그램이 자동으로 다운로드 된다.
다운로드된 파일을 클릭하여 파이썬 프로그램을 컴퓨터에 설치한다.
윈도우즈에서는 cmd 창, 맥OS에서는 터미널을 실행하여 창을 연다.
터미널에 python을 입력하고 엔터(enter)를 누르면 파이썬 프로그램이 실행된다.
>>> 이 표시되면 정상적으로 설치되고 실행된 것이다.
실행한 파이썬 프로그램을 종료는 방법은 >>> 상태에서 exit()을 입력하고 엔터를 누른다.

2. wordcloud 패키지 설치
이제 두번째 단계인 wordcloud 패키지를 설치해보자.
터미널에서 아래와 같이 입력한다.

$ pip install wordcloud

그러면 패키지 설치가 자동으로 실행되면서 마지막에 성공 또는 실패에 대한 메시지가 나온다.

3. 프로그램 작성 또는 다운로드
참고한 페이지 정보: https://amueller.github.io/word_cloud/auto_examples/simple.html

위의 페이지를 참고하여 미리 간단한 내용을 실행할 수 있도록 일부 프로그램을 수정해서 아래의 코드 저장소(Code Repository)에 저장해 놓았다. https://github.com/replayh/wordcloud_simple_example.git
따라서, 코드 저장소 내용을 다운 받으면 워드 클라우드 프로그램을 작성한 것과 동일하게 이용할 수 있다.
다운로드 방법은 cmd 또는 터미널 창에 아래와 같이 입력하면 된다.

$ git clone https://github.com/replayh/wordcloud_simple_example.git

4. 실행 및 해석
자~! 이제 프로그램을 실행해 보자!!!
먼저 실행시킬 프로그램이 있는 폴더로 이동하기 위해 아래와 같이 입력한다.

$ cd wordcloud_simple_example

아래와 같은 실행 명령어와 엔터를 입력한다.

$ python simple_wordcloud.py 

모든 내용이 정상적으로 진행되었다면 아래와 같은 이미지의 워드 클라우드를 볼 수 있을 것이다.

워드 클라우드를 해석해보면 해당글에서 많이 언급된 단어는 고객, 구매, 행동, 성격, AIDA 등이 있다는 것을 알 수 있다.
제목을 모르더라도 글의 주요 내용이 많이 언급된 단어의 내용과 크게 다르지 안음을 알 수 있다.
다운로드 받은 프로그램 파일중에서 sample.txt 라는 파일이 있다. 메모장이나 텍스트 편집기를 이용하여 이 파일의 내용을 변경하고 저장한뒤에 다시 실행시키면 변경된 내용을 활용하여 분석된 결과를 볼 수 있다.


기타 워드 클라우드 서비스
개발이나 분석보다는 활용과 빠른 결과에 관심이 많은 분들의 경우 아래의 링크를 클릭하여 프로그램 설치 없이 온라인에서 워드 클라우드를 만들어 볼 수 있다.
http://bit.ly/YellowLionKing
또는 http://wordcloud.kr

워드 클라우드의 장점과 단점

이처럼 워드 클라우드는 텍스트 데이터의 전반적인 내용을 쉽고 빠르게 분석할 수 있는 유용한 도구이다.
그러나 작은 양의 텍스트 데이터를 가지고 분석했을 경우 해석 시 의미의 왜곡을 일으킬 수 있기 때문에 어느 정도 규모 이상의 빅데이터를 가지고 분석해야 왜곡을 줄일 수 있다. 또한 시간의 변화에 따른 의미를 제공해주지 못한다는 한계가 있다. 이를 해결하는 방법으로 일별/주별/월별 워드 카운트 숫자를 지속적으로 관리하여 꺽은 선 그래프를 만들어서 보완할 수 있다.
제시된 프로그램은 간단한 내용을 빠르게 분석하는 예를 보여주기 위한 것이다. 실제로 서비스에 활용하기 위해서는 단어를 잘 찾고 불필요한 단어 제거를 위해 사전을 사용하도록 개선하거나, 문맥을 잘 이해하고 단어를 분리해 내는 방법의 개선 등이 이루어져야 한다. 물론 최근의 인공지능/기계학습 기술과 알고리즘의 발전으로 이전보다 쉽고 정확하게 실행할 수 있다.

정리

이번 시간에는 고객의 성향 분석 및 판단을 위해 워드 클라우드를 만들고 해석하는 방법에 대하여 이야기해 보았다. 파이썬 언어로 작성된 간단한 프로그램을 다운받아 실행시켜 보거나 온라인에서 워드 클라우드를 만들어 보고 결과를 분석 및 해석해 보았다.
다음에는 간단한 분류기를 만들어 보자.

워드 클라우드의 알고리즘에 해당하는 BoW(Bag of Words) 관련해서는 아래를 참고해 주세요.

https://bigdatamaster.tistory.com/159