The Yellow Lion King 데이터와 함께 살아가기

머신러닝 엔지니어 인터뷰

Most of the questions below from https://brainstation.io/career-guides/machine-learning-engineer-interview-questions

What is the difference between supervised learning and unsupervised learning?

The biggest difference is that unsupervised learning does not require explicitly labeled data, while supervised learning does – before you can do a classification, you must label the data to train the model to classify data into the correct groups.

• What are the different types of machine learning?
  • Supervised Learning, Unsupervised Learning, Reinforcement Learning
• What is deep learning, and how does it contrast with other machine learning algorithms?
• What are the differences between machine learning and deep learning?
• What is the difference between artificial intelligence and machine learning?
  
  • Deep learning is a type of machine learning, which is a subset of artificial intelligence.
• Explain the confusion matrix with respect to machine learning algorithms.
  • A Confusion matrix is an N x N matrix used for evaluating the performance of a classification model, where N is the number of target classes.
  • The matrix compares the actual target values with those predicted by the machine learning model.
  • the True Positive is the number of  ------
  • This gives us a holistic view of how well our classification model is performing and what kinds of errors it is making.
  • , False positive and that you can calculate things such as Precision and Recall from it.
• What’s the trade-off between bias and variance?
  
  • Bias is the simplifying assumptions made by the model to make the target function easier to approximate.
  • Variance is the amount that the estimate of the target function will change given different training data.
  • Trade-off is tension between the error introduced by the bias and the variance.
  •  
  • wikipedia 

통계학과 기계 학습 분야에서 말하는 편향-분산 트레이드오프(Bias-variance tradeoff) (또는 딜레마(dilemma))는 지도 학습 알고리즘이 트레이닝 셋의 범위를 넘어 지나치게 일반화 하는 것을 예방하기 위해 두 종류의 오차(편향, 분산)를 최소화 할 때 겪는 문제이다.

• • • 편향은 학습 알고리즘에서 잘못된 가정을 했을 때 발생하는 오차이다. 높은 편향값은 알고리즘이 데이터의 특징과 결과물과의 적절한 관계를 놓치게 만드는 과소적합(underfitting) 문제를 발생 시킨다.
    • 분산은 트레이닝 셋에 내재된 작은 변동(fluctuation) 때문에 발생하는 오차이다. 높은 분산값은 큰 노이즈까지 모델링에 포함시키는 과적합(overfitting) 문제를 발생 시킨다.

편향-분산 분해는 학습 알고리즘의 기대 오차를 분석하는 한 가지 방법으로, 오차를 편향, 분산, 그리고 데이터 자체가 내재하고 있어 어떤 모델링으로도 줄일수 없는 오류의 합으로 본다. 편향-분산 트레이드 오프는 분류(classification), 회귀분석[1][2], 그리고 구조화된 출력 학습(structed output learning) 등 모든 형태의 지도 학습에 응용된다. 또한 사람의 학습에서 직관적 판단 오류(heuristics)의 효과성을 설명하기 위해 언급되기도 한다.

• Explain the difference between L1 and L2 regularization.
  • The main intuitive difference between the L1 and L2 regularization is that L1 regularization tries to estimate the median of the data  / while the L2 regularization tries to estimate the mean of the data to avoid overfitting.
  • The model performs accurately on training data but fails to perform well on test data and also produces high error due to several factors such as collinearity, bias-variance impact and over modeling on train data.
  • For example, when the model learns signals as well as noises in the training data but couldn’t perform appropriately on new data upon which the model wasn’t trained, the condition/problem of overfitting takes place. 
  • Overfitting simply states that there is low error with respect to training dataset, and high error with respect to test datasets. 
  • Various methods can be adopted, for avoiding overfitting of models on training data, such as cross-validation sampling, reducing number of features, pruning, regularization and many more.

• What’s your favorite algorithm, and can you explain it to me in less than a minute?
  • My favorite algorithm is Naive Bayes classification algorithm based on Bayes’ Theorem with an assumption of independence among predictors. In simple terms, a Naive Bayes classifier assumes that the presence of a particular feature in a class is unrelated to the presence of any other feature.
• How is KNN different from k-means clustering?
  • K-means clustering represents an unsupervised algorithm, mainly used for clustering, while KNN is a supervised learning algorithm used for classification.
• What is cross validation and what are different methods of using it?
  • Cross-validation, sometimes called rotation estimation or out-of-sample testing to assess how the results of a statistical analysis will generalize to an independent data set.
  • Cross-validation is a resampling method that uses different portions of the data to test and train a model on different iterations.
• Explain how a ROC curve works.
  • The ROC curve shows the trade-off between sensitivity (or TPR) and specificity (1 – FPR). Classifiers that give curves closer to the top-left corner indicate a better performance. As a baseline, a random classifier is expected to give points lying along the diagonal (FPR = TPR). The closer the curve comes to the 45-degree diagonal of the ROC space, the less accurate the test.
  • The receiving operating characteristic is a measure of classifier performance. Using the proportion of positive data points that are correctly considered as positive and the proportion of negative data points that are mistakenly considered as positive.
• What’s the difference between probability and likelihood?
  • Probability is used to finding the chance of occurrence of a particular situation, whereas Likelihood is used to generally maximizing the chances of a particular situation to occur.
• What’s the difference between a generative and discriminative model?
  • In simple words, a discriminative model makes predictions on the unseen data based on conditional probability and can be used either for classification or regression problem statements.    On the contrary, a generative model focuses on the distribution of a dataset to return a probability for a given example.
• How is a decision tree pruned?
• How can you choose a classifier based on a training set size?
  • If the training set is small, high bias / low variance models (e.g. Naive Bayes) tend to perform better because they are less likely to overfit.
  • If the training set is large, low bias / high variance models (e.g. Logistic Regression) tend to perform better because they can reflect more complex relationships.
• What methods for dimensionality reduction do you know and how do they compare with each other?
  • PCA(Principal Component Analysis) and High Correlation Filter are my favorite methods for dimensionality reduction.
  • PCA is one of the most common feature selection method. 
  • PCA is a technique which helps us in extracting a new set of variables from an existing large set of variables. These newly extracted variables are called Principal Components. 
  • A principal component is a linear combination of the original variables
  • Principal components are extracted in such a way that the first principal component explains maximum variance in the dataset
  • The second principal component tries to explain the remaining variance in the dataset and is uncorrelated to the first principal component
  • The third principal component tries to explain the variance which is not explained by the first two principal components and so on
  • High Correlation Filter
  • We can calculate the correlation between independent numerical variables that are numerical in nature. If the correlation coefficient crosses a certain threshold value, we can drop one of the variables
• Define precision and recall.
  • In pattern recognition, information retrieval and classification (machine learning), precision and recall are performance metrics that apply to data retrieved from a collection, corpus or sample space.
  • Precision (also called positive predictive value) is the fraction of relevant instances among the retrieved instances, while recall (also known as sensitivity) is the fraction of relevant instances that were retrieved. Both precision and recall are therefore based on relevance.
• What’s a Fourier transform?
• What’s the difference between Type I and Type II error?
  •  
• When should you use classification over regression?
  •  
• How would you evaluate a logistic regression model?
  •  
• What is Bayes’ Theorem? How is it useful in a machine learning context?
  • Bayes theorem provides a way to calculate the probability of a hypothesis based on its prior probability, the probabilities of observing various data given the hypothesis, and the observed data itself.
• Describe a hash table.
  • Hash Table is a data structure which stores data in an associative manner. In a hash table, data is stored in an array format, where each data value has its own unique index value. Access of data becomes very fast if we know the index of the desired data.

Naive Bayers Classification 나이브 베이지안 분류에는 크게 3가지로 가우시안, 다항분포, 베르누이(이항분포)가 있다.
이중에서 분류의 목적과 데이터 유형에 따라서 사용할 방법을 선택할 수 있다.
이번에는 다항분포 나이브 베이지안 분류에 대해서 알아보자.
비연속적인 데이터 값에 대해서 여러가지의 분류중에서 선택/분류하는 방법이다.
가장 많이 알려진 예시가 바로 스팸 메일 분류다. 즉, 메일의 제목과 내용을 보고 이 메일이 스팸 메일일지 아니면 정상적인 메일일지를 분류하는 알고리즘에 사용할 수 있다. 이러한 방법은 기계학습 방법중에서 지도학습(Supervised Learning)에 해당한다.
한번 생각해보자. 아래의 내용은 메일에 들어있는 내용을 단어로 표시한 것이다. 1번과 2번의 메일 중 어느 것이 스팸 메일 일까?

1번: 광고 출시 기념 할인 대상 선물 대박 핸드폰 
2번: 회의 사장 회사 오전 대표님 연락 메일 예약 출시

당신은 몇번을 선택했나? 왜 그렇게 선택했나?
내 생각에는 1번이 스팸 메일 일 꺼라고 선택했는데, 이유는 1번에 나오는 단어들이 스팸 메일에서 자주 보이는 단어이기 때문이다.
이처럼 각 단어가 스팸 메일에서 나타나는 확률을 계산하고 모든 단어의 확률을 더해서 하나의 메일이 스팸 확률을 계산하는 방법이 바로 다항분포 베이지안 분류 방법이다.


다항분포 나이브 베이지안 알고리즘의 공식을 이해하기 쉽게 풀어서 상세하게 설명하겠다.
(아래 위키 페이지의 내용을 기반으로 설명)

먼저 간단한 공식 읽는 방법을 이해해 보자

p 는 확률을 말하고, w는 단어, i는 순서를 표시하고, C는 클래스를 말한다. 즉 풀어서 말하면 C라는 클래스에서 단어 wi가 나타날 확률이다. 실제 계산하는 방법은, 모든 C클래스에 속하는 단어의 출현 횟수 중에서 wi가 얼마나 나타났는지 계산하면 된다.(짧게 말하면, C클래스에 나타난 wi 출현 건수 / C클래스에 나타난 모든 단어 출현수 = wi 가 C클래스라는 조건에서 나타날 확률)
예를 들면, p(광고 | 스팸메일) 의 의미는
스팸메일이라는 클래스 조건에서 광고라는 단어가 나올 확률을 말한다.

그래서 우리는 C 클래스가 주어졌을때 D라는 문서가 나타날 확률을 아래와 같이 공식으로 만들 수 있다.

이 공식[공식2]을 풀어서 설명하면
C클래스(스팸메일)에 대하여 D(메일)이 속할 확률은 = C클래스(스팸메일)라는 조건에서 D의 각 단어(wi)가 나타날 확률을 모두 구하고 이 확률 들을 누적곱한 것
이다.
이처럼 [공식2]를 말하는 이유는 계산 할 수 있는 값 이기 때문이다. 즉, 스팸메일로 분류된 메일들의 내용을 통해서 스팸메일에 할당된 문서들의 워드 별로 스팸 메일에서의 출현 확률을 계산해 낼 수 있기 때문이다.

그런데 우리가 원하는 확률 값은 (새로운 메일 문서)D가 주어졌을때 C(스팸)일 확률이다.
수식으로는

이다

[공식2] 에서와 같이 만들 수 있지만 문제는 D라는 조건에서의 C클래스에 모든 단어가 출현할 확률을 계산할 수 없다. 왜냐하면 우리는 어떤 D가 들어올지 모르기 때문이다. 모든 단어 조합에 해당하는 D를 만들면 해당 문서가 C클래스에 속할 확률을 알 수 있겠지만 모든 단어 조합의 문서를 만든다는 말은 결국 무한대에 가깝기 때문에 만들 수 없다.
그런데 다행히도 우리는 아래의 조건부 확률 공식을 이용해서 공식을 바꿀 수 있다.

[공식4]를 이용하여 [공식3]을 아래와 같이 바꿀 수 있다.

이와 같은 방법으로 반대도 알 수 있다.

[공식6]을 이용해서 공식 5의 오른 쪽 분자에 있는 p(D ∩ C)를 p(C) p(D|C) 로 아래와 같이 바꿀 수 있다.

우리는 이공식을 공식2에 의해서 아래와 같이 바꿀 수 있다.

그런데 우리는 아직도 p(D)를 계산할 수가 없고
이렇게 계산해서 나온다고해도 그냥 클래스에 속할 확률인 값만 나온다. 예를 들면, 스팸 메일일 확률 88.833%, 일반 메일일 확률 88.799%. 이렇게 나와서 판단 하기 어렵다.
그래서 간단하게 스펨과 일반 두가지의 클래스만 있다고 가정하고 위 공식의 C를 스팸(S)과 일반(-S)로 바꾸면 아래와 같다.

결국 스팸 가능성이 더 큰지, 아니면 일반일 가능성이 더 큰지를 비교하면 되므로 계산해서 나온 두 값을 비율로 만들어서 어느 것이 더 높은지 판단 할 수 있다. 이를 위해 위의 공식 2개를 비율로 만들면 아래와 같다. 같은 항의 값으로 나눈 것이다.

이것을 조금 더 보기 좋게 정리하면 아래와 같다.

이렇게 계산하면 두 클래스간의 유서도비(우도비)율이 나오는데, 문제는 클래스에 속한 단어의 숫자가 일치하지 않고 발생 차이가 많이 날 수 있기 때문에 (예: 스팸단어 1,000개, 일반단어 100,000개) 로그를 취해서 크기/스케일을 맞추어 준다.

이렇게 해서 나온 값이 크면 스팸일 가능성이 높은 것이고 낮으면 일반 메일일 가능성이 높은 것이다. 이러한 구분/분류를 위해 테스트 데이터를 통해 적당한 기준값(Threshold)을 설정해 준다.

자, 이론도 알았으니 다음에는 이러한 나이브 베이지안 알고리즘을 이용하여 분류기를 직접 만들어 보자.

인공지능

쉽게말하면, 말 그대로 인공적인 지능을 말한다. 지능이란 인간이 지니는 지적인 능력으로, 합리적으로 생각하고 처리하는 능력이라고 할 수 있다. 인간이 가지는 특징인 지능을 인공적으로 만드는 것이 인공지능이다. 실제로 인공지능은 컴퓨터 프로그램이나 시스템으로 구현되기 때문이 이렇게 구현된 것을 인공지능이라고 한다.
https://ko.wikipedia.org/wiki/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5

그런데 보통 일반인에게 인공지능이 무엇인가? 라고 질문하면 로봇을 떠올리기 쉽다. 그러나 로봇은 일련의 작업을 수행하는 기계적 장치를 말한다. 즉, 쉽게 말하면 하드웨어인 것이다. https://ko.wikipedia.org/wiki/%EB%A1%9C%EB%B4%87

따라서 인공지능은 소프트웨어라고 할 수 있다. 이처럼 하드위어와 소프트웨어가 합쳐지면 영화에서나 볼법한 정말 사람 같은 로봇이 만들어질 수 있겠다.
위키에서는 컴퓨터 프로그램으로 정의한다.
https://ko.wikipedia.org/wiki/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5

그런데 정의가 너무 광범위하다. 인공지능 = 인공적으로 만든 지능 = 컴퓨터 프로그램
그러서 인공지능에 대해서 조금 더 자세히 알아보자

인공지능에 포함되는 분야 중에 하나가 기계학습(Machine Learning, 머신러닝) 이다. 지능 중에서 학습하는 능력을 기계가 갖게 만드는 알고리즘 영역이라고 할 수 있다.
https://ko.wikipedia.org/wiki/%EA%B8%B0%EA%B3%84_%ED%95%99%EC%8A%B5

기계학습이란 용어에 대한 정의는 1959년에 아서 사무엘이 "기계가 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구 분야"라고 정의하였다. 그리고 1998년에 카네기 멜론 대학의 톰 마이클 교수는 아래와 같이 더 구체적으로 정의하였다.

“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”

  만약에 P에 의해서 측정되는 T라는 작업을 할때 컴퓨터 프로그램의 성능이 경험 E를 통해 증가했다면  컴퓨터 프로그램이 성능 지표 P와 작업 T의 일부 분류 표시를 가지고 경험 E로 부터 배운다 라고 한다.

이러한 기계학습은 학습 방법으로 유형을 구분할 수 있다. 지도학습, 비지도학습, 강화학습 이 그것이다.
인공적으로 지능을 만들기 위해서 컴퓨터에게 지능을 만들어 주어야 하는데 이 지능을 만드는 과정/방법을 학습이라고 한 것이다.
이처럼 학습하는 방법을 크게 3가지로 나눈다. 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 강화학습(Reinforcement Learning).

지도학습(Supervised Learning)

어린 아이에게 과일의 이름을 학습시키는 상황을 예로 들어보자. 사과를 알려주기 위해서 사과를 보여주고 "이게 사과야" 라고 알려주는 방법이 지도 학습이다. 말 그대로 대상에게 학습할 내용과 정답을 지도해 주는 방법이다. 세상 모든 일에는 장점과 단점이 있듯이 이것도 있다. 먼저 장점, 쉽다. 아이에게 사과를 학습시키고 나서 다시 사과를 물어보면 곧 잘 대답한다. 가르쳐 주기도 쉽다. 사과를 들고 "이게 사과야" 하면되고 바나나를 들고 "이게 바나나야" 라고 알려주면 된다. 그리고 사과가 많이 없어도 학습시킬 수 있다. 반면에 단점도 있다. 배울때 없었던 것을 물어보면 대답을 잘 못한다. 즉, 미니 사과나 반쯤 먹은 사과를 보여주면 엉뚱한(잘못된) 대답을 할 가능성이 높다.
https://ko.wikipedia.org/wiki/%EC%A7%80%EB%8F%84_%ED%95%99%EC%8A%B5

비지도학습(Unsupervised Learning)

말그대로 지도하지 않는 학습 방법이다. 위에서 본 것처럼 지도라는 말은 정답을 가르쳐 준다는 의미로 이해할 수 있다. 비지도 학습은 정답을 알려주지 않고 지능을 갖게되는 방법이다. 앞선 어린 아이에게 과일의 이름을 학습시키는 동일한 상황에서 이번에는 여러 개의 사과와 여러 개의 바나나를 보여주는 것이다. 사과 바나나를 모아 놓고 알아서 구분해 보라고 하는 것이다. 구분해 놓은 것을 보고 "이런 것들은 사과라고하고 저런 것들은 바나나라고해"라고 알려주는 방법이다. 즉, 정답을 가르처주지 않고 학습하는 방법이다.  장점, 일일히 시간내서 하나씩 가르쳐줄 필요가 없다. 따라서 학습 자료 준비 시간이 빠르다. 그냥 많은 과일을 보여주면 된다. 그리고 또다른 장점으로는 안 배웠던 사과를 보여줘도 곧 잘 정확하게 대답한다. 사과 하나하나의 특징을 학습한 것이 아니라 사과들의 공통된 특징을 학습했기 때문이다. 단점, 사과와 바나나 등 데이터가 많이 있어야 한다. 안그러면 같은 것 끼리의 특성을 잘 못찾기 때문이다. 그리고 가르치기 어렵다. "여기 사과들을 보렴, 사과는 주로 동그란 모양이고 빨간색이야", 데이터를 통해 배우는 방법으로 정확한 정답이 있는 것은 아니다. (다만, 결과가 사람이 인지하는 정답과 매우 유사하게 나오게 할 수록 사람과 비슷한 인공지능이 되는 것이다.)
https://ko.wikipedia.org/wiki/%EB%B9%84%EC%A7%80%EB%8F%84_%ED%95%99%EC%8A%B5

강화학습(Reinforcement Learning)

당근과 채찍을 통해 학습하는 방법이다. 잘하면 당근을 못하면 채찍을 통해 알고리즘 프로그램을 보완하여 지능을 갖게하는 방법이다. 다른 학습 방법과의 다른 점은 데이터 한 경우에 따라서 당근/채찍을 주는 것이 아니라 전체를 최적화 할 수 있는 근사치를 찾는 다는 점에서 다르다. 그리고 가장큰 차이점은 주어진 데이터에서 아직 조사되지 않은 영역을 탐험하는 것과 알고있는 지식 사이의 균형을 고려하면서 최적의 행동계획을 수립한다는 것이다. 강화학습의 예로는 미로를 빠저나가는 로봇을 생각해볼 수 있다. 상/하/좌/우 로 움직일 수 있는 행동중에서 어떤 이동의 움직임을 연속해서 선택해야 미로라는 환경에서 가장 빨리 빠져나갈 수 있는지를 여러번의 학습을 통해 찾아내는 것이다.
https://ko.wikipedia.org/wiki/%EA%B0%95%ED%99%94_%ED%95%99%EC%8A%B5

기타

다른 방법으로 인간의 여러가지 인지지능 중 시각과 언어 지능을 인공지능으로 구분할 수 있다. 시각인지 분야는 컴퓨터 비전(Computer Vision) 분야로 그리고 언어인지 분야는 자연어 처리(NLP: Natural Language Proecss)분야로 크게 구분한다. 추론과 기억분야가 추가되기도 한다.
https://ko.wikipedia.org/wiki/%EC%9E%90%EC%97%B0%EC%96%B4_%EC%B2%98%EB%A6%AC

사람의 지능은 여러 상황에 따라서 다양한 방법으로 문제를 해결한다. 그러나 인공지능은 아직 인간 수준의 종합지능을 가지고 있지는 못하다. 물론 단일화되고 규격화된, 그리고 제한된 문제 분야에서는 인간을 뛰어넘는 지능을 보여주기도 한다. 알파고와 이세돌기사의 대결에서 알파고가 승리한 것이 좋은 예시가 되겠다.
이처럼 아직 인공지능은 여러 문제를 동시에 구분하고 처리하는데 낮은 성능(지능)이다. 그러나 학습 방법이나 문제 종류에 따라서 세분화된 분야에서는 딥러닝(Deep Neural Network)의 발달로 높은 지능이 개발/발전되고 있다. 이 때문에 실제로 인공지능이나 기계학습을 활용하는 현업에서는 문제 상황과 확보한 데이터 그리고 목적에 맞게 학습 방법을 선택하는 것이 매우 그리고 더 매우 중요하다. 재료인 데이터의 중요성은 더 말할나위 없이 중요하다.

어떻게 하면 고객의 성향을 알수 있을까?

가장 확실한 방법은 MBTI 테스트를 고객 별로 실행하고 결과를 확인하는 것이다. 이보다 확실 할 수는 없다.
그러나 실제 고객 분석 시 실현 가능성이 매우 낮다. 왜냐하면 많은 비용과 시간이 들 뿐만 아니라 고객이 이를 원하지 않을 수도 있기 때문이다.
고객 성향을 예측하는 방법으로는 여러가지가 있을 수 있겠지만 간단한 방법중 하나가 워드 클라우드(Word Cloud) 또는 태그 클라우드(Tag Cloud)가 아닌가 싶다.
특정 텍스트 즉, 말뭉치(Corpus)에서 단어의 출현 빈도수에 비례하여 단어의 크기, 색상 등이 표시되는 이미지를 생성하는 방법이다.
(상세 내용은 아래의 Wiki 페이지를 참고하기 바란다.)
https://ko.wikipedia.org/wiki/%ED%83%9C%EA%B7%B8_%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C

고객이 생성한 텍스트 말뭉치를 분석해서 고객의 특성을 파악하는데 사용할 수 있다. 이를 통해 고객이 얼마나 다양한 단어를 사용하는지, 어떤 단어를 더 자주 사용하는지 알 수 있다. 이러한 정보를 확대해서 해석하면 고객이 얼마나 관심분야가 넓은지, 어떤 분야에 더 관심이 있는지 등을 알 수 있으며 이러한 분석을 정기적으로 실행할 경우 이러한 특성의 변화 추이도 알아낼 수 있다.
이러한 분석의 진행은 크게 3단계로 나눌 수 있으며, 고객 데이터 확보, 워드 클라우드 생성, 생성된 워드 클라우드 해석/분석의 단계를 거친다.
고객 데이터 확보는 '개인정보 보호법', '정보통신망 이용 촉진 및 정보 보호 등에 관한 법률' 등 관련 법에서 정한 절차와 고객 동의 등을 통해서 확보 및 관리되어야 한다.
워드 클라우드를 생성하는 방법은 여러 프로그래밍 언어에서 여러 종류의 관련 패키지 프로그램이 제공되기 때문에 여러 가지 방법으로 만들 수 있고 만들기도 쉬운 편이다. 본 글에서는 가장 찾기 쉽고 만들기 쉽도록 파이썬(Python) 프로그램 언어에 wordcloud 라는 패키지를 이용하겠다. 여기서 패키지란 재사용을 위해 특정 기능을 위해 미리 개발해서 묶어 놓은 프로그램이라고 생각하자. 이러한 프로그램의 설치 및 이용을 위해서는 다음과 같은 절차 단계가 필요하다.

1. 파이썬 설치
2. wordcloud 패키지 설치
3. 프로그램 작성 또는 다운로드
4. 실행 및 해석

아래에서 하나씩 차근차근 따라하기만 하면 된다.
(나중에 복잡한 기능을 추가하여 분석하고자 할 경우에는 하나씩 따라하고, 개발이나 분석보다는 활용과 빠른 결과에 관심이 많은 분들은 제일 아래의 기타 워드 클라우드 서비스 내용을 참고하기 바란다. 그래도 한번 읽어보기를 권장한다.)

1. 파이썬 설치

아래의 링크를 클릭하여 파이썬 홈페이지에 접속한다.
https://www.python.org/downloads/

접속하면 아래와 같은 화면이 보이고 왼쪽에 있는

를 클릭한다.

그러면 접속한 시스템의 운영 소프트웨어에 맞는 최신 버전의 파이썬 프로그램이 자동으로 다운로드 된다.
다운로드된 파일을 클릭하여 파이썬 프로그램을 컴퓨터에 설치한다.
윈도우즈에서는 cmd 창, 맥OS에서는 터미널을 실행하여 창을 연다.
터미널에 python을 입력하고 엔터(enter)를 누르면 파이썬 프로그램이 실행된다.
>>> 이 표시되면 정상적으로 설치되고 실행된 것이다.
실행한 파이썬 프로그램을 종료는 방법은 >>> 상태에서 exit()을 입력하고 엔터를 누른다.

2. wordcloud 패키지 설치
이제 두번째 단계인 wordcloud 패키지를 설치해보자.
터미널에서 아래와 같이 입력한다.

$ pip install wordcloud

그러면 패키지 설치가 자동으로 실행되면서 마지막에 성공 또는 실패에 대한 메시지가 나온다.

3. 프로그램 작성 또는 다운로드
참고한 페이지 정보: https://amueller.github.io/word_cloud/auto_examples/simple.html

위의 페이지를 참고하여 미리 간단한 내용을 실행할 수 있도록 일부 프로그램을 수정해서 아래의 코드 저장소(Code Repository)에 저장해 놓았다. https://github.com/replayh/wordcloud_simple_example.git
따라서, 코드 저장소 내용을 다운 받으면 워드 클라우드 프로그램을 작성한 것과 동일하게 이용할 수 있다.
다운로드 방법은 cmd 또는 터미널 창에 아래와 같이 입력하면 된다.

$ git clone https://github.com/replayh/wordcloud_simple_example.git

4. 실행 및 해석
자~! 이제 프로그램을 실행해 보자!!!
먼저 실행시킬 프로그램이 있는 폴더로 이동하기 위해 아래와 같이 입력한다.

$ cd wordcloud_simple_example

아래와 같은 실행 명령어와 엔터를 입력한다.

$ python simple_wordcloud.py 

모든 내용이 정상적으로 진행되었다면 아래와 같은 이미지의 워드 클라우드를 볼 수 있을 것이다.

워드 클라우드를 해석해보면 해당글에서 많이 언급된 단어는 고객, 구매, 행동, 성격, AIDA 등이 있다는 것을 알 수 있다.
제목을 모르더라도 글의 주요 내용이 많이 언급된 단어의 내용과 크게 다르지 안음을 알 수 있다.
다운로드 받은 프로그램 파일중에서 sample.txt 라는 파일이 있다. 메모장이나 텍스트 편집기를 이용하여 이 파일의 내용을 변경하고 저장한뒤에 다시 실행시키면 변경된 내용을 활용하여 분석된 결과를 볼 수 있다.


기타 워드 클라우드 서비스
개발이나 분석보다는 활용과 빠른 결과에 관심이 많은 분들의 경우 아래의 링크를 클릭하여 프로그램 설치 없이 온라인에서 워드 클라우드를 만들어 볼 수 있다.
http://bit.ly/YellowLionKing
또는 http://wordcloud.kr

워드 클라우드의 장점과 단점

이처럼 워드 클라우드는 텍스트 데이터의 전반적인 내용을 쉽고 빠르게 분석할 수 있는 유용한 도구이다.
그러나 작은 양의 텍스트 데이터를 가지고 분석했을 경우 해석 시 의미의 왜곡을 일으킬 수 있기 때문에 어느 정도 규모 이상의 빅데이터를 가지고 분석해야 왜곡을 줄일 수 있다. 또한 시간의 변화에 따른 의미를 제공해주지 못한다는 한계가 있다. 이를 해결하는 방법으로 일별/주별/월별 워드 카운트 숫자를 지속적으로 관리하여 꺽은 선 그래프를 만들어서 보완할 수 있다.
제시된 프로그램은 간단한 내용을 빠르게 분석하는 예를 보여주기 위한 것이다. 실제로 서비스에 활용하기 위해서는 단어를 잘 찾고 불필요한 단어 제거를 위해 사전을 사용하도록 개선하거나, 문맥을 잘 이해하고 단어를 분리해 내는 방법의 개선 등이 이루어져야 한다. 물론 최근의 인공지능/기계학습 기술과 알고리즘의 발전으로 이전보다 쉽고 정확하게 실행할 수 있다.

정리

이번 시간에는 고객의 성향 분석 및 판단을 위해 워드 클라우드를 만들고 해석하는 방법에 대하여 이야기해 보았다. 파이썬 언어로 작성된 간단한 프로그램을 다운받아 실행시켜 보거나 온라인에서 워드 클라우드를 만들어 보고 결과를 분석 및 해석해 보았다.
다음에는 간단한 분류기를 만들어 보자.

워드 클라우드의 알고리즘에 해당하는 BoW(Bag of Words) 관련해서는 아래를 참고해 주세요.

https://bigdatamaster.tistory.com/159