The Yellow Lion King 데이터와 함께 살아가기

이번에는 차원축소방법중 하나인 TSNE에 대해서 알아보겠습니다.
간단한 설명 후 실제로 Python 에서 어떻게 T-SNE를 이용하는지에 대한 예를 들어 보겠습니다.

TSNE에 대해 간단히 알아 보기

차원 축소는 기계학습(Machine Learning)에서 매우 중요합니다. 왜냐하면 고차원의 데이터를 가지고 모델을 만들면 Under fitting 되기 쉽기 때문입니다. 즉, 쓸모 없는 데이터가 너무 많아서 학습이 되지 않는 현상이지요. 고차원, 즉 여러 데이터 중에서 가장 중요한 데이터만 골라서 (저차원으로 만들어서) 모델에 사용할 수도 있고, 여러 데이터를 이용하여 새로운 데이터를 만들어서 저차원으로 만들수도 있습니다. 어째튼 이처럼 고차원의 데이터를 저차원으로 변환하는 것이 필요합니다. 이것이 바로 차원 축소(Dimension Reduction) 방법입니다. (이외에도 Feature를 만드는 방법에는 Feature Elimination, Feature Selection 등의 방법이 있습니다.) 차원 축소 방법은 선형 방법(Principal Component Analysis (PCA), Independent Component Analysis, Linear Discriminant Analysis, 등)과 비선형 방법(Manifold, Auto-encoder 등)이 있습니다. TSNE는 Manifold 방법중 하나입니다.
SNE (Stochastic Neighbor Embedding)에서 t-SNE (t-distributed Stochastic Neighbor Embedding)로 발전했고, 이후 다시 UMAP (Uniform Manifold Approximation and Projection)으로 발전 하였습니다.

Python 을 이용해 Tsne 구현해 보기

간단한 코드와 설명은 아래와 같습니다.

아래는 화면에 출력된 결과 입니다.

차원 축소가 잘 되었는지 안되었는지 알아볼 수 있는 좋은 시각화 툴 입니다. 이를 이용해서 임베딩된 데이터를 시각화해 봄으로써 품질을 가늠해 볼 수 있습니다.

* 현상 : 

* 데이터 프레임 2개를 옆으로 추가하기 위해 concat 함수를 이용하려 하는데 아래와 같이 에러가 발생함.

참고 링크: 

https://www.codetd.com/en/article/12946561

이미 Tab(탭)으로 저장되어 있는 소스코드를 스페이스로 바꾸는 방법입니다.

(또는 스페이스로 되어있는 들여쓰기를 탭으로 바꾸는 방법입니다.)

VS Code 메유 중 아래와 같이 보기 -> 명령 팔레트 를 선택합니다.

그러면 편집기 가운데에 아래와 같이 검색 창이 뜹니다.

위 캡처에서도 보이는 것 처럼 입력하시면 됩니다. 

즉, 들여쓰기를 공백으로 변환하거나, 공백을 탭으로 변경할 수 있습니다.

갑자기 잘되던 구글 밋 회의에서 내 화면의 움직임이 없어지는 현상이 생겼습니다.

카메라를 켜면 처음 시작은 되서 화면이 보이는데 움직임이 없습니다.

해결 방법은 설정에서 하드웨어 가속기를 껐다가 다시 켜니까 정상 동작 하더군요.

Windows나 Mac OS의 크롬 브라우저에서 하드웨어 가속기를 설정 하는 방법은 아래와 같습니다.

하드웨어 가속 사용 설정하기