The Yellow Lion King 데이터와 함께 살아가기

잘 되던 git 명령어가 안되면서 아래와 같이 403 에러나 발생했다.

$ git push
Password for 'https://githubuser@github.com': 
remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead.
remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information.
fatal: unable to access 'https://githubuser@github.com/githubuser/ler.git/': The requested URL returned error: 403

자세히 보니 패스워드 기반의 인증을 이제 안해 준다는 말........

그래서 제시한 링크로 들어가보니

https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/

위의 링크를 클릭하면 아래와 같은 페이지가 나온다.

그리고 아래쪽에 보니 할일이 나와 있다.

PAT(Personal Access Token)을 만들어서 사용해야한다는....

a personal access token 링크를 클릭하니 아래와 같은 페이지가 나온다.

https://docs.github.com/en/github/authenticating-to-github/keeping-your-account-and-data-secure/creating-a-personal-access-token

내용을 보면서 하나씩 따라해서 PAT를 만들었다.

아래 쪽에 만든 PAT의 사용 방법이 나와 있는데 패스워드 대신에 PAT를 입력하면 된다는 내용이다.

매번 입력하기 귀찮으니 간단히 캐싱하는 방법이 있는데 아래와 같다.

# 설치 확인
$ git credential-osxkeychain

# osxkeychain 사용 설정
$ git config --global credential.helper osxkeychain

# 사용시간 설정(초)
$ git config --global credential.helper 'cache --timeout=3600'

코로나19로 인해 많은 사람들이 주식과 비트코인 등의 유가증권 또는 전자자산에 투자하는 열풍, 아니 광풍이 불고 있다.
여러가지 이유가 있겠지만 첫째로 국민들이 과거를 학습했기 때문이 아닐까 싶다. 즉, 과거 98년 IMF 부터 금융위기, 북한의 위협 등 국가 금융위기가 있을 때마다 기업의 주가가 폭락했다가 나중에 반등하는 사례를 보았기 때문일 것이다. 둘째는 투자 관련 정보를 많이 접할 수 있기 때문이 아닌가 싶다. 예전에는 증권회사의 지점에 직접 찾아가서 정보를 물어보고 투자했지만 요즘에는 온라인으로 많은 정보를 얻을 수 있고(물론 가짜 정보도) 채팅 앱이나 블로그, 유튜브를 잠깐만 찾아봐도 다 볼 수 없을 정도의 많은 정보가 쏟아져 나온다. 세번째 이유는 실제로 작은 개인의 성공사례가 전보다 많이 생겼고 그 소식이 동일 집단에 매우 빠르게 전파되기 때문에 말 그대로 투자 붐이 일어난 것 같다.
자본주의 사회에서 돈을 벌기위한 방법 중 하나로 유가증권(특히, 주식)은 말할 필요 없이 매우 중요한 부분을 차지 한다. 돈버는 방법이야 여러가지가 있겠다. 다른 말로 소득이라고 할 수 있는데, 통계청에 따르면 '가구소득'의 정의는 아래와 같다.
'한 가구나 그 가구의 개별 구성원이 1년간 또는 정기적으로 벌어들이는 현금 또는 현물 등의 모든 수입을 의미합니다.'
그리고 가구소득에서 총소득은 근로소득, 사업소득, 재산소득, 경상이전소득, 비경상소득의 합을 말한다.
즉, 돈 버는 방법이 근로, 사업, 재산, 기타로 분류 될 수 있을 것이다. 여기서 재산소득 중에 하나가 바로 주식 투자에 대한 배당 소득이다.
물론 많은 주식 투자자가 배당 소득 보다는 시세 차익을 목표로 투자한다. 짧은 기간에 많은 돈을 벌 수 있기 때문이다.(짧은 기간에 큰 손해를 볼 수도 있다)
이러한 주식 투자를 위해서 제일 중요한 것이 무엇일까?
정보! 바로 데이터라고 할 수 있겠다.
사실 정보는 떠도는 소문이나 풍문을 정보로 이용해서 투자를 시작하는 사람이 많이 있지만 많은 사람들이 실패하는 이유이기도 하다. 투자 가치가 그렇게 높은 정보가 공짜로, 그런 고급 정보가, 그렇게 쉽게, 당신에게 까지 알게 되었다는 게 이상하지 않나? 그리고 더 중요한 것은 이렇게 투자해서 수익을 본다해도 같은 방법으로 실패할 확률이 매우 높다. 성공한 투자는 기업에 대해서 많이 알아야 한다. 그래서 훌륭한 투자자들은 끈임없이 학습 한다. 기술분석이니, 가치투자이니, PER, EPS 등등등 끝임없이 학습하고 투자 회사에 대한 주가 뿐만 아니라 투자한/투자하려는 업종 및 기업의 사업 정보를 분석해야 한다. 이렇게 학습하고 분석해서 본인만의 투자 방법을 만들고 실행하며 발전해야 진정으로 성공할 수 있을 것이다.
자신만의 투자 방법을 만들기 위한 방법중 기본적으로 과거의 주가를 분석해서 패턴이나 특징을 찾는 것도 하나의 벙법일 수 있다. (서두에 말한 광풍의 이유중 하나인 국민들이 학습했기 때문이라는 것도 결국 과거의 패턴을 알고 있기 때문이다.) 이처럼 데이터 분석을 위해서 주가 데이터의 수집, 정재, 패턴/특징 찾기, 시뮬레이션, 선정/피드백, 파이프라인 자동화 등의 단계를 거칠 수 있겠다. 오늘은 제일 먼저 데이터 수집에 대해서 알아보자.
주가 데이터를 수집하는 방법에는 API, Web Crawling(웹 크롤링), 각 기업 Web Page 등이 있겠다. 데이터를 가지고 여러 방법으로 새로운 데이터를 만들거나 다른 데이터와 결합하는 등 다양한 처리와 계산이 필요하기 때문에(, 그리고 특히 자동 매수/매도가 필요하다면 결국) 증권사에서 제공하는 API를 통한 데이터 수집이 효과적이다. 그러나 쉽고 빠르게 간단한 데이터를 수집하고 분석하기에는 Web Crawling이 적합하다.

다음부터는 주식/주가 데이터를 수집하는 방법부터 하나씩 풀어보자.

AWS CLI 설치 방법 on Mac

대상 버전 :  version2 

다운 받기

$ curl "https://awscli.amazonaws.com/AWSCLIV2.pkg" -o "AWSCLIV2.pkg"

설치하기

$ sudo installer -pkg AWSCLIV2.pkg -target /

특정 버전의 aws cli를 설치하고 싶은 경우

$ curl "https://awscli.amazonaws.com/AWSCLIV2-2.0.30.pkg" -o "AWSCLIV2.pkg"

$ sudo installer -pkg AWSCLIV2.pkg -target /

awscli 설치 확인 및 버전 확인 방법

$ which aws

/usr/local/bin/aws

$ aws —version

aws-cli/2.2.24 Python/3.8.8 Darwin/19.6.0 exe/x86_64 prompt/off

awscli 환경 설정 방법

$ aws configure

AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE 

AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY 

Default region name [None]: us-west-2 

Default output format [None]: json

Access Key/ secret Access Key는 콘솔에서 IAM 메유를 선택하고  User의  Security Credentials Tab에서 알아낼 수 있음.

한번만 보여지고 다시 콘솔이나 메뉴에서 찾을 수 없으므로 별도 저장 관리 필요

자용자별 credential 과 config 정보는 홈 디렉토리 밑에 아래와 같은 각각의 파일에 저장됨

credintial

~/.aws/credentials (Linux & Mac) or %USERPROFILE%\.aws\credentials (Windows)

[default] 

aws_access_key_id=AKIAIOSFODNN7EXAMPLE

aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY 

[user1] 

aws_access_key_id=AKIAI44QH8DHBEXAMPLE

aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY

config

~/.aws/config (Linux & Mac)    or    %USERPROFILE%\.aws\config (Windows)

내용:

[default]

region=us-west-2

output=json

[profile user1]

region=us-east-1

output=text

awscli 실행시 마다 사용자를 정의할 수도 있고

$ aws ec2 describe-instances --profile user1

환경변수 설정을 통해 미리 설정해 놓을 수 있음

for Mac

$ export AWS_PROFILE=user1

for Windows

C:\> setx AWS_PROFILE user1

어떤 프로파일 들이 있는지 확인하고 싶을때

$ aws configure list-profiles

default

test

설정된 내용을 리스트로 보고 싶을때

$ aws configure list

기타 환경 변수 설정 방법

export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE

export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

export AWS_DEFAULT_REGION=us-west-2

기타 환경변수 정보 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-envvars.html

command line options

$ aws ec2 describe-instances --output table --region us-east-1

-------------------

|DescribeInstances|

+-----------------+

$ aws ec2 describe-instances --output table --region us-west-1

-------------------

|DescribeInstances|

+-----------------+

$ aws ec2 describe-instances --output table --region us-west-2

------------------------------------------------------------------------------

|                              DescribeInstances                             |

+----------------------------------------------------------------------------+

||                               Reservations                               ||

|+-------------------------------------+------------------------------------+|

||  OwnerId                            |  012345678901                      ||

||  ReservationId                      |  r-abcdefgh                        ||

|+-------------------------------------+------------------------------------+|

|||                                Instances                               |||

||+------------------------+-----------------------------------------------+||

|||  AmiLaunchIndex        |  0                                            |||

|||  Architecture          |  x86_64                                       |||

...

—————————————
AWS CodeCommit 사용 설정 방법
S/W 개발을 하는데 중요한 요소 가운데 하나가 버전을 관리하는 것이다. 개발을 하다보면 과거 기준으로 돌리거나 특정 시점(예: 부분 기능이 완성됬을 때의 내용) 을 기준으로 돌려 놓을 필요가 있기 때문이다. 그밖에도 여러 이유로  관리가 필요하다. 이러한 관리 기능을 제공하는 오픈 소스 툴로는 git hub 가 있다. 이와 같은 역할을 하는 제품이 AWS에도 있으니 이것이 바로 AWS CodeCommit 이다. https, ssh, 등 다양한 방법으로 접속시 인증을 할 수 있는데 오늘은 https login 사용을 기준으로 정리해 본다. (다른 부분은 같고 인증/접속 하는 방법만 살짝 다르다)

1. IAM User 생성 :

먼저 IAM User를 생성해 줘야 한다. Code Commit 사용시 필요한 Key 와 설정을 한다.
가. AWS에 최초로 가입할때 만든 루트 계정을 이용해서 로그인
나. IAM User 생성 메뉴 접속
다. CodeCommit 사용가능하도록 Permission 추가: 기존에 있는 polity 추가( AWSCodeCommitPowerUser )
- CodeCommit 사용 설정
자세한 생성 방법은 아래를 참고한다. https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_create.html

2. Git 설치

아래 주소에서 사용할 환경에 맞는 git을 다운로드 및 설치한다.
http://git-scm.com/downloads

3. CodeCommit 에 https 접속을 위한 git credential 생성

- 새로 만든 iam console 로 로그인한다.
- Users에서 해당하는 사용자를 선택 후,
- Summary 페이지 화면에서 Security Credentials 탭 클릭, 후, 중간 이후에 있는. HTTPS Git credentials for AWS CodeCommit 구역에서
Generate Credentials 버튼을 클릭해서 https git credential을 생성
- 생성된 User name과 password를 저장하거나 Download 받아 놓는다. 나중에는 이것을 이용해서 접속하게 된다.

4. CodeCommit console에 접속하고 reposity를 clone

- https://console.aws.amazon.com/codesuite/codecommit/home
- reposity를 찾거나 처음이면 region 을 정하는 등 새로 만들어서 region 과 생성된 connection endpoint를 알아냄
- 알아낸 https. endpoint (오른쪽 위에 있는 Clone URL 클릭 후 Clone HTTPS 선택)를 이용해서 복사 후 다음과 같이 로컬에서 실행 : git clone 복사한 내용 붙이기(예: https://git-codecommit.us-east-2.amazonaws.com/v1/repo )
- 3번에서 알아낸 https credential(https User name과 password)를 사용해서 로그인. 완료되면 자동으로 다운로드 클론됨

5. 사용

- 명령창/터미널에서 AWS CLI 툴이나 sourcetree 등의 툴에서 접속 및 사용하면 된다.