작은 결혼, 그 후의 낭만적(?) 일상

데이터를 분석하다보면, 날짜를 인덱스로 써야하는 날이 온다. 이번 포스팅에서는 파일을 불러올 때, 날짜를 인덱스로 설정하는 파이썬 코드에 대해 알아보겠다. data = pd.read_csv(경로, index_col = '컬럼명', parse_dates = True) parse_dates는 날짜를 datetime 형태로 변환할지 여부인데, True라고 했으니 해당 컬럼에 있는 데이터는 날짜 형태가 된다. colab에서 실행하다보니, 위에서 데이터를 'downloaded'에 넣어놓았다. 만약 로컬에서 실행한다면, 저 downloded 대신 파일의 경로를 넣어야 한다. 인덱스 컬럼을 'Date'라는 컬럼명으로 넣었고, parse_dates= True로 날짜 타입으로 변경했다. 2.1) df.columns 컬럼..

JupyterNotebook이나 JupyterLab에서 데이터를 불러와서 기술통계 및 데이터타입 확인(+변경)을 하고, 데이터 표준화(standardization)로 outlier까지 제거했다면, 이제는 분석 전에 데이터를 정규화(normalization)하여 데이터의 scale을 맞춰야 한다. 일명 rescaling으로 불리는 정규화! normalization을 왜 해야하는지, 그리고 파이썬 코드로 어떻게 짜는지 아주 쉽게 알아보고자 한다. 정규화(normalization), 왜 하는가? 각 컬럼에 들어있는 데이터의 상대적 크기로 분석결과가 달라질 수 있다. 예를 들어 A변수는 0~1000까지의 값을, B변수는 0~10까지의 값을 갖는다고 하자. 이 경우 상대적으로 큰 숫자 값을 갖는 A변수의 영향이 ..

JupyterLab(또는 JupyterNotebook)에서 데이터를 불러왔다면(파싱했다면), 이제 기술통계를 확인하고, 데이터 타입을 확인해봐야한다. df2.describe() #기술통계 확인 df2.dtypes #데이터 타입 확인 어떤 것에는 ()를 붙이고, 어떤 것은 안붙이는지 기준을 잘 모르겠다. 익숙해지는 것만이 답인듯하다. describe()를 실행하면 가끔 기술통계가 나와야하는데 나오지 않는 경우가 있다. 그 이유는 데이터 타입이 int(숫자)가 아니기 때문! 아래 예제 데이터는 공공데이터포털에서 가져왔다고 하는데, 데이터타입이 무려 문자형이다. (공공데이터 포탈에 데이터 업로드 하는 모든 분들에게 데이터타입에 대한 교육이 시급해보인다.) 오마이갓. 맨 위 숫자 표에 있는 콤마(,)는 모두 텍..

파이썬이 설치된 상태에서 분석을 하기 위해 가장 먼저 해야 할 일은 바로 '파일 불러오기' 일 것이다. 보통 데이터를 다운 받고 JupyterNotebook 또는 JupyterLab에서 파일을 불러오는데, 가장 쉬운 방법을 알아냈다. (thanks to 드립력으로 배우는 머신러닝) 1. 다운받은 파일을 우클릭 - 속성에 들어가서 위치와 파일명을 차례로 복사한다. 2. JupyterNotebook 또는 JupyterLab에서 아래와 같이 입력한다. df=pd.read_excel(r'C:\Users\jjeong\Desktop\국가별수출입실적_20171221.xlsx') ①파일의 위치 ② 파일명 위치 앞에 r을 써주고, 위치와 파일명 사이에 \를 넣어주는 것이 핵심! (참고로, \-원표시는 JupyterNot..

아.. tensorflow 설치는 너무나 어려웠다. 하지만 결국 설치 완료! 정말 아나콘다를 몇번이나 지우고 다시 설치했는지 모르겠다. 계속 나온 에러메세지. (참 길기도 하다.) ModuleNotFoundError Traceback (most recent call last) in ----> 1 import tensorflow as tf 2 3 print('done') ModuleNotFoundError: No module named 'tensorflow' 몇 번을 다시 설치해도 저 에러메세지는 계속 나왔다. 안되겠어서 강사님에게 SOS를 청하고, 수업시간 1시간 전에 만나서 설치도움을 요청했다. 결론. 텐서플로 블로그 정독하기, 까만창이 나와도 겁내지 말자! *텐서플로 한글 블로그 https://ten..