파이썬에서 데이터 전처리 두번째는 데이터를 표준화(standardization)하여 이상치(outlier)를 제거하는 것이다. 이번 포스팅에서는 표준화의 개념과 표준화하는 파이썬 코드를 알아보겠다. 수능을 보면 수능 원점수와 함께 표준점수가 나온다. 수능에서 언어 80점, 수리 80점(원점수 기준)으로 받았지만, 어떤 과목을 더 잘했는지는 표준점수를 통해 확인할 수 있다. 왜냐하면 언어와 수리영역의 점수 분포가 다르기 때문이다. 표준화란, 데이터 값과 평균을 기준으로 어느정도 떨어져있는지를 나타내는 값으로, 데이터 값과 평균의 거리를 표준편차 단위로 나누어 구한다. X- 평균 표준화(Z)= ---------------- 표준편차 (TeX으로 쓰면 이렇게 보인다. ) 표준화한 Z값이 ±1.96 이내(간단히..
