배운내용 복습 및 정리

데이터 불러오기

• 불러오기 전 데이터셋 정보 파악 사항
  • 행과 열의 수
  • 열에 헤더가 있는지 (”데이터 이름”이 있는지?)
  • 결측 데이터(Missing data)가 있는지 확인
  • 원본의 형태 확인 : 내가 기대하는 데이터의 형태가 맞는지
• pd.read_csv( names = , thousand =) : 불러올때 헤더(열이름) 설정, 콤마 제거 설정

EDA

• EDA 란?

  • 시각화 같은 도구를 통한 패턴 발견
  • 데이터의 특이성 확인
  • 통계와 그래픽(혹은 시각적 표현)을 통해서 가설을 검정하는 과정

• EDA 방법

  • Graphic : 차트 혹은 그림 등을 이용하여 데이터를 확인하는 방법
  • Non-Graphic : 주로 Summary Statistics 를 통해 데이터를 확인하는 방법

• EDA의 target 데이터

  • Uni - Non Graphic : Sample Data의 분포를 확인하는 것이 주 목적

    • Numeric data의 경우 확인하는 사항
      • Center (Mean, Median, Mode)
      • Spread (Variance, SD, IQR, Range)
      • Modality (Peak)
      • Shape (Tail,Skewness, Kurtosis)
      • Outliers
    • Categorical data의 경우 확인하는 사항
      • Occurence
      • Frequency
      • Tabulation

  • Uni - Graphic : Histogram 혹은 Pie chart, Stem-leaf plot, Boxplot, QQplot 등을 사용, 만약 값들이 너무 다양하다면 Binning, Tabulation 등을 활용. QQPlot 이란, 데이터의 분포와 이론상의 분포가 잘 일치하는가를 확인할 수 있는 방법. >> 시각화를 통해 데이터가 정규화를 따르는지 확인하는 것.

  • Multi - Non Graphic : Relationship 을 보는 것이 주된 목표.

    • Categorical data 의 경우

      • Cross-Tabulation 사용

      

    • Cross-Statistics (Correlation, Covariance)

    

  • Multi - Graphic

    • Category & Numeric : Boxplots, Stacked bar, Parallel Coordinate, Heatmap

    

  

  

  • Numeric & Numeric : Scatter Plot

  

• Useful Pandas Functions:

  • Missing Data : isna, isnull, notna, notnull, dropna, fillna
  • DataFrame : index, columns, dtypes, info, select_dtypes, loc, iloc, insert, head, tail, apply, aggregate, drop, rename, replace, nsmallest, nlargest, sort_values, sort_index, value_counts, describe, shape
  • Vis : plot, plot.area, plot.bar, plot.barh, plot.box, plot.density, plot.hexbin, plot.hist, plot.kde, plot.line, plot.pie, plot.scatter

데이터 전처리

• 종류

  • Data cleaning : noise 를 제거하거나, inconsistency 를 보정하는 과정. 데이터의 정확도, 완성도, 일관성, 신뢰성 등을 저해하여 잘못된 인사이트, 결론을 얻게하는 데이터들을 제거/보정 하는 과정.

  

  

  

  

  • Data integration : 여러개로 나누어져 있는 데이터들을 분석하기 편하게 하나로 합치는 과정.

  

  • Data transformation : 데이터의 형태를 변환하는 작업으로, scaling 이라고 부르기도 한다.

  

  • Data reduction : 데이터를 의미있게 줄이는 것을 의미하며, dimension reduction과 유사한 목적을 갖는다.

  

데이터 정렬

• sort_values : df.sort_values(’column’) 과 df[’column’].sort_values() 는 출력되는 데이터 타입이 DataFrame 과 Series로 다르다.
• df.sort_values([’a’,’b’,’c’,.....], ascending = False) : 내림차순 정렬
• drop 함수는 파라미터로 인덱스 값을 받음. 원하는 행을 삭제하고 싶다면 인덱스 값으로 새로운 변수에 할당해서 drop의 파라미터로 넣어줄 것.
• 새로운 행을 추가하는 방법은 append 와 loc,iloc 방법이 있다. 모두 데이터 프레임 형태라면 append를 사용하지만, 나머지의 경우에는 loc[’원하는인덱스명’] =[2,50,444,.....]을 사용하기.

데이터 시각화

• 라이브러리
  • matplotlib : 기본 수준의 plot(차트) 그리기 기능 제공
  • pandas : matplotlib에 기반하여 쉬운 인터페이스 제공
  • seaborn : matplotlib을 기반으로 다양한 색상 테마와 통계용 차트 등의 기능을 추가.
    • sns.load_dataset