preprocessing 검색 결과

해당 글 5건

[Python] One Hot Encoding을 활용하여 범주형 변수 변형하기

One Hot Encoding을 사용하여 범주형 변수를 논리값이 포함된 열로 나누어 줄 수 있다. import pandas as pd #1 pd.get_dummies(data['열 이름'], prefix = '원하는 추가 이름') #2 pd.get_dummies(data = 데이터, columns = ['열 이름'], prefix = '원하는 추가 이름') #2를 활용하여 기존의 데이터프레임에 추가할 수 있다. prefix는 열에 속한 데이터 값 앞에 추가로 붙는 이름을 넣어준다.
Skills/Python 2021. 11. 1. 20:57

[데이터 전처리] 4. 분석 변수 처리

1) 변수 선택 (1) 필터 기법 (Filter Method) - 정보 소득 (Information Gain), 카이제곱 검정, 피셔 스코어 (Fisher Score), 상관계수 (2) 래퍼 기법 (Wrapper Method) - RFE(전진 선택법, 후진 제거법, 단계적 방법), SFS, 유전 알고리즘, 단변량 선택, mRMR (3) 임베디드 기법 (Embedded Method) - 라쏘(LASSO), 릿지(Ridge), 엘라스틱 넷, SelectFromModel 2) 차원 축소 - 주성분 분석 (PCA : Principal Component Analysis) - 특이값 분해 (SVD : Singular Value Decomposition) - 요인분석 (Factor Analysis) - 독립성분분석 ..
Data Analysis/info 2021. 11. 1. 20:56

[데이터 전처리] 3. 데이터 이상값 처리

1) 데이터 이상값 발생 원인 - 데이터 입력 오류 - 측정 오류 - 실험 오류 - 고의적인 이상값 - 표본추출 에러 2) 데이터 이상값 검출 방법 - 개별 데이터 관찰 - 통곗값 : ESD / 기하평균 / 사분위 수 / 표준화 점수(Z) / 딕슨의 Q 검정 / 그럽스 T-검정 / 카이제곱 검정 - 시각화 : 확률 밀도 함수 / 히스토그램 / 시계열 차트 - 머신 러닝 기법 : K-평균 알고리즘 (데이터 군집화) - 마할라노비스 거리 : 관측치가 평균으로부터 벗어난 정도 - LOF : 밀도기반 - iForest : 의사결정나무 3) 데이터 이상값 처리 - 삭제 : 극단값 절단 - 대체법 : 하한값과 상한값 설정 후 대체(*결측값처리법과 유사) - 변환 : 자연로그 - 박스 플롯 해석을 통한 이상값 제거 ..
Data Analysis/info 2021. 11. 1. 20:55

[데이터 전처리] 2. 데이터 결측값 처리

결측값 : 누락된 값 (NA, 999999, Null) 1) 결측값 종류 - 완전 무작위 결측 (MCAR : Missing completely At Random) - 무작위 결측 (MAR : Missing At Random) - 비 무작위 결측 (MNAR : Missing Not At Random) 2) 결측값 처리 절차 (1) 결측값 식별 : 다양한 형태로 존재하는 결측값 현황 파악 (2) 결측값 부호화 : NA / NaN / inf / NULL 등 컴퓨터가 처리 가능한 형태로 부호화 (3) 결측값 대체 : 자료형에 맞춰 대체 알고리즘을 통해 결측값 처리 3) 데이터 결측값 처리 밥법 (1) 단순 대치법 - 완전 분석법 : 불완전 자료를 모두 무시하는 방법 - 평균 대치법 : 비 조건부 평균 대치법 /..
Data Analysis/info 2021. 11. 1. 20:54

[데이터 전처리] 1. 데이터 정제

결측값을 채우거나 이상값을 제거하는 과정을 통해 데이터의 신뢰도를 높이는 작업 1) 데이터 오류 원인 분석 - 결측값, 노이즈, 이상값 처리 2) 데이터 정제 대상 선정 - 모든 데이터를 대상으로 정제 활동을 하는 것이 기본 - 데이터 품질 저하의 위협이 있는 데이터는 더 많은 정제 활동 - 내부 데이터보다 외부 데이터가, 정형 데이터보다는 비정형과 반정형 데이터가 데이터 품질 저하 위협에 많이 노출 3) 데이터 정제 방법 결정 - 삭제, 대체, 예측값 삽입 4) 데이터 정제 기술 기법 설명 사례 변환 (Transform) 다양한 형태로 표현된 값을 일관된 형태로 변환하는 작업 - 코드 변환 (남/여 -> M/F) - 형식 변환 (YYYYMMDD -> YY/MM/DD) 파싱 (Parsing) 데이터를 정..
Data Analysis/info 2021. 11. 1. 20:53