Data Analysis/info 검색 결과

해당 글 6건

[데이터 전처리] 4. 분석 변수 처리

1) 변수 선택 (1) 필터 기법 (Filter Method) - 정보 소득 (Information Gain), 카이제곱 검정, 피셔 스코어 (Fisher Score), 상관계수 (2) 래퍼 기법 (Wrapper Method) - RFE(전진 선택법, 후진 제거법, 단계적 방법), SFS, 유전 알고리즘, 단변량 선택, mRMR (3) 임베디드 기법 (Embedded Method) - 라쏘(LASSO), 릿지(Ridge), 엘라스틱 넷, SelectFromModel 2) 차원 축소 - 주성분 분석 (PCA : Principal Component Analysis) - 특이값 분해 (SVD : Singular Value Decomposition) - 요인분석 (Factor Analysis) - 독립성분분석 ..
Data Analysis/info 2021. 11. 1. 20:56

[데이터 전처리] 3. 데이터 이상값 처리

1) 데이터 이상값 발생 원인 - 데이터 입력 오류 - 측정 오류 - 실험 오류 - 고의적인 이상값 - 표본추출 에러 2) 데이터 이상값 검출 방법 - 개별 데이터 관찰 - 통곗값 : ESD / 기하평균 / 사분위 수 / 표준화 점수(Z) / 딕슨의 Q 검정 / 그럽스 T-검정 / 카이제곱 검정 - 시각화 : 확률 밀도 함수 / 히스토그램 / 시계열 차트 - 머신 러닝 기법 : K-평균 알고리즘 (데이터 군집화) - 마할라노비스 거리 : 관측치가 평균으로부터 벗어난 정도 - LOF : 밀도기반 - iForest : 의사결정나무 3) 데이터 이상값 처리 - 삭제 : 극단값 절단 - 대체법 : 하한값과 상한값 설정 후 대체(*결측값처리법과 유사) - 변환 : 자연로그 - 박스 플롯 해석을 통한 이상값 제거 ..
Data Analysis/info 2021. 11. 1. 20:55

[데이터 탐색] 1. 기본적 데이터 탐색

탐색적 데이터 분석 EDA (Exploratory Data Analysis) 1) Four R's - 저항성 (Resistance) : 오류점, 이상값이 데이터에 포함되에도 영향을 적게 받는 성질 - 잔차 해석 (Residual) : 관찰 값들이 주 경향으로부터 얼마나 벗어난 정도 - 자료 재표현 (Re-expression) : 로그 변환, 제곱근 변환, 역수 변환 등 분포의 대칭성, 선형성, 분산의 안정성을 위해 변환 - 현시성 (Grapic Representation) : 이해하기 쉽도록 시각적으로 표현 2) 개별 변수 탐색 방법 범주형 데이터 빈도수, 최빈값, 비율, 백분율 중심성, 변동성 막대형 그래프 (Bar plot) 수치형 데이터 평균, 분산, 표준 편차, 첨도, 왜도 중심성, 변동성, 정규..
Data Analysis/info 2021. 11. 1. 20:54

[데이터 전처리] 2. 데이터 결측값 처리

결측값 : 누락된 값 (NA, 999999, Null) 1) 결측값 종류 - 완전 무작위 결측 (MCAR : Missing completely At Random) - 무작위 결측 (MAR : Missing At Random) - 비 무작위 결측 (MNAR : Missing Not At Random) 2) 결측값 처리 절차 (1) 결측값 식별 : 다양한 형태로 존재하는 결측값 현황 파악 (2) 결측값 부호화 : NA / NaN / inf / NULL 등 컴퓨터가 처리 가능한 형태로 부호화 (3) 결측값 대체 : 자료형에 맞춰 대체 알고리즘을 통해 결측값 처리 3) 데이터 결측값 처리 밥법 (1) 단순 대치법 - 완전 분석법 : 불완전 자료를 모두 무시하는 방법 - 평균 대치법 : 비 조건부 평균 대치법 /..
Data Analysis/info 2021. 11. 1. 20:54

[데이터 전처리] 1. 데이터 정제

결측값을 채우거나 이상값을 제거하는 과정을 통해 데이터의 신뢰도를 높이는 작업 1) 데이터 오류 원인 분석 - 결측값, 노이즈, 이상값 처리 2) 데이터 정제 대상 선정 - 모든 데이터를 대상으로 정제 활동을 하는 것이 기본 - 데이터 품질 저하의 위협이 있는 데이터는 더 많은 정제 활동 - 내부 데이터보다 외부 데이터가, 정형 데이터보다는 비정형과 반정형 데이터가 데이터 품질 저하 위협에 많이 노출 3) 데이터 정제 방법 결정 - 삭제, 대체, 예측값 삽입 4) 데이터 정제 기술 기법 설명 사례 변환 (Transform) 다양한 형태로 표현된 값을 일관된 형태로 변환하는 작업 - 코드 변환 (남/여 -> M/F) - 형식 변환 (YYYYMMDD -> YY/MM/DD) 파싱 (Parsing) 데이터를 정..
Data Analysis/info 2021. 11. 1. 20:53