Data Analysis 검색 결과

해당 글 34건

[데이터 탐색] 1. 기본적 데이터 탐색

탐색적 데이터 분석 EDA (Exploratory Data Analysis) 1) Four R's - 저항성 (Resistance) : 오류점, 이상값이 데이터에 포함되에도 영향을 적게 받는 성질 - 잔차 해석 (Residual) : 관찰 값들이 주 경향으로부터 얼마나 벗어난 정도 - 자료 재표현 (Re-expression) : 로그 변환, 제곱근 변환, 역수 변환 등 분포의 대칭성, 선형성, 분산의 안정성을 위해 변환 - 현시성 (Grapic Representation) : 이해하기 쉽도록 시각적으로 표현 2) 개별 변수 탐색 방법 범주형 데이터 빈도수, 최빈값, 비율, 백분율 중심성, 변동성 막대형 그래프 (Bar plot) 수치형 데이터 평균, 분산, 표준 편차, 첨도, 왜도 중심성, 변동성, 정규..
Data Analysis/info 2021. 11. 1. 20:54

[데이터 전처리] 2. 데이터 결측값 처리

결측값 : 누락된 값 (NA, 999999, Null) 1) 결측값 종류 - 완전 무작위 결측 (MCAR : Missing completely At Random) - 무작위 결측 (MAR : Missing At Random) - 비 무작위 결측 (MNAR : Missing Not At Random) 2) 결측값 처리 절차 (1) 결측값 식별 : 다양한 형태로 존재하는 결측값 현황 파악 (2) 결측값 부호화 : NA / NaN / inf / NULL 등 컴퓨터가 처리 가능한 형태로 부호화 (3) 결측값 대체 : 자료형에 맞춰 대체 알고리즘을 통해 결측값 처리 3) 데이터 결측값 처리 밥법 (1) 단순 대치법 - 완전 분석법 : 불완전 자료를 모두 무시하는 방법 - 평균 대치법 : 비 조건부 평균 대치법 /..
Data Analysis/info 2021. 11. 1. 20:54

[데이터 전처리] 1. 데이터 정제

결측값을 채우거나 이상값을 제거하는 과정을 통해 데이터의 신뢰도를 높이는 작업 1) 데이터 오류 원인 분석 - 결측값, 노이즈, 이상값 처리 2) 데이터 정제 대상 선정 - 모든 데이터를 대상으로 정제 활동을 하는 것이 기본 - 데이터 품질 저하의 위협이 있는 데이터는 더 많은 정제 활동 - 내부 데이터보다 외부 데이터가, 정형 데이터보다는 비정형과 반정형 데이터가 데이터 품질 저하 위협에 많이 노출 3) 데이터 정제 방법 결정 - 삭제, 대체, 예측값 삽입 4) 데이터 정제 기술 기법 설명 사례 변환 (Transform) 다양한 형태로 표현된 값을 일관된 형태로 변환하는 작업 - 코드 변환 (남/여 -> M/F) - 형식 변환 (YYYYMMDD -> YY/MM/DD) 파싱 (Parsing) 데이터를 정..
Data Analysis/info 2021. 11. 1. 20:53