Data Analysis 검색 결과

해당 글 34건

[SQL 레시피] 하나의 테이블에 대한 조작

7강. 하나의 테이블에 대한 조작 1. 그룹의 특징 잡기 집약 함수 COUNT, SUM, AVG, … GROUP BY 윈도우 함수 over(partition by column) select user_id , product_id , score -- 개별 리뷰 점수 , avg(score) over() AS avg_score -- 전체 평균 리뷰 점수 , avg(score) over(partition by user_id) AS user_avg_score -- 사용자의 평균 리뷰 점수 , score - avg(score) over(partition by user_id) AS user_avg_score_diff -- 개별 리뷰 점수와 사용자 평균 리뷰 점수의 차이 from sqlrecipe.review limit..
Data Analysis/SQL Recipe for Data Analysis 2023. 11. 13. 10:04

[SQL 레시피] 여러 개의 값에 대한 조작

6강. 여러 개의 값에 대한 조작 여러 값을 집약해서 하나의 값으로 만들거나, 다양한 값을 비교하는 경우 새로운 지표 정의 방문한 사용자 수 중에서 특정한 행동 (클릭 또는 구매 등)을 실행한 사용자의 비율 CTR (클릭 비율 : Click Through Rate) CVR (컨버전 비율 : Conversion Rate) 문자열 연결하기 - concat 여러 개의 값 비교하기 분기별 매출 증감 판정 - case when , sign(q2-q1) 연간 최대/최소 4분기 매출 찾기 - greatest(q1,q2,q3,q4) , least(q1,q2,q3,q4) (컬럼끼리 비교) 연간 평균 4분기 매출 계산하기 - coalesce , sign 활용 (NULL의 경우 coalesce로 0으로 만든 후 sign으로..
Data Analysis/SQL Recipe for Data Analysis 2023. 11. 13. 09:59

[SQL 레시피] 하나의 값 조작하기

데이터를 가공해야하는 이유 다룰 데이터가 데이터 분석 용도로 상정되지 않은 경우 연산할 때 비교 가능한 상태로 만들고 오류를 회피하기 위한 경우 (데이터 형식, NULL) 데이터 가공 코드 값 레이블로 변경하기 CASE 문 활용 URL에서 요소 추출하기 net.host 함수 사용 (bigquery) 정규표현식 활용 - regexp_extract 정규표현식(Regex)의 개념과 기초 문법 정규표현식의 개념과 패턴 사용법 총정리 · Wireframe RegExr: Learn, Build, & Test RegEx 배열 활용 - split select stamp , referrer , net.host(referrer) as referrer_host , url , regexp_extract(url, '//[^/]..
Data Analysis/SQL Recipe for Data Analysis 2023. 11. 13. 09:58

[SQL 레시피] 데이터의 종류

데이터의 종류 마케팅 담당자가 다루는 데이터 두 가지 업무 데이터 = 업무에 필요한 데이터 로그 데이터 = 업무에 직접적으로 필요하지는 않지만 분석을 위해 추출해야하는 데이터 1. 업무 데이터 서비스와 시스템을 운용하기 위한 목적으로 구축된 데이터베이스에 존재하는 데이터 업무 데이터 대부분은 갱신형 데이터, 새로운 데이터를 삽입하는 대신 기존의 데이터를 갱신함 1) 트랜잭션 데이터 구매 데이터, 리뷰 데이터, 게임 플레이 데이터처럼 서비스와 시스템을 통해 사용자의 행동을 기록한 데이터 날짜, 시각, 마스터 데이터의 회원ID, 상품ID, 수량, 가격 등이 포함 2) 마스터 데이터 카테고리 마스터, 상품 마스터처럼 서비스와 시스템이 정의하고 있는 데이터를 데이터의 정밀도가 높다. 데이터 처리 도중 문제가 발..
Data Analysis/SQL Recipe for Data Analysis 2023. 11. 7. 15:59

[SQL 레시피] BigQuery 환경세팅

BigQuery 환경세팅 책에서 제공하는 링크의 sql recipe 코드를 다운로드 받아서 빅쿼리에 테이블을 추가한다. 이 과정에서 sql 파일이 매우 많으므로, 파이썬 코드를 통해 한번에 추가할 수 있도록 변환시킨다. # 빅쿼리 입력 스크립트 추출 import glob import pandas as pd pattern = 'C://Users/사용자/Desktop/기타/SQL스터디자료/SQL_Recipe_sample-code_20190607/*/*.sql' files = glob.glob(pattern, recursive=True) for f in files: if '3장' in f: try: sql_script = open(f).read().replace('\n',' ') sql_script = sql..
Data Analysis/SQL Recipe for Data Analysis 2023. 11. 7. 09:42

[Recommender System] 5. 평가함수 (Accuracy, MAP, NDCG)

T아카데미에서 오픈된 토크ON세미나 강연 동영상을 보고 정리해보았다. 평가함수 평가함수는 추천시스템의 모델을 생성하고 해당 모델이 얼마나 잘 추천하고 있는지에 대해서 평가를 도와주는 함수이다. 도메인이나 목적에 따라서 다른 평가 함수를 도입해서 얼마나 잘 추천이 되는지 평가하는게 중요하다. 예를 들어, 영화평점의 경우에서는 두가지 형태로 평가를 할 수 있다. - 내가 추천해준 영화를 고객이 봤나? - 내가 추천해준 영화를 고객이 높은 점수로 평점을 줬나? 분명 위 2가지는 다르다. 1번의 경우 단순히 보기만하면 추천에 성공했다고 하지만, 실제 고객의 만족도는 낮을 수도 있다. 반대로 2의 경우는 고객의 만족도까지 고려해서 평가를 한 것이다. 이러한 성질은 추천을 진행할때에도 차이가 생긴다. 유투브를 클릭..
Data Analysis/Recommender System 2021. 11. 8. 20:17

[Recommender System] 4. 협업 필터링 (KNN, SGD, ALS)

T아카데미에서 오픈된 토크ON세미나 강연 동영상을 보고 정리해보았다. 협업필터링 사용자의 구매 패턴이나 평점을 가지고 다른 사람들의 구매 패턴, 평점을 통해서 추천을 하는 방법이다. 추가적인 사용자의 개인정보나 아이템의 정보가 없이도 추천할 수 있는게 큰 장점이다. Netflix Prize Competition(2006-2009) 우승 알고리즘 최근접 이웃기반 (Neighborhood based method - KNN) / 잠재 요인기반 (Lantent Factor Collaborative Filtering) [장점] 도메인 지식이 필요하지 않다. 사용자의 새로운 흥미를 발견하기 좋다. 시작단계의 모델로 선택하기 좋다. (추가적인 문맥정보들의 필요가 없다) baseline으로 적용하고, 후에 컨텐츠 기반..
Data Analysis/Recommender System 2021. 11. 8. 20:08

[Recommender System] 3. 컨텐츠 기반 모델 (Word2Vec(CBOW, Skip-gram)

T아카데미에서 오픈된 토크ON세미나 강연 동영상을 보고 정리해보았다. Word2Vec TF-IDF와 같은 통계기반의 방법의 세 가지 문제점을 해결하기 위해 제시된 모델 통계기반의 방법의 단점 대규모 말뭉치를 다룰 때 메모리상의 문제가 발생 : 높은 차원을 갖고, 매우 sparse한 형태의 데이터 한번에 학습 데이터 전체를 진행함 : 큰 작업을 처리하기 어렵고, GPU와 같은 병렬처리를 기대하기 힘들다. 학습을 통해서 개선하기가 어렵다. 추론기반의 방법 (Word2Vec) 추론 : 주변 단어(맥락)이 주어졌을 때 "?"에 무슨 단어(중심단어)가 들어가는지를 추측하는 작업 CBOW 모델 : 앞 뒤 단어로 가운데 단어를 유추할 수 있을지 ( you ? goodbye and I say hello. ) skip-..
Data Analysis/Recommender System 2021. 11. 7. 17:09

[Recommender System] 2. 컨텐츠 기반 모델 (유사도 함수, TF-IDF)

T아카데미에서 오픈된 토크ON세미나 강연 동영상을 보고 정리해보았다. 컨텐츠 기반 모델 사용자가 이전에 구매한 상품중에서 좋아하는 상품들과 유사한 상품들을 추천하는 방법 Items를 벡터 형태로 표현, 도메인에 따라 다른 방법이 적용된다. 벡터들간의 유사도를 계산하여 자신과 유사한 벡터를 추출한다. 유사도 함수 유클리디안 유사도 = 1 / (유클리디안 거리 + 0.000001) 유클리디안 거리 가장 가까운 거리가 묶인다. 장점 : 계산하기 쉽다. 단점 : p와 q의 분포나 스케일이 다른 경우 상관성을 놓친다. 코사인 유사도 (가장 많이 사용) 벡터의 방향도 고려한다. (쎄타 각도) 장점 : 벡터의 크기가 중요하지 않은 경우에 거리를 측정하기 위한 메트릭으로 사용 단점 : 벡터의 크기가 중요한 경우에 대해..
Data Analysis/Recommender System 2021. 11. 6. 14:05