[SQL 레시피] BigQuery 환경세팅

BigQuery 환경세팅

책에서 제공하는 링크의 sql recipe 코드를 다운로드 받아서 빅쿼리에 테이블을 추가한다.

이 과정에서 sql 파일이 매우 많으므로, 파이썬 코드를 통해 한번에 추가할 수 있도록 변환시킨다.

# 빅쿼리 입력 스크립트 추출

import glob
import pandas as pd

pattern = 'C://Users/사용자/Desktop/기타/SQL스터디자료/SQL_Recipe_sample-code_20190607/*/*.sql'
files = glob.glob(pattern, recursive=True)

for f in files:
    if '3장' in f:
        try:
            sql_script = open(f).read().replace('\n',' ')
            sql_script = sql_script.replace('EXISTS ','EXISTS sqlrecipe.')
            sql_script = sql_script.replace('CREATE TABLE ','CREATE TABLE sqlrecipe.')
            sql_script = sql_script.replace('INSERT INTO ','INSERT INTO sqlrecipe.')
            sql_script = sql_script.replace('varchar','string')
            sql_script = sql_script.replace(' text ',' string ')
            print(sql_script)
            print("")
        except Exception as e:
            print("")
            continue
    else:
        continue

해당 코드를 통해 장 별로 데이터 추가를 할 수 있는 코드를 받을 수 있다.

 

💡

DDL, DML 입력 시 주의사항은 빅쿼리는 문자열은 string 코드를 사용한다는 점과

테이블 입력시 데이터베이스(sqlrecipe.)를 입력시켜줘야한다는 것이다.

빅쿼리 데이터 타입

 

Ref. https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#data_type_sizes

 

3장의 모든 데이터를 추가하면 다음과 같다.

 

Uploaded by Notion2Tistory v1.1.0