Skills/Python 검색 결과

해당 글 26건

[Python] Youtube API 크롤링

API를 활용한 유튜브 크롤링¶ 참고 블로그 : https://blog.naver.com/PostView.naver?blogId=leenk1006&logNo=222454926151&parentCategoryNo=&categoryNo=27&viewDate=&isShowPopularPosts=true&from=search 참고 문서 : https://developers.google.com/youtube/v3/docs/comments/list API 키 발급 : https://console.cloud.google.com/apis/credentials 시험삼아 즐겨보는 유튜버 '런업'님의 채널의 동영상에 대한 데이터를 불러모아보았다. In [1]: # 필요한 패키지 설치 # !pip install --upgra..
Skills/Python 2021. 11. 9. 23:48

[Python] selenium 패키지를 활용한 크롤링

셀레니엄 패키지 (Selenium Package) 웹 어플리케이션 테스트를 위한 프레임워크이다. 다양한 브라우저 작동을 지원하며 크롤링에도 활용가능하다. 정적, 동적페이지 크롤링으로도 접근이 불가능한 데이터에 접근할 때 유용하다. 현존하는 거의 모든 웹브라우저를 다양한 언어를 통해 제어 가능하다. # 셀레니움 설치 !pip3 install selenium # 맥 !pip install selenium # 윈도우 크롬 드라이버 (Chrome Driver) 크롬 버전을 확인하고, (chrome://settings/help) 크롬 드라이버를 설치한다. https://chromedriver.chromium.org/downloads 3. 다운로드된 크롬 드라이버를 작업폴더에 넣는다. 셀레니움으로 크롤링하기 먼저,..
Skills/Python 2021. 11. 8. 17:00

[Python] API를 통해 크롤링하기

개발자도구를 통해 html을 직접 끌어와 자료를 추출하는 방법말고, 자료를 공공으로 개방하여 다양한 활용을 할 수 있도록 제공하기도 한다. 이 때는 API를 이용해 key를 받아 사용하면 된다. 1. 파파고 네이버 개발자 센터에서 API를 받아 파파고번역 시스템을 불러올 수도 있다. https://developers.naver.com/main/ NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com https://developers.naver.com/docs/papago/papago-nmt..
Skills/Python 2021. 11. 8. 16:59

[Python] 크롤링이 잘되었는지 확인하는 법 & 차단 방지하는 법

크롤링이 잘되었는지 확인하는 법 크롤링이 잘되었는지 안되었는지 확인하지 않으면, 어디서 무엇이 잘못되었는지 모를 수 있다. 이 때, requests의 정보를 활용하면 된다. 1. ok 사인이 나는 코드는 200번이다. requests.codes.ok 2. status_code를 통해 현재 상태 정보를 알 수 있다. resp.status_code 100 요청 계속 200 성공을 정상적으로 요청을 하고 데이터를 내려 받았을 때 300 사이트 주소가 변경되었을때 400 유저가 요청을 잘못한경우 ex ) 404 error : 없는 페이지 에러 (not found), 요청방법이 다를때 500 서버 문제 차단 방지하는 법 크롤링을 할 때에도 너무 기계적으로 빠르게 모아오면 차단을 당해 실패하는 경우가 있다. tim..
Skills/Python 2021. 11. 8. 16:53

[Python] selenium 패키지 사용을 위한 chromedriver 설치 및 오류해결(Mac OS)

크롤링을 위한 Selenium 패키지를 사용하려면, chromedriver가 필요하다. https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 96, please download ChromeDriver 96.0.4664.18 If you are using Chrome version 95, please download ChromeDriver 95.0.4638.54 If you are using Chrome version 94, please download ChromeDriver 94.0.4606.61 For o ..
Skills/Python 2021. 11. 8. 16:27

[Python] 웹 페이지 크롤링 기초

웹 페이지를 크롤링하면 다양한 정보를 활용해 분석을 수행할 수 있다. 웹 페이지를 크롤링하는 방법에는 여러가지가 있으며, 주로 크롬의 개발자도구를 활용한다. 1. 정적 페이지 크롤링 import requests # 크롤링에 사용하는 패키지 from bs4 import BeautifulSoup # html 변환에 사용 url = '원하는 주소' # 원하는 url 주소 입력 resp = requests.get(url) # requsts로 url에 정보요청 html = BeautifulSoup(resp.text, 'html.parser') # 정보를 html 변환 (보기 쉽게) html.select('태그.클래스 or 태그#id > 태그.클래스') # html 내에서 원하는 태그 선별 & 하위 선별 2. 동적..
Skills/Python 2021. 11. 8. 13:22

[Python] 시각화 패키지

1. matplotlib https://matplotlib.org/ Matplotlib: Python plotting — Matplotlib 3.4.3 documentation matplotlib.org 기초적인 패키지로 다양한 차트를 커스터마이징할 수 있다. 2. seaborn https://seaborn.pydata.org/examples/index.html Example gallery — seaborn 0.11.2 documentation seaborn.pydata.org matplotlib기반으로 만들어졌으며, 가장 자주쓰이는 패키지로 간단하게 보기 좋은 차트를 그릴 수 있다. 3. plotly https://plotly.com/python/ Plotly Python Graphing Library..
Skills/Python 2021. 11. 5. 11:02

[Python] 파이썬에서 sql데이터 불러오기

파이썬에서 sql구문을 사용하여 데이터를 불러와야할 때가 있다. sqlite3 패키지의 connect함수로 불러올 수 있다. import sqlite3 import pandas as pd sqlite 파일이 없으면 db파일에서 자동으로 생성해준다. connection = sqlite3.connect("e-commerce.sqlite") # connection = sqlite3.connect("e-commerce.db") -> 파일이 없으면 새로 만들게 됨. query를 미리 작성 후 read_sql을 통해 위에서 불러온 connection과 연결시켜주면 데이터가 로드된다. query = "SELECT * FROM 'orders'" order = pd.read_sql(query, connection, in..
Skills/Python 2021. 11. 4. 15:20

[Python] 결측치 다루기 (기초)

결측치를 다루는 방법은 다양하다. 평균 대치법에도 여러가지 종류가 있고, 생각보다 복잡한 방법들(다른 변수들과의 관계를 고려하는 것 등)이 있다. 하지만 그 중에서도 가장 기초가 되는 평균값 대치, 앞뒤값 배치, 제거 를 알아보자. 1. 평균값 대치 df['income'].fillna(df['income'].mean(), inplace=True) 2. 앞 뒷값으로 배치 fillna의 method = 'bfill', 'ffill' 를 이용한다. df['income'].fillna(method='bfill') # 인덱스 뒤에 있는 데이터로 채우기 (behind) df['income'].fillna(method='ffill') # 인덱스 앞에 있는 데이터로 채우기 (front) 보통은 아래 코드를 사용한다. ..
Skills/Python 2021. 11. 4. 15:15

[Python] loc보다 빠른 탐색이 가능한 at

데이터프레임에서 시리즈를 추출할 때 for문과 같은 반복문에서는 속도가 생명이다. loc보다 더 빠르게 탐색할 수 있는 at이 있다. [Series 탐색 방법] 1. 가장 느린 [][] df['name'][index] 2. 좀 더 빠른 loc df.loc[index, 'name'] 3. 가장 빠른 at df.at[index, 'name'] Reference : - https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.at.html#pandas.Series.at
Skills/Python 2021. 11. 4. 15:04