[Python] selenium을 이용한 웹 크롤링

안녕하세요! 오늘은 selenium을 이용한 간단한 웹 크롤링입니다.

 

 사전 준비 

 

- selenium 설치

   selenium이 설치가 안되신 분들은 pip install selenium 으로 먼저 설치합니다.

 

- chromedriver 설치

크롬 - 더보기 - 도움말 Chrome 정보에 가시면 자신의 Chrome 버전이 나와있습니다.

버전에 맞게 chromedriver를 설치합니다.

 

 

 크롤링 

 

- 원하는 페이지로 들어갑니다. 저는 아래의 기사를 이용하였습니다.

news.v.daum.net/v/20210329142236043

삼성 '갤럭시S21' 국내 판매 100만 대 돌파.. "가격 인하책 통했다"

 

- 가져올 내용을 아래와 같이 copy 합니다 (selector 사용)

<기사 본문 Copy>

 

- 해당 기사의 주소와 Copy selector를 넣어주면 기사 본문을 가져오게 됩니다.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome('chromedriver') 
driver.implicitly_wait(1)

driver.get("https://news.v.daum.net/v/20210329142236043") #기사 주소
driver.implicitly_wait(1)

elem = driver.find_element_by_css_selector("#harmonyContainer") # Copy한 selector

print(elem.text)