[ 파이썬 ] 웹페이지 크롤링 방법

for x in categorys:
    print(x.text)

주피터 노트북에서 아래 작업을 해준다.

from bs4 import BeautifulSoup as bs
import requests as req

url = '원하는 url';
resp = req.get(url)

 

브라우저에 보이는 화면을 parseHtml로 가져온다.

soup 변수에 해당 값을 넣어준다.

categorys 변수에 내가 크롤링할 태그를 가져온다. >는 어떤 태그 안의 태그이다.

parseHtml=response.text
soup=bs(parseHtml, 'html.parser')
categorys = soup.select('#by_category > .list-unstyled > li > a')

출력을 해보면 내가 가져오려는 리스트가 나온다.

for x in categorys:
    print(x.text)