[Python 3.6] 파이썬 3.6 - 크롤링 수집기 만들기

[Python 3.6] 파이썬 3.6 - 크롤링 수집기 만들기

 

이번에 소개할 것은 파이썬 3.6 기반에서 크롤링 수집기 만드는 방법에 대해서 소개하려고 한다.

 

---

1. pip install하기

 

pip install beautifulsoup4

 

 

 

pip install requests

 

 

 

---

2. 소스코드 작성하기

 

다음의 소스코드는 get형태로 URL을 읽어들여서 읽어들이는 방법에 대해서 소개하겠다.

 

import requests
from bs4 import BeautifulSoup

response = requests.get('https://localhost')

html = response.text
soup = BeautifulSoup(html, 'html.parser')

for tag in soup.select('li[class=course]'):
    print(tag.text)

 

 

소스코드를 작성 다 하였다면, "Run" 메뉴를 클릭한 후 "Run Module F5"을 클릭한다.

 

 

---

 

---

4. 참고자료(Reference)

 

1. [Python] 크롤링 예제. Lv1 단순 HTML 크롤링 풀이, Last Modified 2017-07-21 15:14, Accessed by 2019-01-27, https://rednooby.tistory.com/102