Python 是一种非常流行的编程语言,也是开发网络爬虫和数据采集工具的首选语言。在 Python 中,有许多第三方库可以用于网络爬虫和数据采集,比如 requests、beautifulsoup4、selenium 等。
下面是一个简单的例子,使用 requests 库采集一个网页:
import requests # 发送 GET 请求 response = requests.get('https://www.example.com') # 输出响应内容 print(response.text)
使用 requests 库发送请求,获取响应后,可以通过 response.text 属性获取响应内容。
如果需要解析 HTML 页面,可以使用 beautifulsoup4 库:
from bs4 import BeautifulSoup import requests # 发送 GET 请求 response = requests.get('https://www.example.com') # 解析 HTML 页面 soup = BeautifulSoup(response.text, 'html.parser') # 获取标题标签内容 title = soup.title.string # 输出标题标签内容 print(title)
这里使用 BeautifulSoup 解析 HTML 页面,获取标题标签内容。