HTML和CSS与Python爬虫的关系非常紧密，因为它们是构成网页内容和布局的两大核心技术。了解HTML和CSS对于编写有效的爬虫至关重要。
HTML与CSS的基础知识：
HTML（HyperText Markup Language）是网页内容的标准标记语言。它由一系列元素组成，这些元素可以是文本、图片、链接等。每个HTML元素都有开始标签和结束标签（除了自闭合标签），并可以包含属性，如
class、id等。CSS（Cascading Style Sheets）用于描述HTML元素的显示方式。CSS既可以直接写在HTML文件的
<style>标签内，也可以通过外部引用。CSS选择器允许你根据元素的类、ID、属性等来定位和修改样式。
爬虫中HTML和CSS的作用：
- 定位数据：通过分析HTML结构和CSS选择器，可以定位到需要爬取的数据。
- 解析内容：HTML提供了数据的结构，而CSS则提供了数据的样式。爬虫通常只关注HTML结构。
- 模拟浏览器行为：了解CSS有助于模拟浏览器渲染过程，尤其是在处理动态加载的内容时。
爬虫如何处理CSS：
在Python爬虫中，处理CSS通常涉及到解析HTML文档并提取出CSS选择器，然后使用这些选择器来定位和提取数据。这可以通过BeautifulSoup、lxml或Scrapy等库来实现。
示例代码：
以下是一个使用BeautifulSoup处理CSS选择器的示例：
from bs4 import BeautifulSoup
import requests
# 请求网页
response = requests.get('http://example.com')
html_content = response.text
# 解析HTML
soup = BeautifulSoup(html_content, 'html.parser')
# 使用CSS选择器定位元素
# 假设我们要提取所有带有class 'article'的div中的文本
articles = soup.select('.article')
for article in articles:
print(article.get_text(strip=True))
在这个示例中，soup.select('.article')使用CSS选择器.article来找到所有具有该类的div元素。get_text(strip=True)方法用于提取元素内的文本内容，并去除多余的空白字符。
处理动态加载的CSS：
对于使用JavaScript动态加载的内容，单纯的HTML解析可能不足以获取所有数据。在这种情况下，你可能需要使用像Selenium或Pyppeteer这样的工具来模拟浏览器行为，等待JavaScript执行并加载内容。
示例使用Selenium：
from selenium import webdriver
# 设置Selenium使用的浏览器驱动
driver = webdriver.Chrome('/path/to/chromedriver')
# 打开网页
driver.get('http://example.com')
# 等待页面加载完成（可能需要一些时间）
# ...
# 使用CSS选择器定位元素
articles = driver.find_elements_by_css_selector('.article')
for article in articles:
print(article.text)
# 关闭浏览器
driver.quit()
在这个示例中，driver.find_elements_by_css_selector使用CSS选择器来定位页面中的元素。这种方法可以处理那些需要JavaScript渲染后才可见的内容。
Traceback (most recent call last):
File "C:\Program Files\Python37\lib\site-packages\selenium\webdriver\common\driver_finder.py", line 38, in get_path
path = SeleniumManager().driver_location(options) if path is None else path
File "C:\Program Files\Python37\lib\site-packages\selenium\webdriver\common\selenium_manager.py", line 71, in driver_location
browser = options.capabilities["browserName"]
AttributeError: 'str' object has no attribute 'capabilities'
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "D:/st_dev/ugot1213/test/04selenium.py", line 4, in <module>
driver = webdriver.Chrome('/path/to/chromedriver')
File "C:\Program Files\Python37\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 50, in __init__
keep_alive,
File "C:\Program Files\Python37\lib\site-packages\selenium\webdriver\chromium\webdriver.py", line 51, in __init__
self.service.path = DriverFinder.get_path(self.service, options)
File "C:\Program Files\Python37\lib\site-packages\selenium\webdriver\common\driver_finder.py", line 40, in get_path
msg = f"Unable to obtain driver for {options.capabilities['browserName']} using Selenium Manager."
AttributeError: 'str' object has no attribute 'capabilities'
Process finished with exit code 1
