判断一个网站是否采取了反爬虫措施可以通过以下方法进行初步的分析：
- 观察请求响应：通过使用浏览器开发者工具或网络抓包工具，查看网站的请求和响应。观察响应头信息和返回的网页内容，寻找是否存在反爬虫相关的标识或提示，例如验证码、限制信息、特殊HTTP头等。
import requests
url = 'http://example.com'
response = requests.get(url)
headers = response.headers
content = response.text
# 观察响应头信息
print(headers)
# 观察返回的网页内容
print(content)
通过打印请求的响应头信息和网页内容，可以检查是否存在反爬虫的相关标识，如Set-Cookie中的验证码信息、X-Robots-Tag头部指令等。同时，还可以通过分析网页内容，查找是否存在反爬虫的提示信息，如提示用户进行人工验证的文本或图片。
- 分析请求频率限制：网站通常会对请求频率进行限制，以防止爬虫的滥用。可以尝试在短时间内发送大量请求，观察网站的响应情况。如果出现频繁的错误响应或请求被拒绝的情况，可能表明网站采取了反爬虫措施。
import requests
import time
url = 'http://example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
# 发送多个请求
for i in range(10):
response = requests.get(url, headers=headers)
print(response.status_code)
time.sleep(1) # 等待1秒
在上述代码中，通过循环发送多个请求，每个请求之间间隔1秒。如果在请求过程中，出现了大量的错误响应或请求被拒绝，可能是因为网站对请求频率进行了限制。
- 分析JavaScript动态加载：一些网站采用JavaScript动态加载内容，对于这种情况，可以观察网页源代码或使用无头浏览器（如Selenium）来模拟浏览器行为，并查看是否存在动态加载内容的迹象。
from selenium import webdriver
url = 'http://example.com'
# 使用无头浏览器加载网页
driver = webdriver.Chrome()
driver.get(url)
# 获取网页源代码
page_source = driver.page_source
print(page_source)
driver.quit()
通过使用无头浏览器，可以获取完整的网页源代码，包括通过JavaScript动态加载的内容。通过观察源代码，可以确定是否存在动态加载的元素或数据。
需要注意的是，以上的方法只是初步判断网站是否采取了反爬虫措施的方式，具体的判断结果可能受到多个因素的影响。如果需要更准确地判断网站是否采取了反爬虫措施，可能需要进行更深入的分析，如模拟用户行为、处理验证码、解析JavaScript等。同时，需要遵守网站的使用规则和法律法规，在合法和合理的范围内进行爬取。
