一、引言
最近Deepseek火遍大江南北，很多朋友都会用它制作一些小型程序商用，其中不乏有网络爬虫。以前对于中小企业来说，“写个爬虫”似乎是一件遥不可及的事情。
不过现在，随着人工智能技术的不断进步，低代码甚至零代码的数据采集解决方案已经不再是梦想。接下来就让我们一起探索如何借助AI助手DeepSeek自动生成爬虫代码，再结合亮数据强大的网页解锁和搜索引擎爬虫功能，轻松实现对某度新闻搜索结果的高效抓取。
二、使用DeepSeek爬取某度搜索结果
在开始前，我们先一起观察一下搜索页。当我们输入关键字进行搜索时，URL部分会负责传递搜索参数。比如说我们想搜索一个关键词。注意观察URL部分，显然word负责指定搜索关键字。
当我们翻页之后会发现多了一个参数，每次翻页会让pn值增加10。这样我们就搞清楚了URL的主要构成。
事实上其他参数也有各自的功能，这里我们用一个表格罗列其中的一部分。
最好的办法就是复制一个真实的URL，在里面挖空留出我们要设置的参数部分。之后使用这个URL让Deepseek生成爬虫程序。在Deepseek中输入如下提示词：
你是一个Python编程专家，要完成一个百度搜索页面爬取的Python脚本，具体任务如下：
1. 解析网页：https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word={
keyword}&x_bfe_rqs=03E80&x_bfe_tjscore=0.100000&tngroupname=organic_news&newVideo=12&goods_entry_switch=1&rsv_dl=news_b_pn&pn={
pagenumber}
其中{
keyword}的值由用户输入决定；{
pagenumber}的值从0开始，以10递增，到40结束。
2. 解析网页：定位其中所有class="result-op c-container xpath-log new-pmd"的div标签，定位div标签中class="news-title-font_1xS-F"的a标签，提取其href属性值作为网页下载URL，提取其aria-label属性值，作为网页文件名；定位div标签中class="c-font-normal c-color-text"的span标签，作为网页的内容摘要；
3. 网页下载URL、网页文件名、网页的内容摘要都写入到Excel文件中，Excel文件保存到与本程序相同的文件夹中，文件名为{
keyword}的值加excel文件后缀。
4. 注意：每一步都要输出信息到屏幕上；每爬取一个网址后，随机暂停3-5秒；每下载一个网页后，随机暂停3-6秒；为这个程序设置请求标头：
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:128.0) Gecko/20100101 Firefox/128.0
Accept: image/avif,image/webp,image/png,image/svg+xml,image/*;q=0.8,*/*;q=0.5
Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4,ru;q=0.2
Accept-Encoding: gzip, deflate, br, zstd
Connection: keep-alive
Sec-Fetch-Dest: image
Sec-Fetch-Mode: no-cors
Sec-Fetch-Site: same-origin
将提示词发送给Deepseek很快就可以得到结果，这样我们就初步完成了任务。
以下是Deepseek生成的代码：
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import random
import os
from fake_useragent import UserAgent
def get_user_agent():
return {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:128.0) Gecko/20100101 Firefox/128.0',
'Accept': 'image/avif,image/webp,image/png,image/svg+xml,image/*;q=0.8,*/*;q=0.5',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4,ru;q=0.2',
'Accept-Encoding': 'gzip, deflate, br, zstd',
'Connection': 'keep-alive',
'Sec-Fetch-Dest': 'image',
'Sec-Fetch-Mode': 'no-cors',
'Sec-Fetch-Site': 'same-origin'
}
def scrape_baidu_news(keyword):
print(f"开始爬取关键词: {keyword}")
# 准备存储数据的列表
data = []
# 从0开始，每次增加10，直到40
for pn in range(0, 41, 10):
print(f"正在处理第 {pn//10 + 1} 页...")
# 构造URL
url = f"https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word={keyword}&x_bfe_rqs=03E80&x_bfe_tjscore=0.100000&tngroupname=organic_news&newVideo=12&goods_entry_switch=1&rsv_dl=news_b_pn&pn={pn}"
print(f"构造的URL: {url}")
try:
# 发送请求
headers = get_user_agent()
response = requests.get(url, headers=headers)
response.raise_for_status()
print(f"成功获取第 {pn//10 + 1} 页内容")
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有结果项
results = soup.find_all('div', class_='result-op c-container xpath-log new-pmd')
print(f"在第 {pn//10 + 1} 页找到 {len(results)} 条结果")
for result in results:
# 提取标题和URL
title_tag = result.find('a', class_='news-title-font_1xS-F')
if title_tag:
url = title_tag.get('href', '')
title = title_tag.get('aria-label', '无标题')
# 提取摘要
abstract_tag = result.find('span', class_='c-font-normal c-color-text')
abstract = abstract_tag.get_text(strip=True) if abstract_tag else '无摘要'
# 添加到数据列表
data.append({
'URL': url,
'标题': title,
'摘要': abstract
})
print(f"提取到结果: {title}")
# 随机暂停3-6秒
sleep_time = random.uniform(3, 6)
print(f"等待 {sleep_time:.2f} 秒...")
time.sleep(sleep_time)
# 随机暂停3-5秒
sleep_time = random.uniform(3, 5)
print(f"页面处理完成，等待 {sleep_time:.2f} 秒...")
time.sleep(sleep_time)
except Exception as e:
print(f"处理第 {pn//10 + 1} 页时出错: {str(e)}")
continue
# 保存到Excel
if data:
df = pd.DataFrame(data)
excel_filename = f"{keyword}.xlsx"
df.to_excel(excel_filename, index=False)
print(f"数据已保存到 {excel_filename}")
# 获取文件完整路径
file_path = os.path.abspath(excel_filename)
print(f"文件保存路径: {file_path}")
else:
print("没有提取到任何数据，不创建Excel文件")
if __name__ == "__main__":
keyword = input("请输入要搜索的关键词: ")
scrape_baidu_news(keyword)
三、使用网页解锁器
然而事情并没有这么简单，我们多运行几次就会发现网页被百度拦截了。这是因为我们访问太频繁且行为模式非常单一，这时候我们就需要使用一些工具绕过拦截。亮数据自研的黑科技小工具，让我们轻松应对网站拦截
这次我们要使用的是网页解锁API。登录以后，在控制面板的代理&抓取基础设施中，选择网页解锁器进入选购页。
之后填写通道名称。在下方可以选择一些辅助工具，这里我们暂时保持默认。点击添加开始使用。
在详细信息中就可以拿到我们连接代理服务器的主机、端口号、用户名、密码，在右侧有相应的代码样例。注意在这里一定要将本机IP添加到白名单中以确保能正常连接服务器。
基于上面的配置，我们需要将获取页面的请求先提交给亮数据服务器，等待接收它返回的页面后再进行操作。所以我们要在爬虫程序中修改两个位置。首先要在最上方添加代理信息。
proxy = 'http://brd-customer-hl_a0a48734-zone-baidu:tt5c75qi712k@brd.superproxy.io:33335'
proxies = {
'http': proxy,
'https': proxy}
之后在scrape_baidu_news()函数中将发送请求的代码response = requests.get(url, headers=headers)替换为response = requests.get(url, headers=headers, proxies=proxies)即可接入亮数据网页解锁器。
四、零基础编程爬虫
什么，你说你一点编程都不会？那也没问题，只要使用亮数据搜索引擎爬虫即可体验零代码编程。搜索引擎爬虫（SERP）是亮数据针对各大搜索引擎推出的爬虫工具，它能够直接将搜索结果以json格式返回。
接下来让我们一起来配置一下。同样是登录后进入控制面板，在代理&抓取基础设施中选择搜索引擎爬虫SERP进入选购。
在选购页填写通道名称，下方暂时保持默认。点击添加即可开始使用。
我们可以像网页解锁器那样使用SERP，也可以在操作平台中进行零代码编程。进入操作平台，在下方即可开始定制搜索内容。我们可以切换搜索引擎，设置搜索区域、语言、内容类型、分页、设备等等参数来满足需求。输入搜索内容，点击搜索即可预览结果。在左侧是实际的搜索结果页，右侧则是相应的json文件内容。
在调整完毕后点击底部的生成API代码，即可生成相应的程序以爬取搜索结果，是不是很方便呢？
五、总结
通过上面的步骤，我们不仅了解如何使用DeepSeek轻松生成爬虫代码，实现了搜索结果的提取与保存。之后，我们引入亮数据的网页解锁器，有效解决了频繁访问引发的封禁问题，保障了爬虫运行的稳定性和连续性。
对于完全不具备编程基础的中小企业，亮数据提供的搜索引擎爬虫工具让“零代码爬虫”成为现实，只需简单配置即可获取结构化搜索结果。这不仅降低了爬虫技术的门槛，也为更多人打开了数据智能的大门。如果你也曾因编程门槛或反爬机制望而却步，不妨试试这套“AI+低代码”的组合方式，也许下一次的数据采集项目，你只需动动手指，就能轻松搞定。
