让ChatGPT充当程序员,帮你无代码实现网络爬虫

简介: 让ChatGPT充当程序员,帮你无代码实现网络爬虫

💡大家好,我是可夫小子,关注AIGC、读书和自媒体。解锁更多ChatGPT、AI绘画玩法。

提示:本案例虽然不需要写代码,但需要有一定的软件开发基础,能够搭建环境,调整代码。我使用的是Pycharm IDE,Python版本为v3.8

获得代码

你现在是一名资深的软件工程师,请用Python写一个爬虫程序,要求爬取豆瓣电影Top250每一页的电影名和评分,保存到excel表格中。

加上角色定位的话,它就会考虑浏览器的请求头,否则就没办法正常运行。
复制出来,粘贴到Pycharm IDE,或者其他文本文件,重命名为douban_top250.py即可。
完整代码:
```text
import requests
import openpyxl
from bs4 import BeautifulSoup

设置请求头

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}

创建 Excel 表格

workbook = openpyxl.Workbook()
worksheet = workbook.active
worksheet.title = 'Top250'

爬取每一页的电影名和评分

for i in range(10):
url = f'https://movie.douban.com/top250?start={i * 25}&filter='
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.findall('div', class='hd')

for item in items:
    title = item.a.span.text
    rating = item.parent.find('span', class_='rating_num').text
    worksheet.append([title, rating])

保存表格

workbook.save('douban_top250.xlsx')

# 安装依赖包
```text
pip3 install openpyxl
pip3 install beautifulsoup4

运行

在IDE中,右键执行RUN

检查结果

运行完之后,就在douban_250.py文件的同级目录下,生成一个名为douban_top250.xlsx文件,打开就能看到爬取结果了。

总结

在整个过程,我没有写一行代码,我真心感叹:太强了。另外,还可以给出其他要求,增加类似导演、年代这样的字段。只要跑通了这个Demo,ChatGPT在软件开发上的想象空间巨大。

相关文章
|
3月前
|
传感器 机器学习/深度学习 算法
【UASNs、AUV】无人机自主水下传感网络中遗传算法的路径规划问题研究(Matlab代码实现)
【UASNs、AUV】无人机自主水下传感网络中遗传算法的路径规划问题研究(Matlab代码实现)
103 0
|
3月前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
337 0
|
3月前
|
机器学习/深度学习 算法 物联网
【SCI】利用信念传播在超密集无线网络中进行分布式信道分配(Matlab代码实现)
【SCI】利用信念传播在超密集无线网络中进行分布式信道分配(Matlab代码实现)
123 0
|
2月前
|
数据采集 人工智能 程序员
PHP 程序员如何为 AI 浏览器(如 ChatGPT Atlas)优化网站
OpenAI推出ChatGPT Atlas,标志AI浏览器新方向。虽未颠覆现有格局,但为开发者带来新机遇。PHP建站者需关注AI爬虫抓取特性,优化技术结构(如SSR、Schema标记)、提升内容可读性与语义清晰度,并考虑未来agent调用能力。通过robots.txt授权、结构化数据、内容集群与性能优化,提升网站在AI搜索中的可见性与引用机会,提前布局AI驱动的流量新格局。
114 8
|
3月前
|
机器学习/深度学习 传感器 算法
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
【无人车路径跟踪】基于神经网络的数据驱动迭代学习控制(ILC)算法,用于具有未知模型和重复任务的非线性单输入单输出(SISO)离散时间系统的无人车的路径跟踪(Matlab代码实现)
205 2
|
2月前
|
机器学习/深度学习 数据采集 存储
概率神经网络的分类预测--基于PNN的变压器故障诊断(Matlab代码实现)
概率神经网络的分类预测--基于PNN的变压器故障诊断(Matlab代码实现)
273 0
|
2月前
|
机器学习/深度学习 人工智能 算法
【基于TTNRBO优化DBN回归预测】基于瞬态三角牛顿-拉夫逊优化算法(TTNRBO)优化深度信念网络(DBN)数据回归预测研究(Matlab代码实现)
【基于TTNRBO优化DBN回归预测】基于瞬态三角牛顿-拉夫逊优化算法(TTNRBO)优化深度信念网络(DBN)数据回归预测研究(Matlab代码实现)
120 0
|
3月前
|
机器学习/深度学习 并行计算 算法
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
|
3月前
|
机器学习/深度学习 缓存 算法
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
399 1

热门文章

最新文章