让ChatGPT充当程序员,帮你无代码实现网络爬虫

简介: 让ChatGPT充当程序员,帮你无代码实现网络爬虫

💡大家好,我是可夫小子,关注AIGC、读书和自媒体。解锁更多ChatGPT、AI绘画玩法。

提示:本案例虽然不需要写代码,但需要有一定的软件开发基础,能够搭建环境,调整代码。我使用的是Pycharm IDE,Python版本为v3.8

获得代码

你现在是一名资深的软件工程师,请用Python写一个爬虫程序,要求爬取豆瓣电影Top250每一页的电影名和评分,保存到excel表格中。

加上角色定位的话,它就会考虑浏览器的请求头,否则就没办法正常运行。
复制出来,粘贴到Pycharm IDE,或者其他文本文件,重命名为douban_top250.py即可。
完整代码:
```text
import requests
import openpyxl
from bs4 import BeautifulSoup

设置请求头

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}

创建 Excel 表格

workbook = openpyxl.Workbook()
worksheet = workbook.active
worksheet.title = 'Top250'

爬取每一页的电影名和评分

for i in range(10):
url = f'https://movie.douban.com/top250?start={i * 25}&filter='
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.findall('div', class='hd')

for item in items:
    title = item.a.span.text
    rating = item.parent.find('span', class_='rating_num').text
    worksheet.append([title, rating])

保存表格

workbook.save('douban_top250.xlsx')

# 安装依赖包
```text
pip3 install openpyxl
pip3 install beautifulsoup4

运行

在IDE中,右键执行RUN

检查结果

运行完之后,就在douban_250.py文件的同级目录下,生成一个名为douban_top250.xlsx文件,打开就能看到爬取结果了。

总结

在整个过程,我没有写一行代码,我真心感叹:太强了。另外,还可以给出其他要求,增加类似导演、年代这样的字段。只要跑通了这个Demo,ChatGPT在软件开发上的想象空间巨大。

相关文章
|
2月前
|
Java 程序员
JAVA程序员的进阶之路:掌握URL与URLConnection,轻松玩转网络资源!
在Java编程中,网络资源的获取与处理至关重要。本文介绍了如何使用URL与URLConnection高效、准确地获取网络资源。首先,通过`java.net.URL`类定位网络资源;其次,利用`URLConnection`类实现资源的读取与写入。文章还提供了最佳实践,包括异常处理、连接池、超时设置和请求头与响应头的合理配置,帮助Java程序员提升技能,应对复杂网络编程场景。
70 9
用MASM32按Time Protocol(RFC868)协议编写网络对时程序中的一些有用的函数代码
用MASM32按Time Protocol(RFC868)协议编写网络对时程序中的一些有用的函数代码
|
3月前
|
机器学习/深度学习 网络架构 计算机视觉
目标检测笔记(一):不同模型的网络架构介绍和代码
这篇文章介绍了ShuffleNetV2网络架构及其代码实现,包括模型结构、代码细节和不同版本的模型。ShuffleNetV2是一个高效的卷积神经网络,适用于深度学习中的目标检测任务。
118 1
目标检测笔记(一):不同模型的网络架构介绍和代码
|
4月前
|
安全 C#
某网络硬盘网站被植入传播Trojan.DL.Inject.xz等的代码
某网络硬盘网站被植入传播Trojan.DL.Inject.xz等的代码
|
4月前
|
JavaScript 前端开发 Java
ChatGPT与代码扫描
ChatGPT与代码扫描,感觉英文回答比中文好
35 5
|
5月前
|
数据可视化 Java
使用ChatGPT实现可视化操作扫雷小游戏 【java代码实现】
这篇文章介绍了使用Java语言和Swing框架实现的扫雷小游戏的详细代码和实现过程。
使用ChatGPT实现可视化操作扫雷小游戏 【java代码实现】
|
5月前
|
安全 网络安全 开发者
探索Python中的装饰器:简化代码,增强功能网络安全与信息安全:从漏洞到防护
【8月更文挑战第30天】本文通过深入浅出的方式介绍了Python中装饰器的概念、用法和高级应用。我们将从基础的装饰器定义开始,逐步深入到如何利用装饰器来改进代码结构,最后探讨其在Web框架中的应用。适合有一定Python基础的开发者阅读,旨在帮助读者更好地理解并运用装饰器来优化他们的代码。
|
4月前
|
调度
CPU调度器实现提示:针对特定体系结构代码【ChatGPT】
CPU调度器实现提示:针对特定体系结构代码【ChatGPT】
完成切换网络+修改网络连接图标提示的代码框架
完成切换网络+修改网络连接图标提示的代码框架
|
5月前
|
SQL 人工智能 搜索推荐
如何有效利用ChatGPT写代码?
如何有效利用ChatGPT写代码?

热门文章

最新文章