用ChatGPT写一个数据采集程序

简介: 既然ChatGPT可以理解并生成代码,那么自然而然,它的作用不仅仅是帮助学习代码,同样也可以直接用在实际的软件开发当中。

入门教程、案例源码、学习资料、读者群

请访问:python666.cn


大家好,欢迎来到 Crossin的编程教室 !


上次我们讨论了ChatGPT在辅助编程学习上的一些用法:


如何用ChatGPT学Python


既然ChatGPT可以理解并生成代码,那么自然而然,它的作用不仅仅是帮助学习代码,同样也可以直接用在实际的软件开发当中。


对于网页上的数据采集及处理是Python的常见应用场景之一。我们来看下ChatGPT是不是也能完成这样的任务。


假设我们现在需要抓取并整理某个网页上的表格数据:


https://python666.cn/static/score.html



我们直接来问问ChatGPT,能不能给个抓取的代码:



ChatGPT给了我们一份代码,但很遗憾,把这个代码复制到编辑器中运行后,生成的Excel是空的。


简单调试后发现,原来是因为页面上的表头元素用的是<th>标签



而ChatGPT因为没有获知具体的页面代码信息,直接当做<td>标签来处理,所以没采集到表头信息。



这种情况下,我们可以手动对代码做一些修改。


或者,我们点击回答下方的“Regenerate response”,让它重新回答一次试试:



这次ChatGPT给出的代码比之前简洁:


import pandas as pd
# 读取网页上的表格
url = 'https://python666.cn/static/score.html'
tables = pd.read_html(url)
# 假设目标表格是第一个表格
table = tables[0]
# 将表格保存为Excel文件
output_file = 'table.xlsx'
table.to_excel(output_file, index=False)
print(f"表格已保存为 {output_file}")


运行后,成功得到了我们要的结果:



顺利拿到数据后,我们再进一步,让ChatGPT来对数据进行排序。当然,在排序前,我们需要告诉它关于表格内容的必要信息:



代码:


import pandas as pd
# 读取网页上的表格
url = 'https://python666.cn/static/score.html'
tables = pd.read_html(url)
# 假设目标表格是第一个表格
table = tables[0]
# 将缺失值替换为0
table.fillna(0, inplace=True)
# 计算每个学生的均分
table['均分'] = table.mean(axis=1)
# 按均分降序排序
table.sort_values(by='均分', ascending=False, inplace=True)
# 将表格保存为Excel文件
output_file = 'sorted_table.xlsx'
table.to_excel(output_file, index=False)
print(f"按均分排序后的表格已保存为 {output_file}")


这次,ChatGPT完美实现了我们提出的需求:



可以看出,虽然ChatGPT很强大,但并不能保证每次生成的代码都是完美,仍然可能需要引导它修正或人工干预。


但即便如此,它也已经算得上一个十分得力的编程助手,可以大大提高开发效率。尤其像数据处理这种场景,以往开发时常常需要查找各种函数及其参数的使用方法。现在有了ChatGPT,只要准确描述数据格式及需求,就可以立刻得到相应的处理代码,非常的方便。


我现在做数据分析已经快离不开它了。

相关文章
|
7月前
|
数据采集 数据处理 开发者
Python爬虫技术在数据收集与分析中的应用
随着互联网信息的爆炸式增长,数据收集与分析变得愈发重要。本文将介绍Python爬虫技术在实际项目中的应用,探讨其在数据收集、清洗和分析过程中的作用,以及如何利用Python相关库提高爬虫效率。
|
6天前
|
Web App开发 数据采集 JavaScript
CDP与Selenium相结合——玩转网页端自动化数据采集/爬取程序
本文介绍了Selenium、Chrome DevTools及Chrome DevTools Protocol (CDP) 的基本功能与应用。Selenium是一款开源自动化测试工具,适用于网页端应用程序测试和数据采集,具备跨平台特性。Chrome DevTools内置浏览器中,提供调试、分析Web应用程序的功能,包括元素、控制台、源代码和网络选项卡等。CDP是一套用于与Chromium内核浏览器通信的API,支持自动化测试和性能分析。文中还展示了Selenium与CDP结合使用的示例,如捕获网络请求数据和打印网页内容,并推荐了相关书籍和资源以供深入学习。
80 39
CDP与Selenium相结合——玩转网页端自动化数据采集/爬取程序
|
2月前
|
自然语言处理 算法 数据挖掘
探讨如何利用Python中的NLP工具,从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理(NLP)在文本分析中的应用,从被动收集到主动分析的过程。通过Python代码示例,详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术,帮助读者理解如何有效利用NLP工具进行文本数据分析。
59 2
|
2月前
|
数据挖掘 数据库
ChatGPT在数据分析学习阶段的应用
ChatGPT在数据分析学习阶段的应用
50 6
|
2月前
|
数据挖掘
ChatGPT在常用的数据分析方法中的应用(对比分析)
ChatGPT在常用的数据分析方法中的应用(对比分析)
62 0
|
2月前
|
数据处理 Python
ChatGPT在综合数据处理中的应用(一)
ChatGPT在综合数据处理中的应用(一)
35 0
|
2月前
|
数据挖掘 数据处理
ChatGPT在综合数据处理中的应用(二)
ChatGPT在综合数据处理中的应用(二)
36 0
|
4月前
|
机器学习/深度学习 自然语言处理 算法
聊天机器人开发的最佳实践:技术探索与案例分析
【8月更文挑战第22天】聊天机器人作为人工智能领域的重要应用之一,正逐步改变着人们的生活和工作方式。通过遵循最佳实践和技术探索,开发者可以开发出更加智能、高效、安全的聊天机器人产品。未来,随着技术的不断进步和应用场景的不断拓展,聊天机器人将在更多领域发挥重要作用。
|
3月前
|
SQL 搜索推荐 测试技术
ChatGPT与测试分析
本产品需求文档(PRD)针对论坛网站的搜索功能优化,旨在提升搜索结果的准确性和速度,增强用户体验。文档涵盖项目背景、目标、功能需求(如搜索结果准确性、搜索速度优化、过滤和排序等)、非功能需求(如兼容性、性能、安全性等)、用户界面设计和技术架构等内容,并制定了详细的测试和上线计划,确保项目顺利实施。
37 0
|
4月前
|
自然语言处理 数据挖掘 BI
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决

热门文章

最新文章