AI 助理
备案控制台
开发者社区 彭世瑜的博客 文章 正文

使用Pandas的read_html方法读取网页Table表格数据

2022-09-09 388
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 使用Pandas的read_html方法读取网页Table表格数据

image.png

完整代码


# -*- coding: utf-8 -*-
import pandas as pd
# 数据出现省略号
pd.set_option('display.width', None)
url = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml'
# 可能有多个表格，我们取第一个
df = pd.read_html(url)[0]
# print(data)
# 保存数据
df.to_csv('./data.csv', encoding='utf-8')

打开读取的数据结果，效果还是非常不错的

image.png


更多的用法可以研究下文档


文章标签：
Python
关键词：
Pandas方法
HTML方法
HTML网页
Pandas网页
HTML数据
码农技术君
目录
相关文章
奔跑的数据
|
10月前
|
存储 数据采集 JSON
你知道吗？html_table可以提取的不止是表格
`html_table` 是一种强大的工具，不仅用于HTML表格解析，还在现代爬虫技术中发挥重要作用。它可以提取、整合、分析和传输多种类型的关键数据。本文从四个方面探讨其功能：关键数据提取（如财经网站的股票信息）、零散信息整合（如电商网站的产品详情）、数据对比分析（如手机性能参数对比）和数据存储与传输（如转换为CSV/JSON格式）。通过Python代码示例，展示了如何利用代理IP、多线程和自定义请求头提高爬虫效率，实现对复杂网页数据的全面抓取和利用。
奔跑的数据
348 12
你知道吗？html_table可以提取的不止是表格
34789737
|
6月前
|
缓存 JavaScript 前端开发
Vue 项目中动态添加 HTML 元素的方法与实践
本文探讨了 Vue 中动态添加 HTML 元素的多种技术方案，包括条件渲染（v-if/v-show）、动态组件（component :is）、手动挂载（$mount）及 Vuex 状态管理等方法。通过实例分析，如动态表单生成器与全局模态框服务，展示了这些方案在实际开发中的应用。同时提供了性能优化建议和注意事项，帮助开发者根据需求选择最佳方式，在保持 Vue 响应式特性的同时实现灵活交互。附带代码示例，便于理解和实践。
34789737
186 2
xcsharp2020
|
8月前
|
移动开发 前端开发 JavaScript
HTML5实现好看的劳动节网页源码
HTML5实现好看的劳动节网页源码，劳动节网页，劳动节网页源码，内置十个页面，各种模板都有，可以根据这些页面扩展更多页面，网页由网站首页、劳动节介绍、劳动节由来、劳动节习俗、劳动节文化、劳动节活动、劳动节故事、劳动节民谣、联系我们、登录/注册等页面组成，兼容手机端，页面干净整洁，内容丰富，可以扩展自己想要的，注释完整，代码规范，各种风格都有，代码上手简单，代码独立，可以直接运行使用。也可直接预览效果。
xcsharp2020
288 4
xcsharp2020
|
8月前
|
移动开发 HTML5
HTML5实现好看的中秋节网页源码
HTML5实现好看的中秋节网页源码，中秋节网页，中秋节网页源码，节日网页大作业，作业源码，内置十个页面，各种模板都有，可以根据这些页面扩展更多页面，网页由网站首页、中秋节介绍、中秋节由来、中秋节习俗、中秋节文化、中秋节美食、中秋节故事、中秋节民谣、联系我们、登录/注册等页面组成，兼容手机端，页面干净整洁，内容丰富，可以扩展自己想要的，注释完整，代码规范，各种风格都有，代码上手简单，代码独立，可以直接运行使用。也可直接预览效果。
xcsharp2020
428 0
HTML5实现好看的中秋节网页源码
xcsharp2020
|
9月前
|
移动开发 前端开发 JavaScript
HTML5实现好看的端午节网页源码
HTML5实现好看的端午节网页源码，包含十个页面：网站首页、端午节介绍、由来、习俗、文化、美食、故事、民谣、联系我们及登录/注册。页面设计简洁美观，内容丰富，兼容手机端，代码规范且注释完整，易于扩展和修改。提供完整的源码下载和视频演示，方便学习和使用。
xcsharp2020
291 3
心疼你的一切
|
9月前
|
存储 移动开发 JavaScript
网页 HTML 自动播放下一首音乐
在 HTML5 中实现自动播放下一首音乐，通过管理音乐列表、操作音频元素和监听事件完成。创建包含多个音乐链接的列表，使用 `<audio>` 元素加载音乐，监听 `ended` 事件，在当前音乐结束时自动播放下一首。示例代码展示了如何使用 JavaScript 实现这一功能，确保无缝切换音乐。
心疼你的一切
859 3
游客uqb2obj6pe7ry
|
10月前
|
存储 JavaScript 算法
（html在线预览cad图纸插件）网页CAD绘制条形码、二维码的教程
本文介绍了如何在mxcad中绘制条形码和二维码。对于条形码，首先根据应用场景选择合适的编码标准（如CODE39、EAN13等），通过编码规则将数据转换为二进制，并利用`McDbHatch`绘制条和空的组合，同时支持自定义实体及属性管理。 对于二维码，因其能存储更多信息且具备更强纠错能力，采用开源库QRCode.js进行编码处理，再通过`McDbHatch`绘制黑白矩阵，同样封装成自定义实体以便管理和扩展。文中还给出了完整的绘制流程与效果展示，包括创建二维码对象、设置参数、调用绘制方法以及最终的效果图。整个过程体现了灵活运用API与第三方库来实现复杂图形绘制的能力。
游客uqb2obj6pe7ry
417 8
疯狂的猿
|
11月前
HTML在线扫雷游戏网页源码
HTML在线扫雷游戏网页源码是一款基于HTML+CSS+JavaScript开发的在线扫雷小游戏单页源码，为用户提供了一个无需安装即可在浏览器中直接玩的扫雷游戏。该游戏的源码不仅包含了完整的游戏逻辑，还具备丰富的界面设计和用户交互功能，使得玩家能够轻松上手并享受扫雷带来的乐趣。
疯狂的猿
425 22
奔跑的数据
|
11月前
|
数据采集 前端开发 数据挖掘
利用 html_table 函数轻松获取网页中的表格数据
本文介绍了如何使用 R 语言中的 `html_table` 函数结合代理 IP 技术，轻松提取网页表格数据并规避反爬机制。通过设置代理和请求头，示例代码展示了如何从 58 同城采集租房信息并保存为 CSV 文件。该方法适用于需要频繁采集数据的场景，确保数据采集的高效和稳定性。
奔跑的数据
414 2
利用 html_table 函数轻松获取网页中的表格数据
凉凉心.
|
1月前
|
Java 数据处理 索引
（Pandas）Python做数据处理必选框架之一！（二）：附带案例分析；刨析DataFrame结构和其属性；学会访问具体元素；判断元素是否存在；元素求和、求标准值、方差、去重、删除、排序...
DataFrame结构 每一列都属于Series类型，不同列之间数据类型可以不一样，但同一列的值类型必须一致。 DataFrame拥有一个总的 idx记录列，该列记录了每一行的索引 在DataFrame中，若列之间的元素个数不匹配，且使用Series填充时，在DataFrame里空值会显示为NaN；当列之间元素个数不匹配，并且不使用Series填充，会报错。在指定了index 属性显示情况下，会按照index的位置进行排序，默认是 [0,1,2,3,...] 从0索引开始正序排序行。
凉凉心.
228 0

热门文章

最新文章

  • 1
    百度地图(HTML5新特性)-全面详解（学习总结---从入门到深化）（下）
  • 2
    MontageJS：构建现代 Web App 的 HTML5 框架
  • 3
    Html5 跨域通信
  • 4
    12款精美的免费 HTML 网站模板下载
  • 5
    HTML中的一些知识点
  • 6
    让 ie6 支持html5
  • 7
    html中的fieldset
  • 8
    Eclipse支持HTML&JS&ExtJS&jQuery代码智能提示
  • 9
    html实现离线缓存（工作原理+怎么使用+应用场景）
  • 10
    html5 touch事件实现触屏页面上下滑动(一)
  • 1
    Pandas数据合并：10种高效连接技巧与常见问题
    627
  • 2
    Pandas高级数据处理：数据仪表板制作
    214
  • 3
    Pandas高级数据处理：数据报告生成
    278
  • 4
    Pandas高级数据处理：交互式数据探索
    128
  • 5
    Pandas高级数据处理：数据可视化进阶
    212
  • 6
    pandas 读取xlsx文件复制文件
    273
  • 7
    Pandas高级数据处理：数据安全与隐私保护
    267
  • 8
    Pandas高级数据处理：数据加密与解密
    203
  • 9
    Pandas高级数据处理：数据压缩与解压
    219
  • 10
    利用Beautiful Soup和Pandas进行网页数据抓取与清洗处理实战
    329

    • 相关课程

    更多
  • Python 数据分析库 Pandas 快速入门
  • HTML 入门与实战
  • HTML基础入门学习
  • HTML5 新特性教程
  • 零基础学前端HTML+CSS

    • 相关电子书

    更多
  • 天猫HTML5互动技术实践
  • 中文：即学即用的Pandas入门与时间序列分析
  • 即学即用的Pandas入门与时间序列分析
    • 下一篇
    阿里云负载均衡收费标准：ALB、NLB和CLB价格，包括LCU费用、实例费和公网带宽价格