天天基金数据的Python爬虫

简介: 天天基金数据的Python爬虫

春节前,各大基金都创下了历史新高,基民们群情激愤,奋力冲向基金市场,一时间,基金成了最热的话题,貌似热搜都上过好几次。无奈,春节后,基金又遭遇了杀估值的暴跌,起起伏伏,上上下下,基民只哭的稀里哗啦。

其实,波动资本市场的最爱,没有波动就没有利润(亏损),基金投资是一门很深的学问。今天,我爬取了天天基金网所有开放基金的全部数据送给大家,读者大人们有时间可以通过python或者excel分析分析数据,让自己精进,成为高手,早日实现财富自由。

天天基金爬取的界面为:

这里面7495只开放基金,如图:

下面我们就用Python爬虫来实现对这7495只基金的爬取。具体代码如下:


from selenium import webdriverimport timeimport pandas as pd
#启动chrome浏览器driver=webdriver.Chrome()driver.start_client()driver.get('http://fund.eastmoney.com/data/fundranking.html#tall;c0;r;s6yzf;pn10000;ddesc;qsd20200313;qed20210313;qdii;zq;gg;gzbd;gzfs;bbzt;sfbb')#通过等待时间来控制页面加载time.sleep(1)#通过find_elements_by_css_selector方法找到相关表格wtb=driver.find_elements_by_css_selector('#dbtable > tbody >tr')#定义一个列表whole_text=[]for tb in wtb:    tt=tb.text.replace('\n',' ')    kk=tt.split()    whole_text.append(kk)#加上列标题col=['序号','基金代码','基金简称','日期','单位净值','累计净值','日增长率','近1周','近1月','近3月','近6月','近1年','近2年','近3年','今年来','成立来','自定义','手续费']df=pd.DataFrame(whole_text)df.columns=coldf.to_excel('所有开放基金.xls',index=False)

爬取最终结果如下:

COPY下代码用python跑一下吧😄

没有安装python的小伙伴,如果想获得数据,可以后台回复基金,即可获得相应excel数据链接,期待你财富自由的一天。好了,本期到这里,下期再见!(BTW:如果有人想问我为何没用requests爬取,因为爬不到!

相关文章
|
6天前
|
数据采集 存储 XML
Python爬虫定义入门知识
Python爬虫是用于自动化抓取互联网数据的程序。其基本概念包括爬虫、请求、响应和解析。常用库有Requests、BeautifulSoup、Scrapy和Selenium。工作流程包括发送请求、接收响应、解析数据和存储数据。注意事项包括遵守Robots协议、避免过度请求、处理异常和确保数据合法性。Python爬虫强大而灵活,但使用时需遵守法律法规。
|
7天前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
8天前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
15天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
59 6
|
9天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
|
9天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
18 1
|
14天前
|
数据采集 JSON 测试技术
Python爬虫神器requests库的使用
在现代编程中,网络请求是必不可少的部分。本文详细介绍 Python 的 requests 库,一个功能强大且易用的 HTTP 请求库。内容涵盖安装、基本功能(如发送 GET 和 POST 请求、设置请求头、处理响应)、高级功能(如会话管理和文件上传)以及实际应用场景。通过本文,你将全面掌握 requests 库的使用方法。🚀🌟
36 7
|
10天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
10天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
16天前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
36 6