天天基金数据的Python爬虫

简介: 天天基金数据的Python爬虫

春节前,各大基金都创下了历史新高,基民们群情激愤,奋力冲向基金市场,一时间,基金成了最热的话题,貌似热搜都上过好几次。无奈,春节后,基金又遭遇了杀估值的暴跌,起起伏伏,上上下下,基民只哭的稀里哗啦。

其实,波动资本市场的最爱,没有波动就没有利润(亏损),基金投资是一门很深的学问。今天,我爬取了天天基金网所有开放基金的全部数据送给大家,读者大人们有时间可以通过python或者excel分析分析数据,让自己精进,成为高手,早日实现财富自由。

天天基金爬取的界面为:

这里面7495只开放基金,如图:

下面我们就用Python爬虫来实现对这7495只基金的爬取。具体代码如下:


from selenium import webdriverimport timeimport pandas as pd
#启动chrome浏览器driver=webdriver.Chrome()driver.start_client()driver.get('http://fund.eastmoney.com/data/fundranking.html#tall;c0;r;s6yzf;pn10000;ddesc;qsd20200313;qed20210313;qdii;zq;gg;gzbd;gzfs;bbzt;sfbb')#通过等待时间来控制页面加载time.sleep(1)#通过find_elements_by_css_selector方法找到相关表格wtb=driver.find_elements_by_css_selector('#dbtable > tbody >tr')#定义一个列表whole_text=[]for tb in wtb:    tt=tb.text.replace('\n',' ')    kk=tt.split()    whole_text.append(kk)#加上列标题col=['序号','基金代码','基金简称','日期','单位净值','累计净值','日增长率','近1周','近1月','近3月','近6月','近1年','近2年','近3年','今年来','成立来','自定义','手续费']df=pd.DataFrame(whole_text)df.columns=coldf.to_excel('所有开放基金.xls',index=False)

爬取最终结果如下:

COPY下代码用python跑一下吧😄

没有安装python的小伙伴,如果想获得数据,可以后台回复基金,即可获得相应excel数据链接,期待你财富自由的一天。好了,本期到这里,下期再见!(BTW:如果有人想问我为何没用requests爬取,因为爬不到!

相关文章
|
5天前
|
数据采集 JSON API
深入解析:使用 Python 爬虫获取淘宝店铺所有商品接口
本文介绍如何使用Python结合淘宝开放平台API获取指定店铺所有商品数据。首先需注册淘宝开放平台账号、创建应用并获取API密钥,申请接口权限。接着,通过构建请求、生成签名、调用接口(如`taobao.items.search`和`taobao.item.get`)及处理响应,实现数据抓取。代码示例展示了分页处理和错误处理方法,并强调了调用频率限制、数据安全等注意事项。此技能对开发者和数据分析师极具价值。
|
21天前
|
数据采集 JSON 测试技术
如何在Python中高效实现CSV到JSON的数据转换
在实际项目中,数据格式转换是常见问题,尤其从CSV到JSON的转换。本文深入探讨了多种转换方法,涵盖Python基础实现、数据预处理、错误处理、性能优化及调试验证技巧。通过分块处理、并行处理等手段提升大文件转换效率,并介绍如何封装为命令行工具或Web API,实现自动化批量处理。关键点包括基础实现、数据清洗、异常捕获、性能优化和单元测试,确保转换流程稳定高效。
139 83
|
9天前
|
JSON API 数据格式
Python 请求微店商品详情数据 API 接口
微店开放平台允许开发者通过API获取商品详情数据。使用Python请求微店商品详情API的主要步骤包括:1. 注册并申请API权限,获得app_key和app_secret;2. 确定API接口地址与请求参数,如商品ID;3. 生成签名确保请求安全合法;4. 使用requests库发送HTTP请求获取数据;5. 处理返回的JSON格式响应数据。开发时需严格遵循微店API文档要求。
|
5天前
|
数据采集 XML 存储
Python爬虫实战:一键采集电商数据,掌握市场动态!
这个爬虫还挺实用,不光能爬电商数据,改改解析规则,啥数据都能爬。写爬虫最重要的是要有耐心,遇到问题别着急,慢慢调试就成。代码写好了,运行起来那叫一个爽,分分钟几千条数据到手。
|
4天前
|
数据采集 Web App开发 API
B站高清视频爬取:Python爬虫技术详解
B站高清视频爬取:Python爬虫技术详解
|
8天前
|
JSON 监控 API
python语言采集淘宝商品详情数据,json数据示例返回
通过淘宝开放平台的API接口,开发者可以轻松获取商品详情数据,并利用这些数据进行商品分析、价格监控、库存管理等操作。本文提供的示例代码和JSON数据解析方法,可以帮助您快速上手淘宝商品数据的采集与处理。
|
22天前
|
算法 Serverless 数据处理
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
47 12
|
14天前
|
数据采集 供应链 API
实战指南:通过1688开放平台API获取商品详情数据(附Python代码及避坑指南)
1688作为国内最大的B2B供应链平台,其API为企业提供合法合规的JSON数据源,直接获取批发价、SKU库存等核心数据。相比爬虫方案,官方API避免了反爬严格、数据缺失和法律风险等问题。企业接入1688商品API需完成资质认证、创建应用、签名机制解析及调用接口四步。应用场景包括智能采购系统、供应商评估模型和跨境选品分析。提供高频问题解决方案及安全合规实践,确保数据安全与合法使用。立即访问1688开放平台,解锁B2B数据宝藏!
|
21天前
|
数据采集 存储 前端开发
用Python抓取亚马逊动态加载数据,一文读懂
用Python抓取亚马逊动态加载数据,一文读懂
|
22天前
|
数据采集 存储 数据挖掘
深入剖析 Python 爬虫:淘宝商品详情数据抓取
深入剖析 Python 爬虫:淘宝商品详情数据抓取