Python爬取猪肉价格走势

简介: Python爬取猪肉价格走势

五一假期闲来无事,做了一个爬虫,试着将一年中猪肉价格爬取出来,看看一年中的猪肉价格。我们要爬取的网站是这个:

图表里的数据封存在json中,具体代码如下:


import pandas as pd import requestsimport jsonimport datetimeurl='https://zhujia.zhuwang.cc/api/chartData?areaId=-1&aa=1587823942071'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'}response = requests.get(url,headers=headers)json_text=response.json()#计算出所有的日期序列enddate=datetime.datetime.now()delta= datetime.timedelta(days=365)startdate=(enddate-delta)timeindex=pd.date_range(startdate.strftime('%Y-%m-%d'),enddate.strftime('%Y-%m-%d'))# print(timeindex)#将json中的元素换成字典形式并转换成DataFrame格式dic={}dic['pigprice']=json_text['pigprice']dic['pig_in']=json_text['pig_in']dic['pig_local']=json_text['pig_local']dic['maizeprice']=json_text['maizeprice']dic['pork']=json_text['pork']data=pd.DataFrame(dic)#生成符合条件的列data并保存到csv文件中。data['time']=timeindexdata.to_csv('生猪价格.csv',index=0)

这样我们就保存了一年中生猪价格、玉米、豆粕、时间序列等,生成的CSV文件如下:

CSV文件中就保存了一年的价格,明天我们用matplotlib将其画出来。

相关文章
|
数据采集 数据可视化 vr&ar
Python3实现基于ARIMA模型来预测茅台股票价格趋势
Python3实现基于ARIMA模型来预测茅台股票价格趋势
807 0
|
2月前
|
数据采集 Web App开发 数据可视化
Python爬取闲鱼价格趋势并可视化分析
Python爬取闲鱼价格趋势并可视化分析
|
4月前
|
供应链 API 开发者
1688 商品数据接口终极指南:Python 开发者如何高效获取标题 / 价格 / 销量数据(附调试工具推荐)
1688商品列表API是阿里巴巴开放平台提供的服务,允许开发者通过API获取1688平台的商品信息(标题、价格、销量等)。适用于电商选品、比价工具、供应链管理等场景。使用时需构造请求URL,携带参数(如q、start_price、end_price等),发送HTTP请求并解析返回的JSON/XML数据。示例代码展示了如何用Python调用该API获取商品列表。
301 18
|
机器学习/深度学习 算法 算法框架/工具
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
|
7月前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
301 6
从零开始:用Python爬取网站的汽车品牌和价格数据
|
10月前
|
存储 数据采集 数据库
用 Python 爬取淘宝商品价格信息时需要注意什么?
使用 Python 爬取淘宝商品价格信息时,需注意法律和道德规范,遵守法律法规和平台规定,避免非法用途。技术上,可选择 Selenium 和 Requests 库,处理反爬措施如 IP 限制、验证码识别和请求频率控制。解析页面数据时,确定数据位置并清洗格式。数据存储可选择 CSV、Excel、JSON 或数据库,定期更新并去重。还需进行错误处理和日志记录,确保爬虫稳定运行。
|
10月前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息?
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作,通过定位页面元素获取价格;方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例,但需注意反爬措施和法律法规。
|
机器学习/深度学习 数据采集 API
|
机器学习/深度学习 数据采集 数据挖掘
Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)
Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)
|
机器学习/深度学习 数据采集 数据可视化
python用回归、arima、随机森林、GARCH模型分析国债期货波动性、收益率、价格预测
python用回归、arima、随机森林、GARCH模型分析国债期货波动性、收益率、价格预测

推荐镜像

更多