Python爬取猪肉价格走势

简介: Python爬取猪肉价格走势

五一假期闲来无事,做了一个爬虫,试着将一年中猪肉价格爬取出来,看看一年中的猪肉价格。我们要爬取的网站是这个:

图表里的数据封存在json中,具体代码如下:


import pandas as pd import requestsimport jsonimport datetimeurl='https://zhujia.zhuwang.cc/api/chartData?areaId=-1&aa=1587823942071'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'}response = requests.get(url,headers=headers)json_text=response.json()#计算出所有的日期序列enddate=datetime.datetime.now()delta= datetime.timedelta(days=365)startdate=(enddate-delta)timeindex=pd.date_range(startdate.strftime('%Y-%m-%d'),enddate.strftime('%Y-%m-%d'))# print(timeindex)#将json中的元素换成字典形式并转换成DataFrame格式dic={}dic['pigprice']=json_text['pigprice']dic['pig_in']=json_text['pig_in']dic['pig_local']=json_text['pig_local']dic['maizeprice']=json_text['maizeprice']dic['pork']=json_text['pork']data=pd.DataFrame(dic)#生成符合条件的列data并保存到csv文件中。data['time']=timeindexdata.to_csv('生猪价格.csv',index=0)

这样我们就保存了一年中生猪价格、玉米、豆粕、时间序列等,生成的CSV文件如下:

CSV文件中就保存了一年的价格,明天我们用matplotlib将其画出来。

相关文章
|
6月前
|
数据采集 数据可视化 vr&ar
Python3实现基于ARIMA模型来预测茅台股票价格趋势
Python3实现基于ARIMA模型来预测茅台股票价格趋势
206 0
|
6月前
|
机器学习/深度学习 算法 算法框架/工具
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
|
18天前
|
存储 数据采集 数据库
用 Python 爬取淘宝商品价格信息时需要注意什么?
使用 Python 爬取淘宝商品价格信息时,需注意法律和道德规范,遵守法律法规和平台规定,避免非法用途。技术上,可选择 Selenium 和 Requests 库,处理反爬措施如 IP 限制、验证码识别和请求频率控制。解析页面数据时,确定数据位置并清洗格式。数据存储可选择 CSV、Excel、JSON 或数据库,定期更新并去重。还需进行错误处理和日志记录,确保爬虫稳定运行。
|
18天前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息?
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作,通过定位页面元素获取价格;方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例,但需注意反爬措施和法律法规。
|
3月前
|
数据可视化 数据挖掘 索引
【python】Python马铃薯批发市场交易价格数据分析可视化(源码+数据集)【独一无二】
【python】Python马铃薯批发市场交易价格数据分析可视化(源码+数据集)【独一无二】
|
5月前
|
机器学习/深度学习 数据采集 API
|
4月前
|
机器学习/深度学习 数据采集 数据挖掘
Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)
Python实现循环神经网络RNN-LSTM回归模型项目实战(股票价格预测)
195 0
|
6月前
|
机器学习/深度学习 数据采集 数据可视化
python用回归、arima、随机森林、GARCH模型分析国债期货波动性、收益率、价格预测
python用回归、arima、随机森林、GARCH模型分析国债期货波动性、收益率、价格预测
|
6月前
|
机器学习/深度学习 测试技术 TensorFlow
PYTHON用RNN神经网络LSTM优化EMD经验模态分解交易策略分析股票价格MACD
PYTHON用RNN神经网络LSTM优化EMD经验模态分解交易策略分析股票价格MACD
|
6月前
|
机器学习/深度学习 数据采集 算法
【Python机器学习专栏】使用机器学习预测股票价格
【4月更文挑战第30天】本文探讨了使用Python和机器学习预测股票价格的方法,包括数据收集(如开盘价、收盘价等)、预处理(缺失值填充、异常值处理、标准化)、特征选择(技术指标、基本面指标、市场情绪)和工程、模型选择(线性回归、SVM、神经网络等)、训练与调优。模型评估涉及准确率、召回率等指标,并强调实际应用中需考虑多种因素,未来研究可探索深度学习的应用及数据质量与安全。
642 0