开发者社区> 辣条!> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

朋友股票亏惨了,我一怒用Python爬取了证券最新数据

简介: 朋友股票亏惨了,我一怒用Python爬取了证券最新数据
+关注继续查看

大家好,我是辣条。

抓取目标:

url:http://webapi.cninfo.com.cn/#/marketDataDate
数据目标: 获取 证券代码 证券简称 交易日期 开盘价 最高价 最低价 收盘价 成交数量
难点: 请求头参数mcode 加密生成
使用第三方库:

  1. requests
  2. execjs
  3. js2py
  4. math
  5. time
  6. pandas

工具:

  1. 谷歌浏览器
  2. pycharm
  3. python3.7

页面分析:
进入页面,鼠标右击,选择检查 -> 弹出浏览器开发者工具 -> Netword -> 选择xhr -> 刷新页面

找到接口,观察接口数据情况:

此接口为post请求,需要提交两个表单参数。

代码片段:

url = 'http://webapi.cninfo.com.cn/api/sysapi/p_sysapi1015'
data = {

'tdate': datetime,
'scode': '399001'

}
headers = {

'mcode': 'MTYzNTEzOTkxMQ==',
'Referer': 'http://webapi.cninfo.com.cn/',
'Cookie': 'Hm_lvt_489bd07e99fbfc5f12cbb4145adb0a9b=1634795282; Hm_lpvt_489bd07e99fbfc5f12cbb4145adb0a9b=1634799860',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'

}
response = requests.post(url, headers=headers, data=data).json()
请求成功, 但是有时效性的问题,等过了几分钟后,就无权限访问了,仔细观察发现特殊参数mcode。

开始JS找加密参数生成位置: (注意需要重新刷新页面,不然会出现没有js情况)

问题来了,好几个js文件,怎么确定那个是我们需要的?

使用第二种搜索方式,根据url的请求地址搜索:

打上断点后 直接刷新页面 开始调试

var indexcode={

getResCode:function(){
    var time=Math.floor(new Date().getTime()/1000); return window.JSonToCSV.missjson(""+time);
}

}
继续调试,看看这个missjson是干啥的。

下面把这些js扣下来执行

完整代码
import requests
import execjs
import js2py
import math
import time
import pandas as pd


code_list = []


def MCODE():

jscode = '''
function missjson(input) {  
    var keyStr = "ABCDEFGHIJKLMNOP" + "QRSTUVWXYZabcdef" + "ghijklmnopqrstuv"   + "wxyz0123456789+/" + "=";  
    var output = "";  
    var chr1, chr2, chr3 = "";  
    var enc1, enc2, enc3, enc4 = "";  
    var i = 0;  
    do {  
        chr1 = input.charCodeAt(i++);  
        chr2 = input.charCodeAt(i++);  
        chr3 = input.charCodeAt(i++);  
        enc1 = chr1 >> 2;  
        enc2 = ((chr1 & 3) << 4) | (chr2 >> 4);  
        enc3 = ((chr2 & 15) << 2) | (chr3 >> 6);  
        enc4 = chr3 & 63;  
        if (isNaN(chr2)) {  
            enc3 = enc4 = 64;  
        } else if (isNaN(chr3)) {  
            enc4 = 64;  
        }  
        output = output + keyStr.charAt(enc1) + keyStr.charAt(enc2)  
                + keyStr.charAt(enc3) + keyStr.charAt(enc4);  
        chr1 = chr2 = chr3 = "";  
        enc1 = enc2 = enc3 = enc4 = "";  
    } while (i < input.length);  

    return output;  
} 

'''
time1 = js2py.eval_js('Math.floor(new Date().getTime()/1000)')
# py方式
a = math.floor(time.time() / 1000)
mcode = execjs.compile(jscode).call('missjson', '{a}'.format(a=time1))
return mcode



def PageRquest(datetime, mcode):

# 接口可以换
url = 'http://webapi.cninfo.com.cn/api/sysapi/p_sysapi1015'
data = {
    'tdate': datetime, # 获取数据时间
    'scode': '399001'  # 股票代码 以及交易所简称
}
headers = {
    'mcode': str(mcode),
    'Referer': 'http://webapi.cninfo.com.cn/',
    'Cookie': 'Hm_lvt_489bd07e99fbfc5f12cbb4145adb0a9b=1634795282; Hm_lpvt_489bd07e99fbfc5f12cbb4145adb0a9b=1634799860',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
response = requests.post(url, headers=headers, data=data).json()
code = response['records']
for i in code:
    code_list.append(i)



def main(date):

mcode = MCODE()
PageRquest(date, mcode)



if name == '__main__':

# main()
# 数据分析 pandas 自动化办公的
datetime = pd.period_range('2021/5/1', '2021/10/20', freq='B')
for date in datetime:
    main(date)
df = pd.DataFrame(code_list)
df.to_excel('code.xlsx')

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
python scrapy框架爬取haozu 数据
工作中需要数据,刚学习的python 还有 scarpy 如有大神指导,我必虚心学习。
1132 0
Python 爬取了马蜂窝的出行数据,告诉你这个夏天哪里最值得去!
正值火辣的暑假,朋友圈已经被大家的旅行足迹刷屏了,真的十分惊叹于那些把全国所有省基本走遍的朋友们。与此同时,也就萌生了写篇旅行相关的内容,本次数据来源于一个对于爬虫十分友好的旅行攻略类网站:蚂蜂窝。 一、获得城市编号 蚂蜂窝中的所有城市、景点以及其他的一些信息都有一个专属的5位数字编号,我们第一步要做的就是获取城市(直辖市+地级市)的编号,进行后续的进一步分析。
3965 0
Python实战案例分享:爬取当当网商品数据
目前,网络爬虫应用领域非常广,在搜索引擎、大数据分析、客户挖掘中均可以……
4327 0
python爬虫从入门到放弃(九)之 实例爬取上海高级人民法院网开庭公告数据
通过前面的文章已经学习了基本的爬虫知识,通过这个例子进行一下练习,毕竟前面文章的知识点只是一个 一个单独的散知识点,需要通过实际的例子进行融合 分析网站 其实爬虫最重要的是前面的分析网站,只有对要爬取的数据页面分析清楚,才能更方便后面爬取数据 目标站和目标数据目标地址:http://www.
1234 0
+关注
71
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载