结合AlphaGo算法和大数据的量化基本面分析法探讨

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

  

◆ ◆ 


本文是以郝伯特·西蒙的过程理性理论结合AlphaGo算法步骤探讨量化基本面分析法的分析方式,而不是讨论如何使用量化基本面分析法预测公司股价。

 

量化基本面分析法(Quantamental)将量化和基本面两种方法结合起来,是近几年随着市场电子化、大数据、自然语言处理技术快速发展产生的新的基本面分析法。现在已经是DT时代,发挥海量数据价值已成为可能。以下讨论都是假设已合法的收集相关数据包括交易、消费、关注度、GPS、卫星数据等等。

 

◆ ◆ 

一、基于大数据的量化基本面分析法的预测更准确吗?


一般来说,我们会将整个经济看作一个大的动态市场系统,其中又会分割为一些子市场系统,可以认为每一个子市场系统中参与方与相关变量彼此之间的联系要比其他子系统中变量的联系要更强些。所以每个子市场系统中的参与方以及变量独立于其他子系统相对均衡动态移动。短期均衡及每个子系统显著主导的行为往往是波动而不可预期的。但长期动态均衡往往是可预期的,虽然每个子系统中的变量一起动态移动,但保持了每个子系统间的相对均衡。从微观角度考虑的时候现象是变化的,而从宏观角度考虑时,现象是不变的。现在基于之前的数据假设,我们有了关于各个子市场系统方方面面的数据,自然可以更好地统计长期动态均衡中那些稳定的关系,从而得到更加可靠的基本面分析结果。


但与此同时,我们也能听到另一种声音。在《信号与噪声》[1]书中,作者认为在大数据时代信息量呈指数增长,需要验证的假设也正在以同样的速度增长。数据中那些有意义的因果关系组合少之又少,增长的速度也不及信息本身的增长速度快。大多数数据都只是噪声。人们很难从干扰他们的噪声中分辨出有用的信号。数据展示给我们的通常都是我们想要的结果,而且我们通常也默认这种皆大欢喜的结果。作者纳特•西尔弗还引用莎士比亚剧作中的话“人们照着自己的意思解释一切事物的原因,实际上却和这些事物本身的目的完全相反”。更大量信息能帮助我们更准确的预测吗?


当然我们知道,通过深度学习和大数据,一定能得到一个更优的模式识别效果。但前提是我们假设未来和历史特征向量是符合同一概率分布。未来当然不会和历史是同一概率分布,就像彼得·林奇说的“你无法从后视镜中看到未来。”哈耶克也说过“我们做出的预测有可能被否定,因为他们只具有经验的意义。”这里也不想用深度学习成果来证明大数据在预测方面的效用。


纳特•西尔弗在其书中接下来说:”信息只有在恰当的环境下才会成为知识,没有环境,我们就无法从噪声中区分信号,不断犯错,不断尝试,这或许是贝叶斯定理应用起来最容易的一个原则:进行大量的预测。”[1]”贝叶斯定理告诉我们,任何时候获得新信息,我们都应该更新自己的预测。简单地说就是,不断犯错,不断尝试。真正’拥有’大数据的公司,比如谷歌公司,并不会在建立模型的问题上花费太多时间。它每年会进行上千次实验,并在真正的客户身上检验它的想法。”[1]在谷歌等互联网公司都会有完善AB测试框架,以方便不同功能快速部署AB测试,通过客户使用效果反馈不断迭代完善功能。我们知道AB测试本质上是个分离式组间实验,不断获取客户反馈既新信息持续优化模型效果。同样我们可以认为基于大数据的量化基本面分析法,不只是用大数据补充之前基本面分析法所用数据不足,其也是通过量化和更及时的数据不断修正预测模型的过程。

 

◆ ◆ 

二、 基于过程理性的量化基本面分析法


接下来,将以郝伯特·西蒙的过程理性理论结合AlphaGo算法步骤探讨量化基本面分析法的步骤[2][3]:


1.设想可选方案集合,以及可能后果集合。

还是基本面分析法经常需要分析的那些问题,包括上下游、销量、成本、利润、财务比率等。设想不同预测值下的可选方案与可能后果。


2.评估可能后果集合的概率。

以上两步,过程理性和贝叶斯定理要求基本一致。都需要基于历史统计得到各可选方案的概率。这种预测被称作“初始观点”。”从理论上讲,我们希望将初始观点建立在过去的经验最好是社会经验的集合之上。”[1]


3.改进预测的数据,获得新数据,从而改进预测模型。

新信息和原有信息结合起来的理性过程也是应用了贝叶斯定理。同样,基于大数据的量化基本面分析法可以更及时的收集最新数据以及结果反馈来改进预测模型。


4.预测模型结果将会影响可选方案集合,以及可能后果集合,从而持续优化决策过程。

持续优化的预测模型,即是一个预期过程,可以进一步减少不确定性以及消剪了行动域即可选方案集合。这点本质上也是缓冲预测误差影响,和量化中动态对冲,不断调整风险敞口的方式是一致的。


5.从可能后果集合中,根据预期目标,选择满意的可能后果集合子集。并从可选方案集合中得到满意的可能后果集合子集对应的方案。


在AlphaGo中使用蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)结合估值网络(Value Network)来做可选方案集合选取。其决策时也可以认为是符合过程理性的。比方AlphaGo会走一步导致赢面更小,但赢的概率更大的棋。这太不优雅了,但修改对局势的期望,减少了搜索时的空间。


而投资人、分析师会基于之前的经验与直觉做这个决策。依托的是人类的长期记忆和人类个体和集体的学习能力。纳特•西尔弗也认为从噪声中区分信号既需要科学知识,也需要直觉,那是基于人类长期记忆的。郝伯特·西蒙对比过国际象棋世界冠军十年间不同的下法,认为这是这是全部职业强选手的集体经验而积累起来的知识的结果。专家和新手区分不仅仅是前者具有大量和多样的信息,而且是他的直觉经验使他能发现他所面对的形势中的熟悉模式,长期记忆中储存大量的棋子的共同模式,通过识别这些模式,从长期记忆中重新找到大量相关信息。


不论如何,这是一个过程决策,正如郝伯特·西蒙强调的“抉择不是由问题的客观特征所唯一确定的,而是取决于用来达到决策的启发式过程。”[2]

 

◆ ◆ 

三、结论


基于大数据的量化基本面分析不只是弥补了公司季报时间上空白,也不只是通过方方面面的数据提供更多特征得到更好的基本面分析预测结果。其本身也是一个符合过程理性的分析方式。介于其也是随着大数据的发展刚刚起步的新的分析方法,如何不断借鉴量化、基本面分析法、大数据、机器学习等各方面的成果还有待进一步探讨。就像黄霑歌词里写的“论武功 俗世中不知边和高 或者 绝招同途异路”。

原文发布时间为:2016-11-25

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

 

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
29天前
|
机器学习/深度学习 自然语言处理 算法
大数据选举预测:算票的不只是选票,还有算法
大数据选举预测:算票的不只是选票,还有算法
77 0
|
25天前
|
存储 SQL 分布式计算
终于!大数据分析不用再“又要快又要省钱”二选一了!Dataphin新功能太香了!
Dataphin推出查询加速新功能,支持用StarRocks等引擎直连MaxCompute或Hadoop查原始数据,无需同步、秒级响应。数据只存一份,省成本、提效率,权限统一管理,打破“又要快又要省”的不可能三角,助力企业实现分析自由。
137 49
|
19天前
|
运维 监控 JavaScript
基于 Node.js 图结构的局域网设备拓扑分析算法在局域网内监控软件中的应用研究
本文探讨图结构在局域网监控系统中的应用,通过Node.js实现设备拓扑建模、路径分析与故障定位,提升网络可视化、可追溯性与运维效率,结合模拟实验验证其高效性与准确性。
139 3
|
1月前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。
|
17天前
|
存储 边缘计算 算法
【太阳能学报EI复现】基于粒子群优化算法的风-水电联合优化运行分析(Matlab代码实现)
【太阳能学报EI复现】基于粒子群优化算法的风-水电联合优化运行分析(Matlab代码实现)
|
1月前
|
数据可视化 大数据 数据挖掘
基于python大数据的招聘数据可视化分析系统
本系统基于Python开发,整合多渠道招聘数据,利用数据分析与可视化技术,助力企业高效决策。核心功能包括数据采集、智能分析、可视化展示及权限管理,提升招聘效率与人才管理水平,推动人力资源管理数字化转型。
|
1月前
|
机器学习/深度学习 搜索推荐 算法
基于python大数据的口红商品分析与推荐系统
本研究基于Python大数据技术,构建口红商品分析与推荐系统,旨在解决口红市场产品同质化与消费者选择困难问题。通过分析颜色、质地、价格等多维度数据及用户行为,实现个性化推荐,提升购物体验与品牌营销效率,推动美妆行业数字化转型,具有重要现实意义与市场价值。
|
20天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
91 14
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
90 0
|
3月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
101 4

热门文章

最新文章