摩根大通机器学习与金融大数据指南——未来的华尔街大亨|大数据+机器学习+金融工程师

简介: 本文总结了J.P.摩根最新的280 页研究报告中的13亮点,极为详尽地梳理、预测了金融从业者未来都需要具备相关机器学习以及数据分析的能力,分析了金融行业的现状与未来,对于金融从业者以及想从事金融行业者具有重要的借鉴意义。

首发地址:https://yq.aliyun.com/articles/93512

更多深度文章,请关注:https://yq.aliyun.com/cloud

215ad55f60f503bec0ad56ab7c2b49538f252702

金融服务工作流行得快、过时得也快。2001年互联网公司的股权研究风靡一时;2006年,担保债务凭证CDOs有着偏爱;2010年,信贷交易商很受欢迎2014年,又轮到了合规专家;而2017年,这是关于机器学习和大数据的时代,如果你能涉足该领域那么你的未来将会有所保证

摩根(J.P.Morgan的定量投资和衍生策略团队发布了关于金融服务领域大数据和机器学习的最全面的报告报告称,大数据和人工智能AI战略是面向机器学习和另类数据投资方式机器学习将对未来市场运作至关重要分析师投资组合经理交易员和首席投资官都需要机器学习技术熟练掌握如果不这样做,那么就会被淘汰像季度收益GDP数据这样的传统数据源将变得越来越不相关这是因为使用更新的数据集和方法的管理人员能够提前预测,并在发布之前就完成交易。

由于280报告太长无法详细介绍,现总结一些突出的观点。

1. 银行将需要聘请优秀的数据科学家,同时这些科学家也了解市场运作

摩根警告银行和金融公司优先考虑基于市场知识的数据分析技能的方式,这样做是相当危险的,而了解数据和信号背后的经济学比开发复杂的技术解决方案更为重要

2. 机器在短期和中期内最有能力做出交易决定

摩根指出,人类已经被排除在高频交易之外。未来,机器在中期交易中也将越来越普遍:机器有能力快速分析新闻消息和推文处理收益报表、挖掘网站和瞬时交易,这将有助于削弱多基础分析师长短期股票管理者和宏观投资者需求。

3. 人类适合在长期做出交易决定(作者未编辑3)

   长期来看,人类保留的一个优势就是对制度的把握及人类反应的预测比机器做得更好,这些预测涉及解读诸如政治家和央行行长复杂的人类反应、了解客户定位或预期拥挤等。如果你想作为一个人类投资者生存下去,那需要打造出自身的优势

4. 需要一支大军来获取、筛选并评估数据

在实施机器学习策略之前,数据科学家和定量研究人员需要获取数据并对其分析以获得可交易信号和深刻见解。

数据分析很复杂今天的数据集通常比昨天的数据更大,这些数据集可能包括个人(社交媒体帖子产品评论搜索趋势等)业务流程(公司废气数据商业交易信用卡数据等)和传感器(卫星图像数据交通、轮船定位等)生成的数据数据很少呈现出干净的内容,无法直接提供给机器学习算法使用,因此需要专门的团队预处理数据后才能在交易策略中使用。另外还需要评估alpha内容(可以简单理解为超额回报)Alpha内容将部分依赖于数据的成本所需的处理量以及数据集的使用情况。

6d6cfc0f3cc0b4fb762eb9a2abcad1da02316a2c

5. 不同类型的机器学习针对不同的用途

机器学习有多种迭代算法,包括监督学习无监督学习以及增强学习

监督学习的目的是建立两个数据集之间的关系,使用一个数据集预测另一个数据集无监督学习目的是尝试了解数据的结构并确定其背后的主要驱动力学习的目的是使用多层神经网络来分析一个趋势,而增强学习则鼓励算法来探索和找到最有利可图的交易策略。简单来说,监督学习就是预先受到好的训练,比如买房政策——房价会涨,那么买买买就行;而无监督学习就是没有标准供你参考,你不知道房价会不会崩盘,需要去尝试,第一次买,房价跌了会有财产损失,第二次买,买对了,房价涨了,然后你就知道什么时候买、买什么样的房子会涨;深度学习就是综合目前的数据判断一个趋势,房价之后会涨还是跌,之后再做出选择;而增强学习就是尝试找到一个最合适的买房方式(以上纯属杜撰,买房有风险,入市需谨慎)。

1f8d94d680cc6cae1ef31a5fe74075c8695fdd41

6. 样本数据使用监督学习进行趋势预测

在财务背景下,摩根表示,监督学习算法根据提供的历史数据找出最佳预测关系。一般来讲,有监督学习算法有两:回归和分类

  • 基于回归的监督学习方法尝试基于输入变量来预测输出。
  • 分类方法逆向操作,并尝试确定一组分类属于哪个类别。

7. 无监督学习用于确定大量变量之间的关系

在无监督学习中,机器从大量变量中获得回归,并且不知道哪些是依赖和独立变量。概括来讲无监督学习方法被归为聚类或因子分析

  • 聚类基于一些相似性概念将数据集分成较小的组。
  • 因子分析旨在识别数据的主要驱动因素或确定数据的最佳表示。在资产投资组合中,因子分析将确定动力、价值等主要驱动因素。

8. 深度学习系统将承担让人难以定义但易于执行的任务

深度学习实际上是人为重建人类智慧的一种尝试。摩根表示,深度学习特别适用于非结构化大数据集的预处理(例如,可用于统计卫星图像中的汽车数、或在新闻稿中识别情绪)。深度学习模型可以使用假设的财务数据系列来估计市场调整的可能性

深度学习方法基于神经网络,这些神经网络类似于人类大脑的神经网络。在网络中,每个神经元接收来自其他神经元的输入,并且计算这些输入的加权平均值不同输入的相对权重取决于以往的经验,一层连接一层,网络层数越高,学习到的特征越抽象

595b0df099fb69a24f54797169f23ea73d191e56

9. 增强学习将用于选择连续的行动以最大化最终的奖励

增强学习的目标是选择一系列连续的行动以最大化最终(或累积)奖励,这与监督学习(通常一步过程)不同,增强学习模型并不清楚每个步骤的正确操作

摩根的电子交易部门已经增强学习开发了一些算法下图显示了银行机器学习模型(怀疑是故意模糊)。

d2e07861640f8b517db549ebfebb73c13c5c3bf7

10. 不需要成为机器学习专家,而需要成为一个优秀的金融工程师和出色的程序员

摩根表示,数据科学家所要求掌握的技能与定量研究员几乎相同。因此,有着计算机科学统计学数学金融工程计量经济学和自然科学背景的买方和卖方都能重新塑造自我。量化交易策略将是关键技能,这是由于量化研究者相比于IT专家而言更容易改变数据集的格式/大小,并采用更好的统计和机器学习工具。

另外不需要知道机器学习的详细细节,这是因为大多数机器学习方法已经被编程,你只需要应用现有的模型。作为新手,建议使用像Weka这样基于GUI的软件来查看小数据集Python也拥有Keras这样丰富的库,以及TensorflowTheano这样的开源机器学习库。

fdad0822b4296a15d36e44c5b37b4f2c98e9bc5d

11. 你所需要知道的编程语言和数据分析包

如果只计划学习与机器学习相关的一种编码语言,建议选择R语言以及对应数据C ++PythonJava也有对应的机器学习应用程序。

8220f3ec0633502c674129dc8f07a39342e4ea64

65704c453b6b931b003df8706c71883173813a00

4a1b734f65c9eaf9e5e1da83842256bb16c893d0

12. 流行的机器学习代码例子(Python语言)

78477232ba629ab4ae7b54301196159154e62dd9

887bb50d5e19674ab2fe0a8a5e82137773940d18

f448d08691a8e6bcea81687b3246621ae032d43a

13. 支撑函数也需要了解大数据

支撑函数也需要了解大数据。报告指出,多招聘人员和招聘经理无法区分人工智能和实际设计可交易策略的这种能力,合规团队还需要能够审查机器学习模型以确保数据被正确地匿名化金融领域的机器学习时代已然来临,那些不学习、拒绝进化的人将面临过时的风险。分析师投资组合经理、交易和首席信息官最终将不得不熟悉大数据和机器学习的发展和相关的交易策略。

作者信息

Sarah ButchereFinancialCareers特约作家毕业于英国牛津大学,对银行金融业感兴趣

Linkedinhttps://www.linkedin.com/in/sarahbutcherjournalist/?ppe=1

Twitterhttps://twitter.com/MadameButcher

本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

文章原标题《J.P.Morgan’s massive guide to machine learning and big data jobs in finance》,作者:Sarah Butcher,译者:海棠,审阅:东东邪

文章为简译,更为详细的内容,请查看原文

翻译者: 海棠 

Wechat:269970760 

Email:duanzhch@tju.edu.cn

微信公众号:AI科技时讯

157f33dddfc596ede3681e0a2a0e7068dc288cc1

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
存储 JSON 大数据
大数据离线数仓---金融审批数仓
大数据离线数仓---金融审批数仓
107 1
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
45 2
|
3月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
机器学习PAI关于maxcompute上用protobuf 处理数据,比较方便的方式
|
4月前
|
大数据 Linux 网络安全
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
121 0
|
1月前
|
机器学习/深度学习 数据处理
机器学习在金融风控中的应用
金融风控是一项重要的工作,它能够帮助金融机构识别和应对各种风险,保护客户资产。目前,机器学习技术在金融风控领域得到了广泛应用,本文将介绍机器学习在金融风控中的具体应用场景和效果。
|
3月前
|
监控 搜索推荐 大数据
大数据在金融领域的应用有哪些?请举例说明。
大数据在金融领域的应用有哪些?请举例说明。
27 0
|
4月前
|
机器学习/深度学习 搜索推荐 算法
「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)
「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)
32 0
|
4月前
|
Java 数据库连接 数据库
Java大数据开发工程师__Spring学习笔记(待更新)
Java大数据开发工程师__Spring学习笔记(待更新)
27 1
|
4月前
|
关系型数据库 MySQL 大数据
大数据开发工程师基本功修炼之Linux学习笔记(四)
大数据开发工程师基本功修炼之Linux学习笔记(四)
110 1
|
4月前
|
大数据 Linux 开发工具
大数据开发工程师基本功修炼之Linux学习笔记(三)
大数据开发工程师基本功修炼之Linux学习笔记(三)
84 0