云上金融量化策略回测方案与最佳实践

本文涉及的产品
轻量应用服务器 2vCPU 1GiB,适用于搭建电商独立站
轻量应用服务器 2vCPU 4GiB,适用于搭建Web应用/小程序
轻量应用服务器 2vCPU 4GiB,适用于搭建容器环境
简介: 2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。

2024年11月29日,【飞天技术沙龙—阿里云金融量化策略回测Workshop】在上海诺亚财富中心正式举行,阿里云、Intel、juiceFS、ClickHouse等多位专家莅临现场,围绕阿里云私募量化最佳实践、云上数据隐私安全、云上EHPC量化策略回测方案实践、Argo Workflow量化回测最佳实践、量化机构回测文件系统选择、Clickhouse在量化机构案例分享等话题,展开分享;同时本次Workshop还针对量化行业需求,特别设计了动手实践环节,参会嘉宾可上手操作直接体验产品的功能。


图:阿里云数字金融高级解决方案架构师 庄鑫博(昊博)


阿里云数字金融高级解决方案架构师庄鑫博带来了题为《阿里云私募量化最佳实践》,他在分享中介绍到:阿里云新金融团队专注于为国内外量化机构构建先进的量化平台与解决方案,自2020年起已服务市场五年时间,服务超过50%的头部私募量化机构。



阿里云从量化行业IT视角出发,将量化机构的业务分为四个阶段:数据接入、策略研发、策略回测、实盘交易。打磨的解决方案主要聚焦三个价值点:降低IT复杂度、提升投研效率、加快演进速度。阿里云率先在行业推动并实现了冷热分层存储、并成功应对了单个集群调度10万张卡的挑战。聚焦在策略回测场景方面,阿里云认为量化投研团队面临三大具体的痛点与挑战:计算资源需求大、突发性需求强、服务器配置要求高。阿里云的EHPC弹性高性能计算、ACK容器服务、ACS容器计算服务都为量化机构提供了弹性、灵活的资源使用方式。其中ACS服务可以帮助实现一分钟一万个pod的弹性能力,帮助机构从容应对各种算力弹性需求。性能方面,阿里云基于自研的飞天操作系统+CIPU架构,为机构提供了免费的400Gb网络带宽环境,方便帮助机构享受更极致算力、存储与网络服务。阿里云同时提供包年包月、按量付费以及抢占实例(SPOT)三种方式。其中按量付费、抢占实例模式都能实现按秒计费,尤其抢占式可以将成本最大缩减90%,已经成为量化机构在策略回测场景下的最佳实践。



阿里云数金团队致力为量化机构提供成熟稳定、高性能、高性价比解决方案。通过云上OSS、CPFS存储能力,客户在网络时延、数据流转方面都可实现更好表现。此外越来越多的私募量化机构实现了容器化的技术能力。
在容器数据编排领域,Fluid可以提供数据弹性、带宽弹性以及贴合投研人员习惯的数据编排;在Kubernetes Batch作业编排领域,Argo workflow则具备广泛的实践与应用。同时,Fluid, Argo Workflow均是CNCF毕业项目。其中Fluid是阿里云容器服务团队,南京大学,以及Alluxio开源社区联合发起;Argo Workflow社区维护者也来自阿里云。本次Workshop中,各量化机构便基于Argo Workflow实现了对多只股票的单因子回测。


图:Intel隐私计算高级专家 宋川


当下的许多用户在使用云计算时,已经把核心竞争力的业务放上云,为数据构建一个全生命周期的保护能力当下显得更加重要。Intel®隐私计算高级专家宋川在分享中介绍了机密计算在金融行业的应用,机密计算旨在保护数据在使用和处理阶段的安全,特别是在云计算环境中,通过构建可信执行环境确保用户数据的机密性、完整性和程序的完整性。其中Intel® TDX技术构建的机密虚拟机运行环境,旨在帮助用户应用”零”代码修改的情况下,轻松升级为机密计算。通过这一环境,能够保证包括云服务商在内的任何第三方, 均无法访问、查看或 篡改用户实例的内部运行状态与数据。 私募量化机构基于此技术对高敏感数据应用进行安全加固。



此外,Intel还提供了一套远程证明流程,允许用户验证机密虚拟机环境的真实性和安全性,确保敏感数据处理的安全可信。整个过程涉及证明方(机密虚拟机)、验证方(用户或程序)和可信代言方(提供平台TCB证书信息,客户可私有化部署),并通过Intel提供的公开服务和API接口完成证书验证,增强了系统的透明度和安全性。Intel的机密计算技术为金融行业提供了强大的安全保障,使用户能在云端安全地处理和使用敏感数据。


图:JuiceFS联合创始人 苏锐


Juicedata的联合创始人苏锐,分享了私募量化客户如何在阿里云上构建回测文件系统。私募量化机构可以基于OSS,NAS,CPFS构建回测系统、投研系统;同时近年来也有机构在阿里云上基于社区开源技术进行量化投研。


图:Clickhouse核心研发团队,资深工程师 唐嘉麒


ClickHouse 核心研发团队,资深工程师唐嘉麒介绍了Clickhouse作为高性能分析型数据库在金融分析场景的应用,特别是通过两个案例展示了其如何帮助金融机构提升性能和降低成本。Clickhouse最初是俄罗斯搜索引擎公司于2009年开发的内部项目,2016年开源后迅速得到广泛应用,并在2021年成立了商业化公司,目前与各大云服务提供商合作提供托管服务。



以长桥证券为例,该公司采用了Clickhouse来重构其行情业务的存储引擎,解决了之前架构中成本高、扩展性差、性能不足以及开发运维复杂的问题。切换到Clickhouse后,长桥实现了显著的成本节约(存储减少400%,写入性能提升10倍),并且简化了技术栈,降低了业务和技术维护的压力。


对于海外客户如德意志银行和彭博社,他们利用Clickhouse构建统一的量化数据平台,支持从数据导入、存储压缩、集成生态到高效查询和实时交互分析的全流程。Clickhouse凭借其优越的数据处理能力、物化视图优化查询、丰富的函数支持以及适应现代硬件特性的查询引擎,成为了这些机构不可或缺的技术选择。此外,Clickhouse与阿里云的合作推出了企业版服务,提供了存算分离架构下的弹性扩缩容能力,进一步增强了其应对突发需求的能力,同时保持优秀的成本效益。


1_副本.jpg

图:动手实践实况


在本次活动中,我们特别为参会嘉宾安排了“EHPC量化回测场景实践”与“Argo Workflows量化回测场景实践”两个环节。这不仅让嘉宾们有机会深入了解阿里云的回测方案理论,还能通过亲手操作,进一步体验并验证这些解决方案在实际回测场景中的应用效果。这样的设置旨在帮助参与者更全面地掌握相关知识,并能将所学应用于量化实践中。


EHPC量化回测场景实践:


EHPC高性能计算平台能够快速接入阿里云上的所有CPU、GPU及NPU算力资源,极大地加速了投资研究中的回测过程,显著提升了回测的速度与效率。此外,EHPC还专门为投资研究人员提供了易于使用的客户端工具,使得他们可以即开即用,从而能够更加专注于量化分析的核心工作上。这样不仅简化了技术操作的复杂度,也让研究者们能够将更多精力投入到策略优化和模型开发中去。


  • EHPC量化分析业务工作流:支持一键批量提交回测任务,简化操作流程。
  • EHPC资源报表:提供多维度的资源使用情况统计,帮助用户全面掌握资源消耗状况。
  • 基于作业负载的弹性伸缩:通过多种参数配置,实现对计算资源扩展和收缩行为的精细化控制。
  • 智能资源调度:根据实时作业负载动态调整,自动决策计算资源的创建与释放,优化成本与性能平衡。
  • EHPC客户端工具:便于用户快速提交作业及管理现有任务,提升工作效率。


Argo Workflows量化回测场景实践:


阿里云Argo Workflow采用无服务器模式,使用阿里云弹性容器实例运行工作流,通过优化开源工作流引擎性能及Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。


Argo Workflow在业内已经得到了广泛的应用,而阿里云全托管的 Serverless Argo Workflow,则提供全托管的Argo Workflow核心组件,具备以下优势:


  • Serverless Pod:采用无服务器Pod运行工作流,免除节点运维和按需付费。
  • 性能优化:针对开源引擎进行改进,提高稳定性和性能,单工作流2万子任务,并行4万子任务。
  • 可观测性:集成Prometheus、SLS等工具,便于监控工作流状态。
  • 易集成:完全免运维,兼容开源,轻松迁移。


EHPC量化回测场景实践”与“Argo Workflows量化回测场景实践”两大方案,旨在为用户提供一个无需运维、操作简便且性能高效的作业管理平台。通过聚焦具体技术应用场景,并整合有效解决方案,这两个方案能够全面解决用户在业务过程中遇到的各种挑战,让用户更加专注于核心业务和技术开发。


获取量化回测Workshop材料,请进钉群咨询:

目录
打赏
0
11
8
0
3530
分享
相关文章
29 岁成为阿里巴巴P8,工作前5年完成晋升3连跳,他如何做到?
泡泡是我的好朋友。今年31岁,毕业后就进了阿里巴巴,工作五年内从P4晋升至 P6、P7、P8。
5235 0
云上金融量化策略回测方案与最佳实践
【飞天技术沙龙—阿里云金融量化策略回测Workshop】在上海诺亚财富中心正式举行,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。
对话|企业如何构建更完善的容器供应链安全防护体系
随着云计算和DevOps的兴起,容器技术和自动化在软件开发中扮演着愈发重要的角色,但也带来了新的安全挑战。阿里云针对这些挑战,组织了一场关于云上安全的深度访谈,邀请了内部专家穆寰、匡大虎和黄竹刚,深入探讨了容器安全与软件供应链安全的关系,分析了当前的安全隐患及应对策略,并介绍了阿里云提供的安全解决方案,包括容器镜像服务ACR、容器服务ACK、网格服务ASM等,旨在帮助企业构建涵盖整个软件开发生命周期的安全防护体系。通过加强基础设施安全性、技术创新以及倡导协同安全理念,阿里云致力于与客户共同建设更加安全可靠的软件供应链环境。
150384 32
阿里云ECS“99套餐”再升级!双11一站式满足全年算力需求
11月1日,阿里云弹性计算ECS双11活动全面开启,在延续火爆的云服务器“99套餐”外,CPU、GPU及容器等算力产品均迎来了全年最低价。同时,阿里云全新推出简捷版控制台ECS Lite及专属宝塔面板,大幅降低企业和开发者使用ECS云服务器门槛。
157453 23
对话 | ECS如何构筑企业上云的第一道安全防线
随着中小企业加速上云,数据泄露、网络攻击等安全威胁日益严重。阿里云推出深度访谈栏目,汇聚产品技术专家,探讨云上安全问题及应对策略。首期节目聚焦ECS安全性,提出三道防线:数据安全、网络安全和身份认证与权限管理,确保用户在云端的数据主权和业务稳定。此外,阿里云还推出了“ECS 99套餐”,以高性价比提供全面的安全保障,帮助中小企业安全上云。
202157 16
对话 | ECS如何构筑企业上云的第一道安全防线
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云弹性计算产品线、存储产品线产品负责人Alex Chen(陈起鲲)及团队内多位专家,和中国电子技术标准化研究院云计算标准负责人陈行、北京望石智慧科技有限公司首席架构师王晓满两位嘉宾,一同带来了题为《通用计算新品发布与行业实践》的专场Session。本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第 9 代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容,并发布了国内首个云超算国家标准。
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
云超算技术跃进,阿里云牵头制定我国首个云超算国家标准
近日,由阿里云联合中国电子技术标准化研究院主导制定的首个云超算国家标准已完成报批,不久后将正式批准发布。标准规定了云超算服务涉及的云计算基础资源、资源管理、运行和调度等方面的技术要求,为云超算服务产品的设计、实现、应用和选型提供指导,为云超算在HPC应用和用户的大范围采用奠定了基础。
179886 22
对话阿里云吴结生:AI时代,云上高性能计算的创新发展
在阿里云智能集团副总裁,弹性计算产品线负责人、存储产品线负责人 吴结生看来,如今已经有很多行业应用了高性能计算,且高性能计算的负载正呈现出多样化发展的趋势,“当下,很多基础模型的预训练、自动驾驶、生命科学,以及工业制造、半导体芯片等行业和领域都应用了高性能计算。”吴结生指出。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等