云上金融量化策略回测方案与最佳实践

简介: 2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。

2024年11月29日,【飞天技术沙龙—阿里云金融量化策略回测Workshop】在上海诺亚财富中心正式举行,阿里云、Intel、juiceFS、ClickHouse等多位专家莅临现场,围绕阿里云私募量化最佳实践、云上数据隐私安全、云上EHPC量化策略回测方案实践、Argo Workflow量化回测最佳实践、量化机构回测文件系统选择、Clickhouse在量化机构案例分享等话题,展开分享;同时本次Workshop还针对量化行业需求,特别设计了动手实践环节,参会嘉宾可上手操作直接体验产品的功能。


图:阿里云数字金融高级解决方案架构师 庄鑫博(昊博)


阿里云数字金融高级解决方案架构师庄鑫博带来了题为《阿里云私募量化最佳实践》,他在分享中介绍到:阿里云新金融团队专注于为国内外量化机构构建先进的量化平台与解决方案,自2020年起已服务市场五年时间,服务超过50%的头部私募量化机构。



阿里云从量化行业IT视角出发,将量化机构的业务分为四个阶段:数据接入、策略研发、策略回测、实盘交易。打磨的解决方案主要聚焦三个价值点:降低IT复杂度、提升投研效率、加快演进速度。阿里云率先在行业推动并实现了冷热分层存储、并成功应对了单个集群调度10万张卡的挑战。聚焦在策略回测场景方面,阿里云认为量化投研团队面临三大具体的痛点与挑战:计算资源需求大、突发性需求强、服务器配置要求高。阿里云的EHPC弹性高性能计算、ACK容器服务、ACS容器计算服务都为量化机构提供了弹性、灵活的资源使用方式。其中ACS服务可以帮助实现一分钟一万个pod的弹性能力,帮助机构从容应对各种算力弹性需求。性能方面,阿里云基于自研的飞天操作系统+CIPU架构,为机构提供了免费的400Gb网络带宽环境,方便帮助机构享受更极致算力、存储与网络服务。阿里云同时提供包年包月、按量付费以及抢占实例(SPOT)三种方式。其中按量付费、抢占实例模式都能实现按秒计费,尤其抢占式可以将成本最大缩减90%,已经成为量化机构在策略回测场景下的最佳实践。



阿里云数金团队致力为量化机构提供成熟稳定、高性能、高性价比解决方案。通过云上OSS、CPFS存储能力,客户在网络时延、数据流转方面都可实现更好表现。此外越来越多的私募量化机构实现了容器化的技术能力。
在容器数据编排领域,Fluid可以提供数据弹性、带宽弹性以及贴合投研人员习惯的数据编排;在Kubernetes Batch作业编排领域,Argo workflow则具备广泛的实践与应用。同时,Fluid, Argo Workflow均是CNCF毕业项目。其中Fluid是阿里云容器服务团队,南京大学,以及Alluxio开源社区联合发起;Argo Workflow社区维护者也来自阿里云。本次Workshop中,各量化机构便基于Argo Workflow实现了对多只股票的单因子回测。


图:Intel隐私计算高级专家 宋川


当下的许多用户在使用云计算时,已经把核心竞争力的业务放上云,为数据构建一个全生命周期的保护能力当下显得更加重要。Intel®隐私计算高级专家宋川在分享中介绍了机密计算在金融行业的应用,机密计算旨在保护数据在使用和处理阶段的安全,特别是在云计算环境中,通过构建可信执行环境确保用户数据的机密性、完整性和程序的完整性。其中Intel® TDX技术构建的机密虚拟机运行环境,旨在帮助用户应用”零”代码修改的情况下,轻松升级为机密计算。通过这一环境,能够保证包括云服务商在内的任何第三方, 均无法访问、查看或 篡改用户实例的内部运行状态与数据。 私募量化机构基于此技术对高敏感数据应用进行安全加固。



此外,Intel还提供了一套远程证明流程,允许用户验证机密虚拟机环境的真实性和安全性,确保敏感数据处理的安全可信。整个过程涉及证明方(机密虚拟机)、验证方(用户或程序)和可信代言方(提供平台TCB证书信息,客户可私有化部署),并通过Intel提供的公开服务和API接口完成证书验证,增强了系统的透明度和安全性。Intel的机密计算技术为金融行业提供了强大的安全保障,使用户能在云端安全地处理和使用敏感数据。


图:JuiceFS联合创始人 苏锐


Juicedata的联合创始人苏锐,分享了私募量化客户如何在阿里云上构建回测文件系统。私募量化机构可以基于OSS,NAS,CPFS构建回测系统、投研系统;同时近年来也有机构在阿里云上基于社区开源技术进行量化投研。


图:Clickhouse核心研发团队,资深工程师 唐嘉麒


ClickHouse 核心研发团队,资深工程师唐嘉麒介绍了Clickhouse作为高性能分析型数据库在金融分析场景的应用,特别是通过两个案例展示了其如何帮助金融机构提升性能和降低成本。Clickhouse最初是俄罗斯搜索引擎公司于2009年开发的内部项目,2016年开源后迅速得到广泛应用,并在2021年成立了商业化公司,目前与各大云服务提供商合作提供托管服务。



以长桥证券为例,该公司采用了Clickhouse来重构其行情业务的存储引擎,解决了之前架构中成本高、扩展性差、性能不足以及开发运维复杂的问题。切换到Clickhouse后,长桥实现了显著的成本节约(存储减少400%,写入性能提升10倍),并且简化了技术栈,降低了业务和技术维护的压力。


对于海外客户如德意志银行和彭博社,他们利用Clickhouse构建统一的量化数据平台,支持从数据导入、存储压缩、集成生态到高效查询和实时交互分析的全流程。Clickhouse凭借其优越的数据处理能力、物化视图优化查询、丰富的函数支持以及适应现代硬件特性的查询引擎,成为了这些机构不可或缺的技术选择。此外,Clickhouse与阿里云的合作推出了企业版服务,提供了存算分离架构下的弹性扩缩容能力,进一步增强了其应对突发需求的能力,同时保持优秀的成本效益。


1_副本.jpg

图:动手实践实况


在本次活动中,我们特别为参会嘉宾安排了“EHPC量化回测场景实践”与“Argo Workflows量化回测场景实践”两个环节。这不仅让嘉宾们有机会深入了解阿里云的回测方案理论,还能通过亲手操作,进一步体验并验证这些解决方案在实际回测场景中的应用效果。这样的设置旨在帮助参与者更全面地掌握相关知识,并能将所学应用于量化实践中。


EHPC量化回测场景实践:


EHPC高性能计算平台能够快速接入阿里云上的所有CPU、GPU及NPU算力资源,极大地加速了投资研究中的回测过程,显著提升了回测的速度与效率。此外,EHPC还专门为投资研究人员提供了易于使用的客户端工具,使得他们可以即开即用,从而能够更加专注于量化分析的核心工作上。这样不仅简化了技术操作的复杂度,也让研究者们能够将更多精力投入到策略优化和模型开发中去。


  • EHPC量化分析业务工作流:支持一键批量提交回测任务,简化操作流程。
  • EHPC资源报表:提供多维度的资源使用情况统计,帮助用户全面掌握资源消耗状况。
  • 基于作业负载的弹性伸缩:通过多种参数配置,实现对计算资源扩展和收缩行为的精细化控制。
  • 智能资源调度:根据实时作业负载动态调整,自动决策计算资源的创建与释放,优化成本与性能平衡。
  • EHPC客户端工具:便于用户快速提交作业及管理现有任务,提升工作效率。


Argo Workflows量化回测场景实践:


阿里云Argo Workflow采用无服务器模式,使用阿里云弹性容器实例运行工作流,通过优化开源工作流引擎性能及Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。


Argo Workflow在业内已经得到了广泛的应用,而阿里云全托管的 Serverless Argo Workflow,则提供全托管的Argo Workflow核心组件,具备以下优势:


  • Serverless Pod:采用无服务器Pod运行工作流,免除节点运维和按需付费。
  • 性能优化:针对开源引擎进行改进,提高稳定性和性能,单工作流2万子任务,并行4万子任务。
  • 可观测性:集成Prometheus、SLS等工具,便于监控工作流状态。
  • 易集成:完全免运维,兼容开源,轻松迁移。


EHPC量化回测场景实践”与“Argo Workflows量化回测场景实践”两大方案,旨在为用户提供一个无需运维、操作简便且性能高效的作业管理平台。通过聚焦具体技术应用场景,并整合有效解决方案,这两个方案能够全面解决用户在业务过程中遇到的各种挑战,让用户更加专注于核心业务和技术开发。


获取量化回测Workshop材料,请进钉群咨询:

相关文章
|
人工智能 自然语言处理 前端开发
【AI 尝鲜实验室】上新 | Open Design:开源免费的 AI 设计全能工具,一句话生成专业级设计
Open Design是nexu-io开源的本地优先AI设计平台,支持用自然语言生成网页、App、PPT、视频等,内置150+品牌设计系统,GitHub获65k+ Stars。本实验通过阿里云计算巢一键部署,结合百炼大模型,让产品经理、开发者等快速体验AI设计能力。
【AI 尝鲜实验室】上新 | Open Design:开源免费的 AI 设计全能工具,一句话生成专业级设计
|
2月前
|
人工智能 弹性计算 5G
【AI 尝鲜实验室】上新 | MiMoCode:终端原生 AI 编程助手,越用越懂你
MiMoCode是小米MiMo团队开源的终端原生AI编程助手(GitHub 10k+ Star,MIT协议),支持读写代码、执行命令、Git管理及跨会话项目上下文记忆。本实验通过阿里云计算巢一键部署至云端ECS,开箱即用,面向全栈/独立开发者及运维工程师。
|
2月前
|
存储 人工智能 弹性计算
阿里云正式推出首个 OPC 专属产品套餐,护航 OPC 从起步到规模化全阶段
2026年,AI驱动“一人公司”(OPC)兴起。阿里云首发OPC创新助力计划,推出Starter/Lite/Pro三档全栈云套餐,覆盖验证、增长到成熟全周期:低成本试错、高稳架构、全球加速与安全防护,并提供Token补贴、1V1技术护航及生态资源支持。(239字)
阿里云正式推出首个 OPC 专属产品套餐,护航 OPC 从起步到规模化全阶段
|
3月前
|
存储 人工智能 数据处理
RAG 落地三部曲:用 Milvus + Qwen3.6 打造企业知识库,我踩过的 5 个坑与解法
本文揭秘RAG落地常见误区:文档粗暴切片、纯向量检索、忽略重排序导致知识库“很蠢”。基于阿里云Milvus+百炼Qwen3.6,详解轻量部署、结构化分片、混合检索(向量+全文)、GTE-Rerank重排序及防幻觉Prompt工程,并给出Embedding成本优化策略。(239字)
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
【飞天技术沙龙—阿里云金融量化策略回测Workshop】在上海诺亚财富中心正式举行,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。
|
机器学习/深度学习 人工智能 自然语言处理
大语言模型的Scaling Law:如何随着模型大小、训练数据和计算资源的增加而扩展
在这篇文章中,我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成的法则:模型大小、训练数据和计算能力。通过理解这些因素如何相互作用和规模化,我们将获得关于人工智能语言模型过去、现在和未来的宝贵见解。
2252 7
大语言模型的Scaling Law:如何随着模型大小、训练数据和计算资源的增加而扩展
|
存储 数据采集 Cloud Native
极速数仓ClickHouse步入云原生新纪元
极速数仓ClickHouse步入云原生新纪元,由ClickHouse核心研发团队技术总监王鹏程及长桥航行服务架构负责人刘文全主讲。内容涵盖ClickHouse的优势与应用场景、架构解析、最佳实践及未来展望。特别介绍了ClickHouse Enterprise版本在阿里云上的优化与创新,支持实时查询、高性能资源利用和丰富的SQL扩展。长桥证券分享了其基于阿里云ClickHouse构建行情服务的实践经验,展示了如何通过ClickHouse实现高效的数据存储与处理,显著降低存储成本并提升写入性能。
1415 0
|
机器学习/深度学习 人工智能 算法
AI在医疗影像诊断中的应用与未来展望####
本文深入探讨了人工智能(AI)在医疗影像诊断领域的最新进展、当前应用实例及面临的挑战,并展望了其未来的发展趋势。随着深度学习技术的不断成熟,AI正逐步成为辅助医生进行疾病早期筛查、诊断和治疗规划的重要工具。本文旨在为读者提供一个全面的视角,了解AI如何在提高医疗效率、降低成本和改善患者预后方面发挥关键作用。 ####
|
存储 大数据 Apache
大数据治理系统框架Apache Atlas实践
大数据元数据和数据管理框架 Apache Atlas实践 今天技术小伙伴占卫同学分享了Apache Atlas元数据管理实践,被atlas的强大的血缘关系管理能力震撼,以下为本次分享内容: •Apache Atlas简介 •Apache Atlas架构 ...
10626 0

热门文章

最新文章