开发者社区> louth> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

阿里云Lindorm联合智臾科技发布金融高频交易数据量化分析与处理方案

简介: 阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。
+关注继续查看

金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据,随着数字业务快速演进,具有时序特征的交易数据激增,对底层数据库和量化分析系统提出了更高的要求。传统的关系数据库支撑这样的数据量级,即便分库分表,查询性能也远远无法达到要求。常用列存NoSQL数据库可以解决这个数据量级的存储,但是这类通用的存储引擎缺乏对时序数据的友好支持,在查询和计算方面都存在严重的不足,且无法支持对量化金融场景实时业务计算、流批一体分析、多源数据融合分析。


阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。



➣方案优势能力


数据库存储

  • 高吞吐低延迟的列式内存引擎。
  • 列式混合引擎(基于内存和磁盘)为存储海量数据的数据仓库提供了优越性能。
  • 灵活的分区方案:支持值分区、范围分区、列表分区、哈希分区和组合分区。
  • 支持单表百万级别的分区数,大大缩减对海量数据的检索响应时间。
  • 库内分析:可在数据库中进行复杂的编程和运算,避免数据迁移的耗时。
  • 提供多种SQL功能的扩展,包括非同时连接、窗口连接、透视表、复合列等。
  • 支持同一个分区数据库内多表快速联结。
  • 数据压缩。
  • 支持多用户并发访问。每个用户以给定的权限在独立的会话中工作。
  • 元数据高可用:多个控制节点使用Raft协议实现强一致性。
  • 分区数据高可用:一个数据库可以包含上百万个分区,分区的多副本之间使用改良的二阶段提交协议实现分区副本的强一致性。
  • 运维高可用:在线增加服务器节点,在线平衡节点间数据,在线为分区数据表增加字段。
  • 数据库的增量备份机制:当分区副本数为N的时候,在N-1个节点宕机的情况下,保证系统仍可以持续写入和读取。
  • 使用内嵌的分布式文件系统自动管理分区数据及其副本,为分布式计算提供负载均衡和容错能力。


数据库内数据分析

  • 编程语言功能强大且表达能力丰富。支持命令式编程、函数式编程、向量编程、SQL编程和RPC(远程函数调用)编程。
  • 编程语言的语法与SQL和Python非常相似,易上手易使用。
  • 内置1000多个函数,涵盖绝大多数常用的数据处理、数据分析、机器学习等功能,以及文件调用与数据库管理等功能。
  • 通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算。
  • 提供即时编译版本,极大加速for-loop, while-loop与if-else等语句的执行速度。
  • 支持多种计算模型,包括pipeline、map-reduce和迭代计算。
  • 为动态数据分布式计算提供快照隔离。
  • 通过在多任务中共享内存的数据副本来提高系统吞吐量。
  • 可便捷地分析分布式数据。在单个节点上编写脚本后,无需编译和部署即可在整个集群上执行。


流数据

  • 无缝集成流数据和数据库表。可以使用SQL查询本地流数据或分布式流数据。
  • 内置时间序列、横截面、异常检测以及响应式状态引擎等多种流数据聚合引擎。
  • 可使用DolphinDB中的用户自定义函数处理信息。
  • 亚毫秒级的信息延迟。
  • 使用实时数据更新历史数据仓库只有亚秒级延迟。
  • 可以从任意偏移量重现历史信息。
  • 提供可配置的选项(如分区、工作线程、队列)用于流量控制和性能调优。


生态

  • 提供多种编程API,包括C++、Python、Java、C#、Go和Excel等。
  • 已有的pandas程序只需做少量改动即可通过pandas API (orca) 在DolphinDB中运行。
  • 提供多种插件,包括MySQL、ODBC、HDF5、Parquet等。
  • 内置Web服务器,用于集群管理、性能监控和数据访问。
  • 提供DolphinDB GUI与VS Code插件等IDE(集成开发环境)用于数据分析。
  • 通过内置函数、Web接口或Prometheus实现系统监控。




欢迎大家加入钉钉群一起交流讨论~


Lindorm钉群.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
对话 | 阿里云如何用“科技抗击疫情”
​2020年春节,我们看到太多令人感动的故事:医护人员放弃假期奔赴武汉,深入一线救死扶伤;配送小哥穿行于空无一人的街道,只为保障居民的基本生活物资;教育工作者拿起手机义务直播教学……而在肺炎疫情的特殊时期,阿里技术团队做了哪些事情?今天,阿里妹整理了阿里云智能市场营销&公共事务部总经理刘湘雯与今日头条微访谈的对话内容,与大家分享阿里人在对抗疫情中的故事。
767 0
阿里云重磅发布数据库专家服务
什么是阿里云数据库专家服务? 数据库专家服务是以工具与数据库专业技能结合的方式,为用户提供云数据库产品本身能力范围之外的专业服务,包括紧急救援、健康诊断、性能调优、护航保障、Oracle迁移等。 专家服务的定位 随着云数据库产品的快速发展,数据库引擎的能力持续提升,为DB PaaS提供核心支持能力的云数据库管控平台也在不断完善,云数据库的用户使用体验正在自助化、自动化和智能化的发展道路上变得越来越好。
1144 0
阿里云加入开放媒体联盟AOM 科技巨头联合推广高清视频新标准
日前,阿里云宣布正式加入全球顶级视频标准组织——开放媒体联盟(Alliance for Open Media ,简称AOM),与联盟内的其他厂商一同推广无专利费、跨平台的视频编解码AV1,推动全球范围内更广泛的高清视频标准的升级与应用。
1648 0
阿里云RDS金融数据库(三节点版) - 案例篇
标签 PostgreSQL , MySQL , 三节点版 , 金融数据库 , Raft , 分布式共享存储版 背景 土豆哪里去挖? 土豆郊区去挖。 一挖一麻袋? 一挖一麻袋。 挖掘机不仅是城市建设的必备法宝,居然也是挖土豆利器。
3498 0
阿里云RDS金融数据库(三节点版) - 背景篇
标签 PostgreSQL , MySQL , 三节点版 , 金融数据库 , Raft , 分布式共享存储版 背景 提到金融级数据库,大家可能不约而同的会想到Oracle,DB2等商业数据库。
4405 0
Oracle数据库上云利器 阿里云发布数据库迁移服务ADAM
业内首个覆盖数据全生命周期的应用与数据库迁移工具Advanced Database & Application Migration(以下简称ADAM),使得企业能够将Oracle等数据库无缝迁移上云,在云上数据库MySQL、PPAS、AnalyticDB等开展业务。
3619 0
+关注
107
文章
0
问答
来源圈子
更多
让用户数据永远在线,让数据无缝的自由流动
+ 订阅
相关文档: 云数据库 OceanBase 版 可信账本数据库 云原生关系型数据库 PolarDB PostgreSQL引擎
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载