阿里云Lindorm联合智臾科技发布金融高频交易数据量化分析与处理方案

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云原生内存数据库 Tair,内存型 2GB
简介: 阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。

金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据,随着数字业务快速演进,具有时序特征的交易数据激增,对底层数据库和量化分析系统提出了更高的要求。传统的关系数据库支撑这样的数据量级,即便分库分表,查询性能也远远无法达到要求。常用列存NoSQL数据库可以解决这个数据量级的存储,但是这类通用的存储引擎缺乏对时序数据的友好支持,在查询和计算方面都存在严重的不足,且无法支持对量化金融场景实时业务计算、流批一体分析、多源数据融合分析。


阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。



方案优势能力


数据库存储

  • 高吞吐低延迟的列式内存引擎。
  • 列式混合引擎(基于内存和磁盘)为存储海量数据的数据仓库提供了优越性能。
  • 灵活的分区方案:支持值分区、范围分区、列表分区、哈希分区和组合分区。
  • 支持单表百万级别的分区数,大大缩减对海量数据的检索响应时间。
  • 库内分析:可在数据库中进行复杂的编程和运算,避免数据迁移的耗时。
  • 提供多种SQL功能的扩展,包括非同时连接、窗口连接、透视表、复合列等。
  • 支持同一个分区数据库内多表快速联结。
  • 数据压缩。
  • 支持多用户并发访问。每个用户以给定的权限在独立的会话中工作。
  • 元数据高可用:多个控制节点使用Raft协议实现强一致性。
  • 分区数据高可用:一个数据库可以包含上百万个分区,分区的多副本之间使用改良的二阶段提交协议实现分区副本的强一致性。
  • 运维高可用:在线增加服务器节点,在线平衡节点间数据,在线为分区数据表增加字段。
  • 数据库的增量备份机制:当分区副本数为N的时候,在N-1个节点宕机的情况下,保证系统仍可以持续写入和读取。
  • 使用内嵌的分布式文件系统自动管理分区数据及其副本,为分布式计算提供负载均衡和容错能力。


数据库内数据分析

  • 编程语言功能强大且表达能力丰富。支持命令式编程、函数式编程、向量编程、SQL编程和RPC(远程函数调用)编程。
  • 编程语言的语法与SQL和Python非常相似,易上手易使用。
  • 内置1000多个函数,涵盖绝大多数常用的数据处理、数据分析、机器学习等功能,以及文件调用与数据库管理等功能。
  • 通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算。
  • 提供即时编译版本,极大加速for-loop, while-loop与if-else等语句的执行速度。
  • 支持多种计算模型,包括pipeline、map-reduce和迭代计算。
  • 为动态数据分布式计算提供快照隔离。
  • 通过在多任务中共享内存的数据副本来提高系统吞吐量。
  • 可便捷地分析分布式数据。在单个节点上编写脚本后,无需编译和部署即可在整个集群上执行。


流数据

  • 无缝集成流数据和数据库表。可以使用SQL查询本地流数据或分布式流数据。
  • 内置时间序列、横截面、异常检测以及响应式状态引擎等多种流数据聚合引擎。
  • 可使用DolphinDB中的用户自定义函数处理信息。
  • 亚毫秒级的信息延迟。
  • 使用实时数据更新历史数据仓库只有亚秒级延迟。
  • 可以从任意偏移量重现历史信息。
  • 提供可配置的选项(如分区、工作线程、队列)用于流量控制和性能调优。


生态

  • 提供多种编程API,包括C++、Python、Java、C#、Go和Excel等。
  • 已有的pandas程序只需做少量改动即可通过pandas API (orca) 在DolphinDB中运行。
  • 提供多种插件,包括MySQL、ODBC、HDF5、Parquet等。
  • 内置Web服务器,用于集群管理、性能监控和数据访问。
  • 提供DolphinDB GUI与VS Code插件等IDE(集成开发环境)用于数据分析。
  • 通过内置函数、Web接口或Prometheus实现系统监控。




欢迎大家加入钉钉群一起交流讨论~


Lindorm钉群.jpg

目录
相关文章
|
21天前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
17天前
|
数据采集 人工智能 自然语言处理
阿里云Elasticsearch AI语义搜索:解锁未来搜索新纪元,精准洞察数据背后的故事!
【8月更文挑战第2天】阿里云Elasticsearch AI场景语义搜索最佳实践
81 5
|
17天前
|
Cloud Native 关系型数据库 分布式数据库
中国金融分布式数据库,阿里云双料冠军!
中国金融分布式数据库,阿里云双料冠军!
36 1
|
22天前
|
机器学习/深度学习 新零售 人工智能
袋鼠云:阿里云数加生态中的新星,A轮融资引领数据智能新篇章
总之,袋鼠云的A轮融资不仅是对其过去成绩的肯定更是对其未来发展的期许。我们有理由相信在未来的日子里袋鼠云将在大数据和云计算领域继续书写属于自己的辉煌篇章
|
4天前
|
存储 缓存 数据管理
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
|
2月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
1月前
|
安全 数据管理
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
|
2月前
|
数据采集 安全 API
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中,Dataphin 引入了Lindorm等多项新功能,并开启公共云半托管模式,优化代码搜索,为用户提供更加高效、灵活、安全的数据管理和运营环境,提升用户体验,促进企业数据资产的建设和价值挖掘。
1396 3
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
|
2月前
|
存储 DataWorks 安全
DataWorks产品使用合集之没有使用独享资源组,如何将Lindorm中的数据导出或迁移到其他数据存储服务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
2月前
|
时序数据库
时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
【6月更文挑战第24天】时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
209 0

相关产品

  • 云原生多模数据库 Lindorm