阿里云Lindorm联合智臾科技发布金融高频交易数据量化分析与处理方案

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,通用型 2核4GB
简介: 阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。

金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据,随着数字业务快速演进,具有时序特征的交易数据激增,对底层数据库和量化分析系统提出了更高的要求。传统的关系数据库支撑这样的数据量级,即便分库分表,查询性能也远远无法达到要求。常用列存NoSQL数据库可以解决这个数据量级的存储,但是这类通用的存储引擎缺乏对时序数据的友好支持,在查询和计算方面都存在严重的不足,且无法支持对量化金融场景实时业务计算、流批一体分析、多源数据融合分析。


阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。



方案优势能力


数据库存储

  • 高吞吐低延迟的列式内存引擎。
  • 列式混合引擎(基于内存和磁盘)为存储海量数据的数据仓库提供了优越性能。
  • 灵活的分区方案:支持值分区、范围分区、列表分区、哈希分区和组合分区。
  • 支持单表百万级别的分区数,大大缩减对海量数据的检索响应时间。
  • 库内分析:可在数据库中进行复杂的编程和运算,避免数据迁移的耗时。
  • 提供多种SQL功能的扩展,包括非同时连接、窗口连接、透视表、复合列等。
  • 支持同一个分区数据库内多表快速联结。
  • 数据压缩。
  • 支持多用户并发访问。每个用户以给定的权限在独立的会话中工作。
  • 元数据高可用:多个控制节点使用Raft协议实现强一致性。
  • 分区数据高可用:一个数据库可以包含上百万个分区,分区的多副本之间使用改良的二阶段提交协议实现分区副本的强一致性。
  • 运维高可用:在线增加服务器节点,在线平衡节点间数据,在线为分区数据表增加字段。
  • 数据库的增量备份机制:当分区副本数为N的时候,在N-1个节点宕机的情况下,保证系统仍可以持续写入和读取。
  • 使用内嵌的分布式文件系统自动管理分区数据及其副本,为分布式计算提供负载均衡和容错能力。


数据库内数据分析

  • 编程语言功能强大且表达能力丰富。支持命令式编程、函数式编程、向量编程、SQL编程和RPC(远程函数调用)编程。
  • 编程语言的语法与SQL和Python非常相似,易上手易使用。
  • 内置1000多个函数,涵盖绝大多数常用的数据处理、数据分析、机器学习等功能,以及文件调用与数据库管理等功能。
  • 通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算。
  • 提供即时编译版本,极大加速for-loop, while-loop与if-else等语句的执行速度。
  • 支持多种计算模型,包括pipeline、map-reduce和迭代计算。
  • 为动态数据分布式计算提供快照隔离。
  • 通过在多任务中共享内存的数据副本来提高系统吞吐量。
  • 可便捷地分析分布式数据。在单个节点上编写脚本后,无需编译和部署即可在整个集群上执行。


流数据

  • 无缝集成流数据和数据库表。可以使用SQL查询本地流数据或分布式流数据。
  • 内置时间序列、横截面、异常检测以及响应式状态引擎等多种流数据聚合引擎。
  • 可使用DolphinDB中的用户自定义函数处理信息。
  • 亚毫秒级的信息延迟。
  • 使用实时数据更新历史数据仓库只有亚秒级延迟。
  • 可以从任意偏移量重现历史信息。
  • 提供可配置的选项(如分区、工作线程、队列)用于流量控制和性能调优。


生态

  • 提供多种编程API,包括C++、Python、Java、C#、Go和Excel等。
  • 已有的pandas程序只需做少量改动即可通过pandas API (orca) 在DolphinDB中运行。
  • 提供多种插件,包括MySQL、ODBC、HDF5、Parquet等。
  • 内置Web服务器,用于集群管理、性能监控和数据访问。
  • 提供DolphinDB GUI与VS Code插件等IDE(集成开发环境)用于数据分析。
  • 通过内置函数、Web接口或Prometheus实现系统监控。




欢迎大家加入钉钉群一起交流讨论~


Lindorm钉群.jpg

目录
相关文章
|
21天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
14天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
1天前
|
Cloud Native 安全 数据中心
|
15天前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之在阿里云DMS中,想对数据精度进行校验,有什么方法
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
15天前
|
NoSQL 数据管理 MongoDB
数据管理DMS产品使用合集之如何通过阿里云的数据管理服务(DMS)导出MongoDB数据
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
3月前
|
存储 人工智能 Cloud Native
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
|
8月前
|
存储 SQL 机器学习/深度学习
VLDB论文解读|一文剖析阿里云Lindorm数据库在DB for AI领域的探索
论文主要针对大规模监控场景下海量时序数据的存储、访问、分析和管理带来的挑战,描述了阿里云多模数据库 Lindorm 带来的一站式解决方案。
|
8月前
|
存储 Java 数据挖掘
阿里云时序数据库简介和购买使用流程
阿里云时序数据库(Lindorm Time Series Database,简称TSDB)是阿里云原生多模数据库Lindorm中的核心组件,专门负责处理时序数据。它具有许多优势,包括高并发写入、高压缩比存储、实时时序指标聚合、统计、预测以及ML/AI计算等强大功能。 时序数据是指表示物理设备、系统、应用过程或行为随时间变化的数据,这类数据在物联网、工业物联网、基础运维系统等场景中有着广泛的应用。阿里云TSDB可以解决大规模时序数据的可靠写入问题,显著降低数据存储成本,并且能够实时灵活地完成业务数据的聚合分析。 TSDB针对不同应用场景,支持多元数据存储与索引,具有高效的写入性能和实时数据分析能
|
8月前
|
人工智能 自然语言处理 多模数据库
视野数科联合阿里云Lindorm多模数据库推动AIGC应用在金融领域落地
野数科与阿里云Lindorm多模数据库达成AIGC应用联合创新合作

相关产品

  • 云原生多模数据库 Lindorm