阿里云Lindorm联合智臾科技发布金融高频交易数据量化分析与处理方案

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云数据库 Tair(兼容Redis),内存型 2GB
简介: 阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。

金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据,随着数字业务快速演进,具有时序特征的交易数据激增,对底层数据库和量化分析系统提出了更高的要求。传统的关系数据库支撑这样的数据量级,即便分库分表,查询性能也远远无法达到要求。常用列存NoSQL数据库可以解决这个数据量级的存储,但是这类通用的存储引擎缺乏对时序数据的友好支持,在查询和计算方面都存在严重的不足,且无法支持对量化金融场景实时业务计算、流批一体分析、多源数据融合分析。


阿里云原生多模数据库Lindorm联合浙江智臾DolphinDB发布金融高频交易数据量化分析与处理方案,通过云原生方式整合DolphinDB实时高效的数据处理能力和Lindorm多模海量数据融合存储分析能力,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为金融场景海量时序数据的量化分析计算提供一站式解决方案。方案操作简单,可扩展性强,具有良好的容错能力及优异的多用户并发访问能力。



方案优势能力


数据库存储

  • 高吞吐低延迟的列式内存引擎。
  • 列式混合引擎(基于内存和磁盘)为存储海量数据的数据仓库提供了优越性能。
  • 灵活的分区方案:支持值分区、范围分区、列表分区、哈希分区和组合分区。
  • 支持单表百万级别的分区数,大大缩减对海量数据的检索响应时间。
  • 库内分析:可在数据库中进行复杂的编程和运算,避免数据迁移的耗时。
  • 提供多种SQL功能的扩展,包括非同时连接、窗口连接、透视表、复合列等。
  • 支持同一个分区数据库内多表快速联结。
  • 数据压缩。
  • 支持多用户并发访问。每个用户以给定的权限在独立的会话中工作。
  • 元数据高可用:多个控制节点使用Raft协议实现强一致性。
  • 分区数据高可用:一个数据库可以包含上百万个分区,分区的多副本之间使用改良的二阶段提交协议实现分区副本的强一致性。
  • 运维高可用:在线增加服务器节点,在线平衡节点间数据,在线为分区数据表增加字段。
  • 数据库的增量备份机制:当分区副本数为N的时候,在N-1个节点宕机的情况下,保证系统仍可以持续写入和读取。
  • 使用内嵌的分布式文件系统自动管理分区数据及其副本,为分布式计算提供负载均衡和容错能力。


数据库内数据分析

  • 编程语言功能强大且表达能力丰富。支持命令式编程、函数式编程、向量编程、SQL编程和RPC(远程函数调用)编程。
  • 编程语言的语法与SQL和Python非常相似,易上手易使用。
  • 内置1000多个函数,涵盖绝大多数常用的数据处理、数据分析、机器学习等功能,以及文件调用与数据库管理等功能。
  • 通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算。
  • 提供即时编译版本,极大加速for-loop, while-loop与if-else等语句的执行速度。
  • 支持多种计算模型,包括pipeline、map-reduce和迭代计算。
  • 为动态数据分布式计算提供快照隔离。
  • 通过在多任务中共享内存的数据副本来提高系统吞吐量。
  • 可便捷地分析分布式数据。在单个节点上编写脚本后,无需编译和部署即可在整个集群上执行。


流数据

  • 无缝集成流数据和数据库表。可以使用SQL查询本地流数据或分布式流数据。
  • 内置时间序列、横截面、异常检测以及响应式状态引擎等多种流数据聚合引擎。
  • 可使用DolphinDB中的用户自定义函数处理信息。
  • 亚毫秒级的信息延迟。
  • 使用实时数据更新历史数据仓库只有亚秒级延迟。
  • 可以从任意偏移量重现历史信息。
  • 提供可配置的选项(如分区、工作线程、队列)用于流量控制和性能调优。


生态

  • 提供多种编程API,包括C++、Python、Java、C#、Go和Excel等。
  • 已有的pandas程序只需做少量改动即可通过pandas API (orca) 在DolphinDB中运行。
  • 提供多种插件,包括MySQL、ODBC、HDF5、Parquet等。
  • 内置Web服务器,用于集群管理、性能监控和数据访问。
  • 提供DolphinDB GUI与VS Code插件等IDE(集成开发环境)用于数据分析。
  • 通过内置函数、Web接口或Prometheus实现系统监控。




欢迎大家加入钉钉群一起交流讨论~


Lindorm钉群.jpg

目录
相关文章
|
7月前
|
存储 人工智能 Cloud Native
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
|
6月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
5月前
|
安全 数据管理
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
|
6月前
|
数据采集 安全 API
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中,Dataphin 引入了Lindorm等多项新功能,并开启公共云半托管模式,优化代码搜索,为用户提供更加高效、灵活、安全的数据管理和运营环境,提升用户体验,促进企业数据资产的建设和价值挖掘。
1580 3
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
|
5月前
|
SQL 分布式计算 BI
实时计算 Flink版产品使用问题之基于宽表数据展示实时报表,该如何实现
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
存储 DataWorks 安全
DataWorks产品使用合集之没有使用独享资源组,如何将Lindorm中的数据导出或迁移到其他数据存储服务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
50 0
|
6月前
|
时序数据库
时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
【6月更文挑战第24天】时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
776 0
|
存储 SQL 机器学习/深度学习
VLDB论文解读|一文剖析阿里云Lindorm数据库在DB for AI领域的探索
论文主要针对大规模监控场景下海量时序数据的存储、访问、分析和管理带来的挑战,描述了阿里云多模数据库 Lindorm 带来的一站式解决方案。
|
存储 Java 数据挖掘
阿里云时序数据库简介和购买使用流程
阿里云时序数据库(Lindorm Time Series Database,简称TSDB)是阿里云原生多模数据库Lindorm中的核心组件,专门负责处理时序数据。它具有许多优势,包括高并发写入、高压缩比存储、实时时序指标聚合、统计、预测以及ML/AI计算等强大功能。 时序数据是指表示物理设备、系统、应用过程或行为随时间变化的数据,这类数据在物联网、工业物联网、基础运维系统等场景中有着广泛的应用。阿里云TSDB可以解决大规模时序数据的可靠写入问题,显著降低数据存储成本,并且能够实时灵活地完成业务数据的聚合分析。 TSDB针对不同应用场景,支持多元数据存储与索引,具有高效的写入性能和实时数据分析能
|
7月前
|
存储 SQL 监控
Lindorm:时序数据“存、算、管、用”的最佳实践
本文档介绍Lindorm时序引擎在时序数据的存储、计算、管理、应用上的最佳实践。
312 0
Lindorm:时序数据“存、算、管、用”的最佳实践

相关产品

  • 云原生多模数据库 Lindorm