多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云数据库 Tair(兼容Redis),内存型 2GB
简介: Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。

随着车联网、IoT和AI应用的普及,多模数据处理需求日益增长,企业面临的挑战不仅仅在于数据的收集和存储,更在于如何高效进行数据的计算和治理,从而实现数据价值最大化。


以车联网数据为例,这一场景在数据链路和数据处理上的需求都十分复杂:

  • 首先,数据类型多样,包含车机状态、地理位置信息、运行日志等多种具备明显时序特点的数据,在业务视角上又需要建模成超级大宽表。
  • 其次,在数据处理链路上,既有实时链路,也有离线链路,需要同时覆盖业务的在线查询、多维检索、实时分析以及离线分析等多种数据处理要求。
  • 此外,随着汽车智能化的快速迭代,业务中会持续新增或变更字段,整个数据平台还需要频繁应对全链路的字段变更需求。


传统的方案从互联网技术栈演进而来,往往涉及多个产品(时序数据库、时空数据库、HBase、Hive、Spark等)的组合,缺少针对车联网数据特点的理解和优化,不但架构复杂,价格高昂,而且会导致开发和运维的效率低下。

001.png

图:传统车联网数据架构链路长、冗余多


阿里云云原生多模数据库Lindorm可通过一个产品将架构收敛,支持宽表、JSON、时序、BLOB、向量、时空等数据类型的存储、查询、分析和推理,并且支持通过统一的SQL进行不同数据类型的处理。目前,Lindorm还通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。

Lindorm车联网数据处理的核心优势

Lindorm提供海量时序数据低成本存储、在线查询和检索、离线分析、AI推理的一站式数据服务,是互联网、IoT、金融交易、监控等场景的首选。车联网数据本质是以时序数据为主的多模型数据,因此Lindorm更是完美适配车企的智能化、数字化需求,成为了车联网数据中台的理想选择:


  • 高并发在线车机数据服务。Lindorm的宽表引擎支持万列大宽表模型千万级QPS的在线点查,通过Lindorm的搜索引擎扩展车机数据的在线多指标条件查询、聚合等能力。
  • 全量车机时序数据低成本存储。Lindorm以Iceberg湖表格式存储海量车机数据,基于列存适合压缩的特点,通过自研高压缩算法提供Parquet的2倍压缩比,结合冷热分离的异构存储能力,存储成本降低50%以上
  • Serverless弹性计算。Lindorm使用Serverless计算引擎按需申请计算资源完成ETL任务,无资源空置;同时,计算引擎中内置查询加速组件,数据无需转移到新的数据仓库,即可原地交互式分析。一份数据对接业务需要的离线分析、BI报表、自助分析等场景。
  • 车辆轨迹处理。Lindorm提供原生的GIS数据类型,可以实现对轨迹数据的实时查询和地理围栏分析,还可以由Lindorm计算引擎配合进行时空聚合分析

image.png

图:Lindorm一站式车联网数据架构


相对于传统多个组件搭配组合方案,Lindorm不仅一体化覆盖了多模数据处理需求,而且能够通过高压缩、弹性计算来降低综合成本,保证高性能来提升业务效率,充分满足企业数据建设与治理的需求。

Lindorm再升级,携手Dataphin共筑数据治理解决方案

现如今,Lindorm已成为70%的头部车企国内80%的造车新势力企业的选择。通过与Dataphin对接,不仅进一步为用户带来了成本节约与开发简化,更是解决了数据集成与治理的“最后一公里”问题。

0618配图05.png

图:“Lindorm+Dataphin”开启高性价比数据治理


Dataphin是阿里巴巴十余年内部治理实践及方法论的产品化输出,针对各行业大数据建设、治理及应用诉求,提供全域数据集成、可视建模及规范定义、数据资产治理及运营等能力,帮助企业一站式构建标准统一、质量可靠、安全稳定、消费便捷的数据体系。


通过Lindorm与Dataphin的接力,企业能够轻松实现数据中台构建,享受标准化和可交互的数据管理和数据资产治理过程,包括多源数据写入、分层建模、ETL任务调度、用户数据资产体系建立、以及业务场景数据标签开发等。企业的多源数据汇总成统一数据,仅需根据业务逻辑进行白屏化的数据建设、任务管理和指标观测,从而更加高效地挖掘车联网数据潜力。

03@2x.png

图:Lindorm x 瓴羊Dataphin数据“采、建、管、用”统一平台


Lindorm和Dataphin同样都是沉淀了阿里巴巴内部经验,历经十余年打磨而来,此前已联手支撑了多家头部企业的数据需求,并获得高度认可。如今,Lindorm与Dataphin深度对接后的服务领域将进一步拓宽,覆盖数据搜索、分析、推理和治理等更丰富的链路,助力企业高效迈向智能化、数字化的未来。

相关文章
|
1月前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
128 3
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
687 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
1月前
|
安全 Java 数据库连接
Dataphin的数据共享的应用场景和方案
不同的业务场景对数据访问和使用有着各自独特的需求,从简单的数据下载到复杂的跨系统集成,选择合适的数据共享与访问方式至关重要。本文旨在探讨几种常见的Dataphin上的数据共享与访问机制——包括数据复制、数据下载、视图创建、行级及列级权限控制、API数据服务以及JDBC连接等,并分析它们各自的适用场景、优势及限制,以帮助企业更好地根据自身需求做出合理的选择。
|
2月前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库:实践技巧与方法
在Go语言项目中,与SQL数据库进行对接是一项基础且重要的任务
90 11
|
2月前
|
监控 关系型数据库 MySQL
如何升级MySQL数据库?
【10月更文挑战第16天】如何升级MySQL数据库?
|
4月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
2月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
5月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
2027 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
4月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
219 1
|
4月前
|
存储 C# 关系型数据库
“云端融合:WPF应用无缝对接Azure与AWS——从Blob存储到RDS数据库,全面解析跨平台云服务集成的最佳实践”
【8月更文挑战第31天】本文探讨了如何将Windows Presentation Foundation(WPF)应用与Microsoft Azure和Amazon Web Services(AWS)两大主流云平台无缝集成。通过具体示例代码展示了如何利用Azure Blob Storage存储非结构化数据、Azure Cosmos DB进行分布式数据库操作;同时介绍了如何借助Amazon S3实现大规模数据存储及通过Amazon RDS简化数据库管理。这不仅提升了WPF应用的可扩展性和可用性,还降低了基础设施成本。
95 0
下一篇
DataWorks