云原生多模数据库 Lindorm(二)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
简介: 云原生多模数据库 Lindorm(二)

开发者学习笔记【阿里云云数据库助理工程师(ACA)认证云原生多模数据库 Lindorm(二)

课程地址:https://edu.aliyun.com/course/3112080/lesson/19081


云原生多模数据库 Lindorm(二)


二、产品目标客户、应用场景及商业价值


图片61.png

目标市场趋势:

五年之内(2021~ 2025),物联网设备产生的数据将将占世界数据总量的90%以上。-Gartner

Mckinsey预测,工业物联网市场规模在2025年可能达到3.7万亿美元,全球物联美网市场将从2016年的1570亿美元增长到2020年的4570亿美元,复合年增长率(CAGR)为28.5%。到2020年,离散的制制造、运输和物流以及公用事业将引领所有行业在物联网支出方面的发展,平均每个行业为400亿美元。

智能楼宇、智能制造、车联网达到了3700万美元的规模

NPM、APM、日志分析、智能运维有180亿美元

安全审计、客户体验保障、运营监控有520亿美元这么大的市场空间必然需要数据帮构建数据化的应用。数据驱动的核心是引擎的优势场景。

图片62.png客户需求:

客户关注的数据存储检索技术问题

高并发传感器采集时序数据写入  --- 高并发写/端边云协同,Lindorm 数据库的优势所在

上百种工控协议对接、数据采集、同构存储  --- 多模数据存储检索

存在大量异构、分散数据孤岛,数据难以统一 --- 多模超融合数据检索

低价值密度监控数据廉价存储,实时分析 --- 高性价比存储方案,可以降低现有自建数据库的存储和运维的成本

流程工业以安全、稳定性保障为核心的传感器数据融合分析

离散工业以工序优化、产能优化为核心的海量监控数据统计 --- 面向业务的数据建模,数据分析多种IoT边缘设备/系统对接,以及云端融合做协同分析存储的能力。

客户案例:

我们的客户

图片63.png除了阿里集团内部的应用,还包括了一下的应用。

图片64.png

 

这些是阿里云内部的一些核心应用,用到 Lindorm 来支撑的一些业务。最大集群达到了10000节点,存储了300 PB 的数据,控制请求处理能力达到7个亿。

图片65.png

服务目标客户应用场景:

工控:在边缘端去对接 OPC、PLC 采集指标数据异常识别告警,以及实时监控指标的监控化

能源:电网系统需要对配电网和配电台区的负荷进行异常检测,预防大规模断电情况的发生

金融:银行信贷部门需要实时从企业账户流水中发现异常交易信息,可以快速的响应客户的请求,监控企业的日常经营行为

制造:汽车制造厂商需要监控发动机测试数据,检测不正常的功率和转速数据,不管是整车,生产线,还是车联网都需要 Lindorm 海量数据的存储和检测的能力,去监控各个数据,实时的检测各种异常,通知运营做应对

政府:物价局需要对城市各个超市和商铺的每个货物进行价格监控,追查不合理的价格波动,监控数据也会越来越大,来帮助我们进行海量的存储

互联网:在互联网运营和运维场景下,监控用户足迹,以及应用性能这些数据的采集会越来越多,存储的要求也会越来越大,从高维海量指标中找相似、相关性,在告警时解释异常,预测资源使用趋势,指导容量规划,节约一些超配的资源。

产品优势总结:

性价比:

1.分级异构存储,自动冷热分离。存储成本接近OSS

2. 10:1高压缩比,7倍HBase吞吐性能

3.Serverless按需计费

企业级:

1.99.99%高可用,P99时延<5ms

2.跨可用区容灾,自动故障诊断

3.企业级备份恢复

多引擎:

1.时序引擎:聚合计算、多维查询、SQL分析、预聚合、降采样

2.宽表引擎:灵活,无schema。大宽表数百万列。支持二级索引、SQL分析。

3.支持多引擎数据存储检索一体化

云原生:

1. 存储计算分离,独立扩容,弹性伸缩

2. Serverless服务,按需弹性

端边云一体:

1.边缘版本,满足边缘计算需求,提供边云同步能力。

2.端数据库,支持终端永久在线、端端同步、端边云同步。

商业价值总结:

易用:

1.从Kafka消费的数据,不需双写Lindorm,减少维护的复杂性,提升数据写入可用性

2.数据自动归档Spark分析,减少开发成本

可以将用户自建的多种用户的数据存储,比如文件存储、宽表存储合二为一,成为一个单独的一体化的数据库。

低成本:

1.毛刺时间从200ms降低为50ms,优化4倍

2.备库使用冷热分离功能,冷数据成本减少为1/3·Parquet格式分析效率提升1倍

用廉价的存储帮助用户解决海量的存储的问题,需要用户自己去筛选,那些需要存,哪些不需要存。有了全量数据就能以更高的精度去分析一些根源问题,或者预测一些趋势。

稳定:

1.两个Lindorm集群(热数据与全量数据)形成主备库,提供容灾,可用性SLA达到99.99%

2.分析结果通过BulkLoad回流,消除对在线Lindorm的影响

不管是在阿里集团内部,还是在外一些核心公司、政府或者能源企业都得到了磨练,稳定性是比同类产品高出很多,而且 SLA 达到99.99%

 

三、生态策略

图片66.png

开源数据生态对接

需要对接数据的生产方,比如数据的采集、应用性能采集的探针、日志采集的探针以及公共的 PLC 、OPC 这种协议,设备对接采集数据的传输,流数据计算等等的传输和存储还需要对接第三方现有数据源。在最后消费的时候还需要数据可视化的平台,以及事件高级的平台,这些都是需要对接的第三方的生态的厂商,或者开源的平台形成完整的解决方案,再去交互给客户,交互过程中也需要一整长帮助去实现用户定制的功能,或者做一些出场的运维形成完整的解决方案,才能满足未来客户的一体化的需求。

图片67.png

最后希望的一个状态就是超融合数据云之上的面对不同的行业,不同的厂商,来整合整体的数据类型方案,形成像车联网数据云,工业物联网数据云,IT运维监控数据云等垂直行业的数据云平台,以垂直行业数据云来支撑不同行业客户建设自己的数据应用,这样就可以形成更完美的数据解决方案,来创造购物价值。

相关实践学习
Lindorm AIGC:十分钟搞定智能问答 + 多模态检索
通过使用Lindorm AIGC体验版服务,十分钟搞定定制化智能问答和多模态检索。
相关文章
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云原生数据库 PolarDB MySQL:云原生时代的数据库新篇章
阿里云原生数据库 PolarDB MySQL,它是阿里云自主研发的下一代云原生关系型数据库。PolarDB具有多主多写、多活容灾、HTAP等特性,交易性能和存储容量均表现出色。此外,PolarDB MySQL Serverless具有动态弹性升降资源和全局一致性等特性,能够适应高吞吐写入和高并发业务场景。本文详细分析了PolarDB的性能、稳定性和可扩展性,以及它在成本、性能和稳定性方面的优势。PolarDB为企业提供了高效、可靠的数据库解决方案,是值得考虑的选择。
385 0
|
6月前
|
Cloud Native 关系型数据库 分布式数据库
《阿里云产品四月刊》—瑶池数据库云原生化和一体化产品能力升级
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
104 1
|
4月前
|
Cloud Native 数据库 开发者
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
|
4月前
|
Cloud Native 关系型数据库 分布式数据库
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
42 1
|
4月前
|
存储 SQL 运维
“震撼发布!PolarDB-X:云原生分布式数据库巨擘,超高并发、海量存储、复杂查询,一网打尽!错过等哭!”
【8月更文挑战第7天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
110 1
|
6月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
5月前
|
存储 关系型数据库 分布式数据库
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
【7月更文挑战第3天】PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题。此架构让存储层专注数据可靠性,计算层专注处理SQL,提升性能并降低运维复杂度。通过RDMA加速通信,多副本确保高可用性。资源可独立扩展,便于成本控制。动态添加计算节点以应对流量高峰,展示了其灵活性。PolarDB的开源促进了数据库技术的持续创新和发展。
300 2
|
5月前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库使用问题之如何将ADB中的数据导出到自建的MySQL数据库
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
5月前
|
开发框架 OLAP atlas
云原生数据仓库问题之LangChain支持向量数据库如何解决
云原生数据仓库问题之LangChain支持向量数据库如何解决
66 0
|
6月前
|
存储 关系型数据库 MySQL
云原生数据仓库AnalyticDB产品使用合集之是否支持rdb数据库实时同步
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
186 4