云原生多模数据库 Lindorm(二)

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,通用型 2核4GB
简介: 云原生多模数据库 Lindorm(二)

开发者学习笔记【阿里云云数据库助理工程师(ACA)认证云原生多模数据库 Lindorm(二)

课程地址:https://edu.aliyun.com/course/3112080/lesson/19081


云原生多模数据库 Lindorm(二)


二、产品目标客户、应用场景及商业价值


图片61.png

目标市场趋势:

五年之内(2021~ 2025),物联网设备产生的数据将将占世界数据总量的90%以上。-Gartner

Mckinsey预测,工业物联网市场规模在2025年可能达到3.7万亿美元,全球物联美网市场将从2016年的1570亿美元增长到2020年的4570亿美元,复合年增长率(CAGR)为28.5%。到2020年,离散的制制造、运输和物流以及公用事业将引领所有行业在物联网支出方面的发展,平均每个行业为400亿美元。

智能楼宇、智能制造、车联网达到了3700万美元的规模

NPM、APM、日志分析、智能运维有180亿美元

安全审计、客户体验保障、运营监控有520亿美元这么大的市场空间必然需要数据帮构建数据化的应用。数据驱动的核心是引擎的优势场景。

图片62.png客户需求:

客户关注的数据存储检索技术问题

高并发传感器采集时序数据写入  --- 高并发写/端边云协同,Lindorm 数据库的优势所在

上百种工控协议对接、数据采集、同构存储  --- 多模数据存储检索

存在大量异构、分散数据孤岛,数据难以统一 --- 多模超融合数据检索

低价值密度监控数据廉价存储,实时分析 --- 高性价比存储方案,可以降低现有自建数据库的存储和运维的成本

流程工业以安全、稳定性保障为核心的传感器数据融合分析

离散工业以工序优化、产能优化为核心的海量监控数据统计 --- 面向业务的数据建模,数据分析多种IoT边缘设备/系统对接,以及云端融合做协同分析存储的能力。

客户案例:

我们的客户

图片63.png除了阿里集团内部的应用,还包括了一下的应用。

图片64.png

 

这些是阿里云内部的一些核心应用,用到 Lindorm 来支撑的一些业务。最大集群达到了10000节点,存储了300 PB 的数据,控制请求处理能力达到7个亿。

图片65.png

服务目标客户应用场景:

工控:在边缘端去对接 OPC、PLC 采集指标数据异常识别告警,以及实时监控指标的监控化

能源:电网系统需要对配电网和配电台区的负荷进行异常检测,预防大规模断电情况的发生

金融:银行信贷部门需要实时从企业账户流水中发现异常交易信息,可以快速的响应客户的请求,监控企业的日常经营行为

制造:汽车制造厂商需要监控发动机测试数据,检测不正常的功率和转速数据,不管是整车,生产线,还是车联网都需要 Lindorm 海量数据的存储和检测的能力,去监控各个数据,实时的检测各种异常,通知运营做应对

政府:物价局需要对城市各个超市和商铺的每个货物进行价格监控,追查不合理的价格波动,监控数据也会越来越大,来帮助我们进行海量的存储

互联网:在互联网运营和运维场景下,监控用户足迹,以及应用性能这些数据的采集会越来越多,存储的要求也会越来越大,从高维海量指标中找相似、相关性,在告警时解释异常,预测资源使用趋势,指导容量规划,节约一些超配的资源。

产品优势总结:

性价比:

1.分级异构存储,自动冷热分离。存储成本接近OSS

2. 10:1高压缩比,7倍HBase吞吐性能

3.Serverless按需计费

企业级:

1.99.99%高可用,P99时延<5ms

2.跨可用区容灾,自动故障诊断

3.企业级备份恢复

多引擎:

1.时序引擎:聚合计算、多维查询、SQL分析、预聚合、降采样

2.宽表引擎:灵活,无schema。大宽表数百万列。支持二级索引、SQL分析。

3.支持多引擎数据存储检索一体化

云原生:

1. 存储计算分离,独立扩容,弹性伸缩

2. Serverless服务,按需弹性

端边云一体:

1.边缘版本,满足边缘计算需求,提供边云同步能力。

2.端数据库,支持终端永久在线、端端同步、端边云同步。

商业价值总结:

易用:

1.从Kafka消费的数据,不需双写Lindorm,减少维护的复杂性,提升数据写入可用性

2.数据自动归档Spark分析,减少开发成本

可以将用户自建的多种用户的数据存储,比如文件存储、宽表存储合二为一,成为一个单独的一体化的数据库。

低成本:

1.毛刺时间从200ms降低为50ms,优化4倍

2.备库使用冷热分离功能,冷数据成本减少为1/3·Parquet格式分析效率提升1倍

用廉价的存储帮助用户解决海量的存储的问题,需要用户自己去筛选,那些需要存,哪些不需要存。有了全量数据就能以更高的精度去分析一些根源问题,或者预测一些趋势。

稳定:

1.两个Lindorm集群(热数据与全量数据)形成主备库,提供容灾,可用性SLA达到99.99%

2.分析结果通过BulkLoad回流,消除对在线Lindorm的影响

不管是在阿里集团内部,还是在外一些核心公司、政府或者能源企业都得到了磨练,稳定性是比同类产品高出很多,而且 SLA 达到99.99%

 

三、生态策略

图片66.png

开源数据生态对接

需要对接数据的生产方,比如数据的采集、应用性能采集的探针、日志采集的探针以及公共的 PLC 、OPC 这种协议,设备对接采集数据的传输,流数据计算等等的传输和存储还需要对接第三方现有数据源。在最后消费的时候还需要数据可视化的平台,以及事件高级的平台,这些都是需要对接的第三方的生态的厂商,或者开源的平台形成完整的解决方案,再去交互给客户,交互过程中也需要一整长帮助去实现用户定制的功能,或者做一些出场的运维形成完整的解决方案,才能满足未来客户的一体化的需求。

图片67.png

最后希望的一个状态就是超融合数据云之上的面对不同的行业,不同的厂商,来整合整体的数据类型方案,形成像车联网数据云,工业物联网数据云,IT运维监控数据云等垂直行业的数据云平台,以垂直行业数据云来支撑不同行业客户建设自己的数据应用,这样就可以形成更完美的数据解决方案,来创造购物价值。

相关实践学习
新能源电动车监控数据上报
本场景介绍了阿里云原生数据库Lindorm定位智能海量数据存储场景,可提供车辆数据实时监控,助力建立驾驶行为分析等服务。
相关文章
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云PolarDB云原生数据库:重塑企业级数据库的新标杆
阿里云PolarDB云原生数据库凭借其出色的性能、可扩展性、稳定性以及Serverless能力,成为企业级数据库的新标杆。它能够快速响应业务需求,灵活伸缩资源,确保系统稳定可靠。同时,PolarDB还提供全面的数据加密、访问控制和审计功能,确保用户数据的安全性。此外,它还支持与第三方工具和服务提供商的集成,提供更多定制化的解决方案。总之,阿里云PolarDB云原生数据库为企业提供了一种高效、可靠、经济的数据库解决方案,值得企业考虑选择。
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云原生数据库 PolarDB MySQL:云原生时代的数据库新篇章
阿里云原生数据库 PolarDB MySQL,它是阿里云自主研发的下一代云原生关系型数据库。PolarDB具有多主多写、多活容灾、HTAP等特性,交易性能和存储容量均表现出色。此外,PolarDB MySQL Serverless具有动态弹性升降资源和全局一致性等特性,能够适应高吞吐写入和高并发业务场景。本文详细分析了PolarDB的性能、稳定性和可扩展性,以及它在成本、性能和稳定性方面的优势。PolarDB为企业提供了高效、可靠的数据库解决方案,是值得考虑的选择。
308 0
|
1月前
|
Cloud Native 关系型数据库 分布式数据库
**PolarDB IMCI:云原生时代的智能数据库新选择**
**PolarDB IMCI:云原生时代的智能数据库新选择**
26 4
|
4月前
|
Kubernetes Cloud Native 数据库
云原生|kubernetes|etcd数据库增删改查
云原生|kubernetes|etcd数据库增删改查
67 0
|
4月前
|
SQL Cloud Native 关系型数据库
云原生分布式数据库有哪些
云原生分布式数据库有哪些
69 0
|
4月前
|
存储 SQL Cloud Native
云原生多模数据库
云原生多模数据库
|
7月前
|
存储 Cloud Native 容灾
云原生下的数据库备份发展趋势(DBS)
云原生下的数据库备份发展趋势(DBS)
142 0
|
7月前
|
存储 Cloud Native 多模数据库
云原生多模数据库 Lindorm(一)
云原生多模数据库 Lindorm(一)
193 0
|
2月前
|
存储 人工智能 Cloud Native
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
|
7月前
|
存储 SQL 机器学习/深度学习
VLDB论文解读|一文剖析阿里云Lindorm数据库在DB for AI领域的探索
论文主要针对大规模监控场景下海量时序数据的存储、访问、分析和管理带来的挑战,描述了阿里云多模数据库 Lindorm 带来的一站式解决方案。