开发者学习笔记【阿里云云数据库助理工程师(ACA)认证:云原生多模数据库 Lindorm(二)】
课程地址:https://edu.aliyun.com/course/3112080/lesson/19081
云原生多模数据库 Lindorm(二)
二、产品目标客户、应用场景及商业价值
目标市场趋势:
五年之内(2021~ 2025),物联网设备产生的数据将将占世界数据总量的90%以上。-Gartner
Mckinsey预测,工业物联网市场规模在2025年可能达到3.7万亿美元,全球物联美网市场将从2016年的1570亿美元增长到2020年的4570亿美元,复合年增长率(CAGR)为28.5%。到2020年,离散的制制造、运输和物流以及公用事业将引领所有行业在物联网支出方面的发展,平均每个行业为400亿美元。
智能楼宇、智能制造、车联网达到了3700万美元的规模
NPM、APM、日志分析、智能运维有180亿美元
安全审计、客户体验保障、运营监控有520亿美元这么大的市场空间必然需要数据帮构建数据化的应用。数据驱动的核心是引擎的优势场景。
客户需求:
客户关注的数据存储检索技术问题
高并发传感器采集时序数据写入 --- 高并发写/端边云协同,Lindorm 数据库的优势所在
上百种工控协议对接、数据采集、同构存储 --- 多模数据存储检索
存在大量异构、分散数据孤岛,数据难以统一 --- 多模超融合数据检索
低价值密度监控数据廉价存储,实时分析 --- 高性价比存储方案,可以降低现有自建数据库的存储和运维的成本
流程工业以安全、稳定性保障为核心的传感器数据融合分析
离散工业以工序优化、产能优化为核心的海量监控数据统计 --- 面向业务的数据建模,数据分析多种IoT边缘设备/系统对接,以及云端融合做协同分析存储的能力。
客户案例:
我们的客户
除了阿里集团内部的应用,还包括了一下的应用。
这些是阿里云内部的一些核心应用,用到 Lindorm 来支撑的一些业务。最大集群达到了10000节点,存储了300 PB 的数据,控制请求处理能力达到7个亿。
服务目标客户应用场景:
工控:在边缘端去对接 OPC、PLC 采集指标数据异常识别告警,以及实时监控指标的监控化
能源:电网系统需要对配电网和配电台区的负荷进行异常检测,预防大规模断电情况的发生
金融:银行信贷部门需要实时从企业账户流水中发现异常交易信息,可以快速的响应客户的请求,监控企业的日常经营行为
制造:汽车制造厂商需要监控发动机测试数据,检测不正常的功率和转速数据,不管是整车,生产线,还是车联网都需要 Lindorm 海量数据的存储和检测的能力,去监控各个数据,实时的检测各种异常,通知运营做应对
政府:物价局需要对城市各个超市和商铺的每个货物进行价格监控,追查不合理的价格波动,监控数据也会越来越大,来帮助我们进行海量的存储
互联网:在互联网运营和运维场景下,监控用户足迹,以及应用性能这些数据的采集会越来越多,存储的要求也会越来越大,从高维海量指标中找相似、相关性,在告警时解释异常,预测资源使用趋势,指导容量规划,节约一些超配的资源。
产品优势总结:
性价比:
1.分级异构存储,自动冷热分离。存储成本接近OSS
2. 10:1高压缩比,7倍HBase吞吐性能
3.Serverless按需计费
企业级:
1.99.99%高可用,P99时延<5ms
2.跨可用区容灾,自动故障诊断
3.企业级备份恢复
多引擎:
1.时序引擎:聚合计算、多维查询、SQL分析、预聚合、降采样
2.宽表引擎:灵活,无schema。大宽表数百万列。支持二级索引、SQL分析。
3.支持多引擎数据存储检索一体化
云原生:
1. 存储计算分离,独立扩容,弹性伸缩
2. Serverless服务,按需弹性
端边云一体:
1.边缘版本,满足边缘计算需求,提供边云同步能力。
2.端数据库,支持终端永久在线、端端同步、端边云同步。
商业价值总结:
易用:
1.从Kafka消费的数据,不需双写Lindorm,减少维护的复杂性,提升数据写入可用性
2.数据自动归档Spark分析,减少开发成本
可以将用户自建的多种用户的数据存储,比如文件存储、宽表存储合二为一,成为一个单独的一体化的数据库。
低成本:
1.毛刺时间从200ms降低为50ms,优化4倍
2.备库使用冷热分离功能,冷数据成本减少为1/3·Parquet格式分析效率提升1倍
用廉价的存储帮助用户解决海量的存储的问题,需要用户自己去筛选,那些需要存,哪些不需要存。有了全量数据就能以更高的精度去分析一些根源问题,或者预测一些趋势。
稳定:
1.两个Lindorm集群(热数据与全量数据)形成主备库,提供容灾,可用性SLA达到99.99%
2.分析结果通过BulkLoad回流,消除对在线Lindorm的影响
不管是在阿里集团内部,还是在外一些核心公司、政府或者能源企业都得到了磨练,稳定性是比同类产品高出很多,而且 SLA 达到99.99%
三、生态策略
开源数据生态对接
需要对接数据的生产方,比如数据的采集、应用性能采集的探针、日志采集的探针以及公共的 PLC 、OPC 这种协议,设备对接采集数据的传输,流数据计算等等的传输和存储还需要对接第三方现有数据源。在最后消费的时候还需要数据可视化的平台,以及事件高级的平台,这些都是需要对接的第三方的生态的厂商,或者开源的平台形成完整的解决方案,再去交互给客户,交互过程中也需要一整长帮助去实现用户定制的功能,或者做一些出场的运维形成完整的解决方案,才能满足未来客户的一体化的需求。
最后希望的一个状态就是超融合数据云之上的面对不同的行业,不同的厂商,来整合整体的数据类型方案,形成像车联网数据云,工业物联网数据云,IT运维监控数据云等垂直行业的数据云平台,以垂直行业数据云来支撑不同行业客户建设自己的数据应用,这样就可以形成更完美的数据解决方案,来创造购物价值。