2016美国QCon“见证”:IoT未来已来,我们应该关注什么?

简介: IoT一直是雷声大雨点小,但是在今年的会议上无论是演讲篇幅还是披露的相关进展都在预示着一个新的时代的来临,IoT的爆发只是个时间的问题,等待的只是那个临门一脚,正如智能手机爆发的前夜

编者按:IoT一直是雷声大雨点小,但是在今年的会议上无论是演讲篇幅还是披露的相关进展都在预示着一个新的时代的来临,IoT的爆发只是个时间的问题,等待的只是那个临门一脚,正如智能手机爆发的前夜。IoT相关的技术储备从标准、硬件到软件生态都已经就绪,从商业上来看IoT也在各个领域如物流、医疗健康、智能硬件、汽车等行业慢慢渗透,但是目前IoT的价值还没有完全显现出来,IoT的核心还是在于数据,只有当数据产生、蓄积、流转并产生价值之后IoT才会展现出他真正的威力和应有的地位。

         IoT(Internet of Things 物联网)最近几年才开始热起来,但是严格来讲IoT已经存在了很长时间,如工业设施中的一些传感器网络、用于气象采集和地震数据采集的网络、超市或停车场的NFC网络等等,只不过在IoT成为一种显学之前这些数据都是孤立的,每一个网络都是一个信息孤岛,只有当这些网络联通、其中的数据能够流转并能持续产生价值并重塑每个行业的时候IoT才算真正地降临。

         本次大会IoT也得到了很多的关注,来自Riak的同行分享了对IoT的理解和思考,以及对IoT数据处理的一些探索,Riak本身也IoT数据处理方面积极做准备。主讲人对IoT相关的行业做了一些梳理,主要有:制造业、交通、国防、农业、矿物勘探及采油、保险、智能家庭、餐饮、基建、零售、物流、银行、医疗、保健、智能建筑、公共设施等。根据披露的数据,IoT 2016年的市场规模在64亿美金左右,2020年会到达210亿美金,平均每年增长率在30%左右,平均每天有550万个设备被激活,到2020年时我们的生产和生活有一半都是和IoT相关,大约会有6万亿美金投资在IoT解决方案上,而硬件和应用开发会占大头:

845ae296f1b58f75ff0ca2adaff479042cd76163

         所以对于IoT项目来讲,需要关注以下几个方面:

         A:IoT相关的协议(如CoAP,MQTT,HTTP)、会产生哪些数据(温度、湿度、位置、速度等),厘清这些之后并投入

         B:实现数据收集的协议和解析过程,然后把这些数据存储/汇集在“Data Lake”中

         C:数据存储在“Data Lake”后,对数据进行分析挖掘然后用以预测和发现未知

         整体架构如图:

8affa864ce2dfc30974ce08fe2e6b2738cf575f5

         但是如作者所说,整个过程是漫长和浩大的。

         而且IoT的生态也是足够复杂,如图:

 8016074cf4477f50cab4c43c8ac38479529fe751

10f3a8b6bcd58e43ef1876226e84e829408eea2f

         在IoT的整个数据链条上,作者给出了一个wishlist:

         A:网络可靠性,如光纤网络

         B:数据投递,需要专用的管道

         C:端到端低延迟,需要足够强的信号

         D:服务质量,扛干扰和交串

         E:工程拓扑,需要高的信噪比

         F:承诺信息速率,需要低的误码率


         但实际情况要糟糕很多:

         A:无线技术,采用的都是低成本的硬件

         B:共享传输媒介,采用的是低功耗的无线电传输

         C:带宽受限,采用的是很短的天线

         D:Mesh或Ad-hoc拓扑技术,采用的是定制的firmware

         E:很可能有信号干扰,采用的是CoAP协议

         F:乱序或者丢包,采用“shoot and forget”的模式

        

         IoT是不折不扣的大数据,数据的特点有:

         速度:大量的small writes,低延迟读很多,流式更新;

         多样性:传感器数据、用户和设备资料、时序数据;

         规模上:开始很小,增长很快7*24*365,会随业务爆发,需要很好的retention策略;

         精确性:由于设备成本低精度低,所以不能假设是可靠的,数据可能会损坏或者在传输过程中丢失;

         价值:profiles和summaries数据会比原始数据有价值,近期的原始数据会比历史数据更有价值,聚合出的数据会比原始数据更有价值

           复杂性:数据schema比较简单,为了速度和灵活性考虑会有些非结构化的数据

        

         处理这些IoT大数据需要的技术能力有:

         处理原始时序数据:吞吐高,能快速读取最新数据

         处理聚合的时序数据:SQL查询、聚合、数学运算、用于分析的大块查询、二级索引

         高效存储:自动数据过期、压缩、热备

         处理Profiles和元数据:并行低延迟读、可靠写、结构化和半结构化、二级索引和文本索引

         可扩展性和可用性:分布式、线性扩展 scale up/down

         易操作:架构无master、自动均衡、可滚动升级

        

可用于存储这些IoT数据的数据库有:

949180a5a0070c18f83dc06fff14b1cbf36da133


处理IoT数据的完整技术栈有:

bd599e6fb832d9a39a78519d49542e0a277aec43


来自ApsaraDB的解决方案有:

Relational

K-V

Document

Wide Colunmn

Graph

Time Series

MySQL

Redis

MongoDB

HBase

PetaData

SQL Server

MemCache

 

 

 

 

PostgreSQL

 

 

 

 

 

    

    值得一提的是ApsaraDB的PetaData产品是一个支持PB级别存储的分布式关系数据库,底层采用TokuDB引擎,压缩比在10:1左右,而且PetaData支持按时间Retention,所以天然是个时序数据库,PetaData还自带搜索功能,支持丰富的全文搜索,PetaData也是OLTP和OLAP的融合,所以算是IoT时代的一把利器,这也是ApsaraDB对IoT对未来的投资。


    总结:IoT喊了那么多年,终于要从闺阁下楼了,但是IoT实在太大,是远比移动互联网要大得多、包容得多的生态,每个人每个行业都会或主动或被动成为这个生态中的一环或多环。在IoT时代,大家的区别会来自于对数据理解深度的高低不同,在数据面前,传统公司和所谓的互联网公司地位是等同的,未来属于能真正洞察数据的个人和组织。当下,我们能做的就是为此做好技术和人力储备,然后等风来。

相关文章
|
5月前
|
人工智能 弹性计算 机器人
Hermes Agent怎样部署?阿里云推出三种一键快速部署方案,总有一种适合你!
Hermes Agent是由Nous Research开发的开源自主AI智能体,部署于本地服务器,具备持久记忆与自我学习闭环(自主建技、持续优化、跨会话召回),真正“越用越聪明”。阿里云提供计算巢、无影云电脑、轻量应用服务器三种一键部署方案,开箱即用。
1289 9
|
弹性计算 运维 负载均衡
SLB介绍
SLB产品介绍
1267 4
|
Java Apache Maven
Maven 项目文档
本教程聚焦于创建Maven项目文档。在C:/MVN目录下,使用命令`mvn archetype:generate -DgroupId=com.companyname.bank -DartifactId=consumerBanking -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false`生成`consumerBanking`项目。为解决`mvn site`命令执行时的`NoClassDefFoundError`
|
存储 消息中间件 人工智能
数据结构与集合源码
数据结构与集合源码
223 0
|
机器学习/深度学习 算法 安全
Nature Cancer | 发现非肿瘤药物的抗癌潜力
Nature Cancer | 发现非肿瘤药物的抗癌潜力
703 0
Nature Cancer | 发现非肿瘤药物的抗癌潜力
|
存储 运维 Kubernetes
2021 年云原生技术发展现状及未来趋势
个人有幸担任了 2021 年 GIAC 会议云原生专场的出品人兼讲师,组织了前后四个场子的演讲,在这个过程中个人同时作为听众从这些同行的演讲中学到了很多非常有用的知识。本文算是对 2021 GIAC 云原生专场的侧记,管中窥豹,以观 2021 年云原生技术发展现状及未来一段时间内的趋势。 云原生这个词含义广泛,涉及到资源的高效利用、交付、部署及运维等方方面面。从系统层次分可以区分出云原生基础设置【如存储、网络、管理平台 K8s】、云原生中间件、云原生应用架构以及云原生交付运维体系,本次专场的四个议题也基本涵盖了这四大方向.
2021 年云原生技术发展现状及未来趋势
|
Web App开发 分布式计算 Serverless
Technological Revolution in Serverless
Serverless architecture grew out of cloud computing. It inherits all the advantages of cloud computing while being extremely flexible, cost effective, and maintenance free.
414 0
|
8天前
|
人工智能 自然语言处理 安全
阿里云千问办公 QwenWork详细介绍:产品核心能力、典型场景、价格及常见问题解答
千问办公是阿里云推出的一站式AI办公平台,主打"不止于对话,更注重交付",依托通义千问旗舰大模型,用户一句话即可完成数据分析、PPT生成、视频剪辑等复杂任务,直接输出可用成果。产品深度打通钉钉生态与企业OA,覆盖桌面端、网页端,提供企业标准版198元/人/月等多档订阅方案,新用户注册即赠2000积分,适配工程师、HR、财务等多职业办公场景,成为能动手干活的"全能AI同事"。
|
9天前
|
人工智能 API 内存技术
刚刚 DeepSeek V4.1 Flash 开启内测,1 分钟教你用上!
刚刚 DeepSeek 内测群发布了 DeepSeek V4.1 Flash 中间版本内测的消息,这次的模型采用了新的结构,原生支持多模态、能力更强、速度更快、且成本更低。
1877 15

热门文章

最新文章