日行千里,全凭“车”况,为什么我们要升级平台

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

        历经一个半月的时间,不管是叫工业互联网平台还是叫工业大数据平台,从1.0版本升级到2.0版本,升级部分包括:客户端(网关)、服务端(数据接收、数据处理、计算服务)、底层数据库结构、WEB业务系统、WEB API接口和手机APP(Android和IOS等。很早就想对整体框架进行重构,碍于人力不能专一攻关,一直搁置到现在。尽管升级后还存在一些问题,但是就技术基础来讲,会支持更大的业务发展空间。

       对于体系化、标准化建设的系统任何一个节点的问题都有可能引发系统性问题,牵一发而动全身,要从系统工程思维和角度解决问题。作为技术人员,对于框架的升级要有推倒重来的勇气,涅盘重生,从而达到永生任何事情,亦如此

       把工业互联网(工业大数据)平台定位为云端操作系统,可以讲IAAS、PAAS、SAAS、公有云、私有云、混合云和工业APP等,但是要具备操作系统的基本特性,例如:即插即用、所见即所得;操作系统的镜像,很方便的“安装”部署。对于兼容工业协议困难、缺少机理模型、缺少工业APP等,要进行整体考虑,不能以点代面。有人说这个重要,有人说那个重要,在系统工程和体系化建设过程中任何一个节点都同等重要,不能割裂开看问题。提供IAAS资源的、做C/S软件的、有模型的、有业务系统APP的,就宣传自己是做工业互联网平台是不合适的。对于我们升级平台的目的,就是更好的支持将来云端操作系统的建设,但是要做好基础建设。

一.本次平台升级主要解决的问题

  1. 彻底解决网关层采集数据和传输数据的稳定性和效率。
  2. 解决云端数据交互中心后台配置存储到数据库,以更好的支持将来与WEB的交互以及分布式部署。
  3. 解决数据存储建模结构,从通讯协议到数据存储更好的支持业务数据和离散数据。
  4. 解决数据迁移过程中,行云历史数据库(Hadoop)关键字不兼容而引发的效率问题。
  5. 解决数据迁移过程中,造成数据丢失的问题。
  6. 解决WEB业务端和手机APP端开发业务标准化、便捷化的问题。

二.各部分简单介绍

1.系统框架

     对大数据平台的整个体系进行了完善和重构,主要解决历史遗留的主要问题,例如:数据建模与行云的兼容性问题、数据中间件集成的问题、数据存储结构问题、客户端性能和功能问题、业务系统的问题等等,因为是体系化、标准化建设,涉及到整体的改动。此次平台重构相当于从1.0版本升级到2.0版本,具备很好的兼容性和扩展性,方便以后开发业务,例如:数据分析和挖掘、AI算法等。

2.网关(客户端)重构

      以前的客户端遗留问题包括:(1)结构的解耦较差,从而成造成扩展性较差。(2)运行时,内存一直增加,造成不稳定因素。(3)采集数据方式单一,只支持高炉数据的转换。等等。现在从框架结构整体重构,主要解决上述4个主要问题,现在支持业务数据采集和转换、OPC数据采集,完全通过界面配置。在ServerSuperIO基础上开发。

3.数据交互中心升级

      服务端也是大数据平台的核心问题,涉及到高效和稳定,此次更新整体框架和站点驱动,改动比较大,为后续平台的整体扩展、上下行数据交互提供了极大的方便,可以构建和开发工业物联网核心的数据交互中心。C/S配置界面如下图,以后全部实现WEB端的配置与交互。在ServerSuperIO基础上开发。

4.分布式中间件重构

       数据库中间件是数据存储、处理的核心部分,现在集成了业务数据和离散数据的管理和操作,在底层数据存储包括元数据库、缓存数据库、计算数据库和历史数据库,相互之间通这数据迁移服务进行总体协调。中间件统一提供操作接口,供业务端的调用。

5.WEB业务系统的重构

      业务系统最终为用户提供人机对话,因为涉及到了后台数据建模的改变,所以业务系统也进行了较大的改动,例如对离散数据管理、相关功能的变动等,以后可以支持更多的业务功能扩展,不必现担心后台数据结构的问题而业务无法开展的问题。还在进一步的完善中。

6.手机APP

    手机APP现在集成了10个功能模块以及消息推送的功能,现在已经给现场用户使用,并发布到安卓(Android)应用市场和苹果(IOS)应用市场。

三.团队风采

       这个团队以90后为主,在发展的过程中每个人都经过多次转岗(数据中间件、APP、WEB、服务端、客户端、协议驱动等),都顶住了压力。最近平台升级,大家也是加班加点,尽管还不完美,但是前途是光明的。


 

物联网&集成技术 QQ群:54256083 

招聘C/S、B/S和手机端开发,请联系QQ:504547114

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
数据采集 存储 监控
汽车产线生产管控实操
通过阿里云工业物联生产管控平台,快速实现产线设备数据采集、存储、组态交付、反馈控制和指标定义及工艺优化。
201 0
|
传感器 人工智能 达摩院
“蜀道”再升级!车路协同导航服务为司机带来新体验
“蜀道”再升级!车路协同导航服务为司机带来新体验
204 0
|
传感器 编解码 供应链
说好今年交付的这些智能车,谁比较容易跳票?
说好今年交付的这些智能车,谁比较容易跳票?
167 0
说好今年交付的这些智能车,谁比较容易跳票?
|
定位技术 Android开发 数据安全/隐私保护
丁盯智能门磁,轻量级的智能安防产品 | 玩啥分享
一提到智能安防,大多数的人想到的都是智能摄像头,然而越来越多的厂商扎堆,让这个看似商机无限的智能安防行业,已经杀得招招见红,而就在此时,云丁网络推出了全新的智能安防产品——丁盯智能门磁。
432 0
丁盯智能门磁,轻量级的智能安防产品 | 玩啥分享
|
人工智能 监控 iOS开发
AI健身+家电互联 创维智慧屏Q60升级了新功能
去年彩电行业的智慧屏潮流中,创维推出了一款中端产品Q60,近几天他们召开线上发布会,对Q60等产品进行了升级,将一些更新完毕的智能家居、家电互联、社交娱乐、大屏聊天、AI健身等智慧屏功能加到了其中。
244 0
AI健身+家电互联 创维智慧屏Q60升级了新功能
|
小程序 物联网 SoC
阿里云AIoT联合绿源电动车推出天猫“出行甄选”智能电动车,智能车商家平台“千里寻迹”平台同步上线
6月18日,阿里云AIoT联合绿源电动车打造的轻智能电动车COCO2正式在天猫商城“绿源旗舰店”售卖。此款智能电动车不仅能让用户实现手机即钥匙,还有手机同步查询车辆精准电量的全新体验。同时,阿里云AIoT研发的“千里寻迹”电动车商家管理平台同步上线。绿源作为第一批入驻商家,可以在此平台快速创建智能电动车产品模型,远程管理智能电动车状态,掌控智能电动车从工厂到端的每一个环节的数据。
496 0
阿里云AIoT联合绿源电动车推出天猫“出行甄选”智能电动车,智能车商家平台“千里寻迹”平台同步上线
|
传感器 自然语言处理 算法
展望︱超级电脑般的智能汽车
在功能机的时代,上网只是手机的附带功能,而在智能机时代,手机变成了能打电话的电脑。同样的变革会发生在汽车行业吗?
|
监控 安全 5G
北理工开发5G无人配送车,支持人脸识别和体温检测,已部署中关村校区
北理工开发5G无人配送车,支持人脸识别和体温检测,已部署中关村校区
160 0
|
监控 安全 物联网
智能防疫战再升级,阿里云推出智能体温远程监控方案
在防控新型冠状病毒疫情中,体温排查是社区工作的重中之重!而传统的接触式体温检测很容易造成交叉感染。为此,阿里云联合硬件方案商快速推出了温控宝智能体温远程监控方案。
2759 0
智能防疫战再升级,阿里云推出智能体温远程监控方案