日行千里,全凭“车”况,为什么我们要升级平台

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

        历经一个半月的时间,不管是叫工业互联网平台还是叫工业大数据平台,从1.0版本升级到2.0版本,升级部分包括:客户端(网关)、服务端(数据接收、数据处理、计算服务)、底层数据库结构、WEB业务系统、WEB API接口和手机APP(Android和IOS等。很早就想对整体框架进行重构,碍于人力不能专一攻关,一直搁置到现在。尽管升级后还存在一些问题,但是就技术基础来讲,会支持更大的业务发展空间。

       对于体系化、标准化建设的系统任何一个节点的问题都有可能引发系统性问题,牵一发而动全身,要从系统工程思维和角度解决问题。作为技术人员,对于框架的升级要有推倒重来的勇气,涅盘重生,从而达到永生任何事情,亦如此

       把工业互联网(工业大数据)平台定位为云端操作系统,可以讲IAAS、PAAS、SAAS、公有云、私有云、混合云和工业APP等,但是要具备操作系统的基本特性,例如:即插即用、所见即所得;操作系统的镜像,很方便的“安装”部署。对于兼容工业协议困难、缺少机理模型、缺少工业APP等,要进行整体考虑,不能以点代面。有人说这个重要,有人说那个重要,在系统工程和体系化建设过程中任何一个节点都同等重要,不能割裂开看问题。提供IAAS资源的、做C/S软件的、有模型的、有业务系统APP的,就宣传自己是做工业互联网平台是不合适的。对于我们升级平台的目的,就是更好的支持将来云端操作系统的建设,但是要做好基础建设。

一.本次平台升级主要解决的问题

  1. 彻底解决网关层采集数据和传输数据的稳定性和效率。
  2. 解决云端数据交互中心后台配置存储到数据库,以更好的支持将来与WEB的交互以及分布式部署。
  3. 解决数据存储建模结构,从通讯协议到数据存储更好的支持业务数据和离散数据。
  4. 解决数据迁移过程中,行云历史数据库(Hadoop)关键字不兼容而引发的效率问题。
  5. 解决数据迁移过程中,造成数据丢失的问题。
  6. 解决WEB业务端和手机APP端开发业务标准化、便捷化的问题。

二.各部分简单介绍

1.系统框架

     对大数据平台的整个体系进行了完善和重构,主要解决历史遗留的主要问题,例如:数据建模与行云的兼容性问题、数据中间件集成的问题、数据存储结构问题、客户端性能和功能问题、业务系统的问题等等,因为是体系化、标准化建设,涉及到整体的改动。此次平台重构相当于从1.0版本升级到2.0版本,具备很好的兼容性和扩展性,方便以后开发业务,例如:数据分析和挖掘、AI算法等。

2.网关(客户端)重构

      以前的客户端遗留问题包括:(1)结构的解耦较差,从而成造成扩展性较差。(2)运行时,内存一直增加,造成不稳定因素。(3)采集数据方式单一,只支持高炉数据的转换。等等。现在从框架结构整体重构,主要解决上述4个主要问题,现在支持业务数据采集和转换、OPC数据采集,完全通过界面配置。在ServerSuperIO基础上开发。

3.数据交互中心升级

      服务端也是大数据平台的核心问题,涉及到高效和稳定,此次更新整体框架和站点驱动,改动比较大,为后续平台的整体扩展、上下行数据交互提供了极大的方便,可以构建和开发工业物联网核心的数据交互中心。C/S配置界面如下图,以后全部实现WEB端的配置与交互。在ServerSuperIO基础上开发。

4.分布式中间件重构

       数据库中间件是数据存储、处理的核心部分,现在集成了业务数据和离散数据的管理和操作,在底层数据存储包括元数据库、缓存数据库、计算数据库和历史数据库,相互之间通这数据迁移服务进行总体协调。中间件统一提供操作接口,供业务端的调用。

5.WEB业务系统的重构

      业务系统最终为用户提供人机对话,因为涉及到了后台数据建模的改变,所以业务系统也进行了较大的改动,例如对离散数据管理、相关功能的变动等,以后可以支持更多的业务功能扩展,不必现担心后台数据结构的问题而业务无法开展的问题。还在进一步的完善中。

6.手机APP

    手机APP现在集成了10个功能模块以及消息推送的功能,现在已经给现场用户使用,并发布到安卓(Android)应用市场和苹果(IOS)应用市场。

三.团队风采

       这个团队以90后为主,在发展的过程中每个人都经过多次转岗(数据中间件、APP、WEB、服务端、客户端、协议驱动等),都顶住了压力。最近平台升级,大家也是加班加点,尽管还不完美,但是前途是光明的。


 

物联网&集成技术 QQ群:54256083 

招聘C/S、B/S和手机端开发,请联系QQ:504547114

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 关系型数据库 MySQL
MySQL数据库的跨库查询和联合查询技巧
MySQL数据库的跨库查询和联合查询技巧
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
VideoWorld:字节开源自回归视频生成模型,支持输入视频指导AI生成视频!弥补文本生成视频的短板
VideoWorld 是由字节跳动、北京交通大学和中国科学技术大学联合推出的自回归视频生成模型,能够从未标注的视频数据中学习复杂知识,支持长期推理和规划任务。
949 8
VideoWorld:字节开源自回归视频生成模型,支持输入视频指导AI生成视频!弥补文本生成视频的短板
|
算法 Unix Linux
7z——拥有极高压缩比的开源压缩软件
【11月更文挑战第6天】7z 是一种开源压缩软件,具有高压缩比、开源特性、功能丰富、跨平台支持和良好兼容性等特点。它采用先进的压缩算法,支持大文件、加密和多种压缩格式,广泛应用于个人和企业文件管理。
913 3
|
JavaScript 前端开发 API
VScode插件推荐(web开发)
VScode插件推荐(web开发)
VScode插件推荐(web开发)
|
3天前
|
弹性计算 运维 搜索推荐
三翼鸟携手阿里云ECS g9i:智慧家庭场景的效能革命与未来生活新范式
三翼鸟是海尔智家旗下全球首个智慧家庭场景品牌,致力于提供覆盖衣、食、住、娱的一站式全场景解决方案。截至2025年,服务近1亿家庭,连接设备超5000万台。面对高并发、低延迟与稳定性挑战,全面升级为阿里云ECS g9i实例,实现连接能力提升40%、故障率下降90%、响应速度提升至120ms以内,成本降低20%,推动智慧家庭体验全面跃迁。
|
4天前
|
数据采集 人工智能 自然语言处理
3分钟采集134篇AI文章!深度解析如何通过云无影AgentBay实现25倍并发 + LlamaIndex智能推荐
结合阿里云无影 AgentBay 云端并发采集与 LlamaIndex 智能分析,3分钟高效抓取134篇 AI Agent 文章,实现 AI 推荐、智能问答与知识沉淀,打造从数据获取到价值提炼的完整闭环。
366 91
|
4天前
|
SQL 人工智能 自然语言处理
Geo优化SOP标准化:于磊老师的“人性化Geo”体系如何助力企业获客提效46%
随着生成式AI的普及,Geo优化(Generative Engine Optimization)已成为企业获客的新战场。然而,缺乏标准化流程(Geo优化sop)导致优化效果参差不齐。本文将深入探讨Geo专家于磊老师提出的“人性化Geo”优化体系,并展示Geo优化sop标准化如何帮助企业实现获客效率提升46%的惊人效果,为企业在AI时代构建稳定的流量护城河。
381 156
Geo优化SOP标准化:于磊老师的“人性化Geo”体系如何助力企业获客提效46%