前沿分享|上海市新能源汽车数据平台 王成名: 车联网全景监控数据时空超融合数据库方案

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 Tair(兼容Redis),内存型 2GB
简介: 本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中,上海市新能源汽车数据平台 王成名关于“车联网全景监控数据时空超融合数据库方案”的分享。

4f6a613a3f48b6c42ab925f943464c85.jpeg

上海市新能源汽车公共数据采集与监测研究中心技术总监——王成名


本文将通过三个部分来介绍车联网全景监控数据时空超融合数据库方案。(基于2021云栖大会“企业级云原生数据库最佳实践”分论坛演讲内容整理而成)


一、数据中心平台业务简介

二、平台技术架构

三、平台愿景与目标


image001.png

一、数据中心平台业务简介


首先,我简单介绍下我们的组织以及我们所做的业务。我们是做上海市新能源汽车数据中心。我们所做的业务是接入全上海市所有新能源汽车的数据,包含乘用车、商用车、物流、大巴等电动汽车数据的全接入。目前我们平台接入数据量接近60万辆车。我们的数据规模已经接近1.5个PB,上图是我们的监管大数据平台。


image003.png


我们数据接入是按照新能源汽车安全监管32960进行数据采集,其中包含38项静态数据和80多项的动态数据。包括以车辆VIN码为基础的整车数据、发动电机、驱动电机、电池以及报警等8大类数据。这些数据是典型的物联网时序数据。我们需要对这些数据进行存储分析并应用。


image005.png


同时,我们是多元的数据架构,我们不但有政府委托的数据采集管理,还有国际合作项目。我们有新能源汽车数据平台、氢能源车站一体化平台、电池溯源管理平台、可再生能源管理平台以及智能网联汽车管理平台。我们的目标是要努力建设成为世界级汽车产业中心的核心数据中心。


image007.png


我们基于数据面向政府,为政府政策的制定、执行和后评估提供有效数据支撑,比如新能源汽车推广报告、政府公共充电桩的选址和部署、节能减排成效评估、安全事故回溯等场景提供数据支撑。我们还面向市场和行业提供增值服务,比如汽车后市场二手车销售、电池回收以及保险产品的设计等场景提供数据产品服务。我们也面向高校和科研机构提供数据开放的服务,我们希望我们的数据能够更大程度服务行业。


image009.png


二、平台技术架构


整体数据架构,我们基于开源Hadoop体系构建,数据链路里应对不同场景选择不同的架构。我们的数据是多源异构的,有结构化数据,半结构化数据,物联网时序数据,文件数据等。根据不同的数据特性,我们选择不同的存储引擎。我们构建了多协议数据采集平台。我们有基于netty实现的数据网关接入,消息队列( Kafka ),文件日志( flume )和数据接口API。数据存储有静态数据(RDS ),高速缓存( Redis ),热存储( Hbase ),温存储(HDFS),冷存储(OSS)等。然后我们提供基于spark引擎的数据分析和场景化应用。


image011.png


上图是我们原有的技术架构(基于Hadoop构建的数据仓库),当前大部分互联网行业大家都会选用类似架构。很难有统一引擎解决掉数据存储问题。除此之外,现有技术无法对时序数据进行有效分析。为了有效分析,我们需要把物联网时序数据转化成结构数据来实现数据分析,这样可以简化分析,且可以满足我们绝大部分的业务场景。


image013.png


我们应对不同的场景选择的这些架构,但这些架构也遇到了很多问题与挑战。大概有四个方面。第一,技术栈复杂,多组件融合搭配导致技术栈高度复杂,维护成本高。第二,存储碎片化。数据同步机制实现和维护,数据查询维护以及数据生命周期管理导致数据高度冗余。第三,开发门槛高。不同技术栈所用不同开发语言及工具开发门槛高,难以标准化。第四,平台扩展性挑战。我们在容量规划,资源利用率,扩缩搬迁都有很多挑战。


image015.png


经过多个产品的对比之后,我们最终选用了阿里云Lindorm平台。核心数据存储使用多模数据存储到Lindorm(结构化、半结构化、时序数据等),数据分析依然使用Lindorm平台提供的spark模块。阿里云Lindorm的优势在于低成本,高可用,弹性灵活,自动数据冷热分离,并且满足低延迟。


image017.png


阿里云Lindorm平台系统架构实现了端到端的产品一体化,大幅减少开发与维护成本,提升易用和稳定性。支持HBase的增量数据实时自动归档为Parquet格式,并定期合并、清洗,供Spark分析。Spark分析结果以 BulkLoad回流到HBase。能力产品化封装,支持通用API调用,并具备自动容错、分布式扩展、监控报警、高性能等能力。


image019.png


三、平台愿景与目标


image021.png


我们举一个案例谈谈汽车数据的价值,我们曾经做过一个场景,我们基于数据做了一个交通事故的还原,我们把车和路网结合匹配,通过数据分析,发现车主在某个时间点,既踩了油门又踩了刹车导致了事故的发生。如果没有这个数据的分析,很难定责是车辆故障问题、还是用户驾驶行为问题。类似场景在事故鉴定中经常碰到,数据的价值也得以体现。

 

image023.png


另外新能源汽车退役,它具有一定的剩余价值。但要怎么去评判新能源汽车的剩余价值?我们利用汽车的数据可以对用户驾驶行为和电池性能做分析。所以我们和合作伙伴共同开发一个app,基于我们的数据去对汽车做残值评估。首先需要作为个人授权你的汽车数据,然后我们可以预测你的车子还可以跑多少公里,电池残值还有多少,从而服务于汽车后市场,这是一个很典型的应用。


image025.png


接下来说说我们的愿景和目标。我们希望基于大数据应用开放平台构建一个开放的数据生态。一个基于新能源汽车、智能网联汽车数据的数据中台。我们致力于将有价值的数据以及具有特征标签的数据,再加上我们的数据算法包,都集中在这个平台之上。我们希望上下游包括政府、研究机构及其相关产业都可以用我们的数据和平台,互利共赢。


image027.png


随着新能源的全面普及,大数据在交通安全、以及节能减排等领域起到很重要的作用。我们希望在交通安全、能源各个层面以共建,共享,共治的方式,和大家共同构建这个平台,为行业赋能。

 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
22天前
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
41 2
|
3月前
|
监控 Java 应用服务中间件
达梦数据库DEM监控部署教程分享
达梦数据库DEM监控部署教程分享
92 2
|
3月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
64 0
|
1天前
|
SQL 数据采集 监控
局域网监控电脑屏幕软件:PL/SQL 实现的数据库关联监控
在当今网络环境中,基于PL/SQL的局域网监控系统对于企业和机构的信息安全至关重要。该系统包括屏幕数据采集、数据处理与分析、数据库关联与存储三个核心模块,能够提供全面而准确的监控信息,帮助管理者有效监督局域网内的电脑使用情况。
10 2
|
6天前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
16 3
|
22天前
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
29 3
|
21天前
|
SQL 分布式计算 大数据
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
35 0
|
21天前
|
大数据 流计算
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
35 0
|
23天前
|
SQL 缓存 大数据
C#高效处理大数据的批次处理,以及最好的数据库设计
C#高效处理大数据的批次处理,以及最好的数据库设计
42 0
|
23天前
|
大数据 关系型数据库 数据库
python 批量处理大数据写入数据库
python 批量处理大数据写入数据库
62 0

热门文章

最新文章

  • 1
    2024 Mysql基础与进阶操作系列之MySQL触发器详解(20)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    4
  • 2
    2024 RedisAnd Mysql基础与进阶操作系列(16-1)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    4
  • 3
    2024Mysql And Redis基础与进阶操作系列(13)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    6
  • 4
    2024Mysql And Redis基础与进阶操作系列(10)作者——LJS[你个IKUN还学不会嘛?你是真爱粉嘛?真是的 ~;以后别侮辱我家鸽鸽]
    4
  • 5
    2024 RedisAnd Mysql基础与进阶操作系列(15)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    4
  • 6
    2024Mysql And Redis基础与进阶操作系列(9)作者——LJS[含MySQL存储过程之局部、系统变量、参数传递、流程控制-判断/case具体详步骤;注意点及常见报错问题所对应的解决方法]
    7
  • 7
    2024 Mysql基础与进阶操作系列之MySQL触发器详解(21)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    4
  • 8
    2024 RedisAnd Mysql基础与进阶操作系列(19)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    6
  • 9
    2024 RedisAnd Mysql基础与进阶操作系列(18)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    5
  • 10
    2024 RedisAnd Mysql基础与进阶操作系列(13)作者——LJS[你个小黑子这都还学不会嘛?你是真爱粉嘛?真是的 ~;以后请别侮辱我家鸽鸽]
    7