前沿分享|上海市新能源汽车数据平台 王成名: 车联网全景监控数据时空超融合数据库方案

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中,上海市新能源汽车数据平台 王成名关于“车联网全景监控数据时空超融合数据库方案”的分享。

4f6a613a3f48b6c42ab925f943464c85.jpeg

上海市新能源汽车公共数据采集与监测研究中心技术总监——王成名


本文将通过三个部分来介绍车联网全景监控数据时空超融合数据库方案。(基于2021云栖大会“企业级云原生数据库最佳实践”分论坛演讲内容整理而成)


一、数据中心平台业务简介

二、平台技术架构

三、平台愿景与目标


image001.png

一、数据中心平台业务简介


首先,我简单介绍下我们的组织以及我们所做的业务。我们是做上海市新能源汽车数据中心。我们所做的业务是接入全上海市所有新能源汽车的数据,包含乘用车、商用车、物流、大巴等电动汽车数据的全接入。目前我们平台接入数据量接近60万辆车。我们的数据规模已经接近1.5个PB,上图是我们的监管大数据平台。


image003.png


我们数据接入是按照新能源汽车安全监管32960进行数据采集,其中包含38项静态数据和80多项的动态数据。包括以车辆VIN码为基础的整车数据、发动电机、驱动电机、电池以及报警等8大类数据。这些数据是典型的物联网时序数据。我们需要对这些数据进行存储分析并应用。


image005.png


同时,我们是多元的数据架构,我们不但有政府委托的数据采集管理,还有国际合作项目。我们有新能源汽车数据平台、氢能源车站一体化平台、电池溯源管理平台、可再生能源管理平台以及智能网联汽车管理平台。我们的目标是要努力建设成为世界级汽车产业中心的核心数据中心。


image007.png


我们基于数据面向政府,为政府政策的制定、执行和后评估提供有效数据支撑,比如新能源汽车推广报告、政府公共充电桩的选址和部署、节能减排成效评估、安全事故回溯等场景提供数据支撑。我们还面向市场和行业提供增值服务,比如汽车后市场二手车销售、电池回收以及保险产品的设计等场景提供数据产品服务。我们也面向高校和科研机构提供数据开放的服务,我们希望我们的数据能够更大程度服务行业。


image009.png


二、平台技术架构


整体数据架构,我们基于开源Hadoop体系构建,数据链路里应对不同场景选择不同的架构。我们的数据是多源异构的,有结构化数据,半结构化数据,物联网时序数据,文件数据等。根据不同的数据特性,我们选择不同的存储引擎。我们构建了多协议数据采集平台。我们有基于netty实现的数据网关接入,消息队列( Kafka ),文件日志( flume )和数据接口API。数据存储有静态数据(RDS ),高速缓存( Redis ),热存储( Hbase ),温存储(HDFS),冷存储(OSS)等。然后我们提供基于spark引擎的数据分析和场景化应用。


image011.png


上图是我们原有的技术架构(基于Hadoop构建的数据仓库),当前大部分互联网行业大家都会选用类似架构。很难有统一引擎解决掉数据存储问题。除此之外,现有技术无法对时序数据进行有效分析。为了有效分析,我们需要把物联网时序数据转化成结构数据来实现数据分析,这样可以简化分析,且可以满足我们绝大部分的业务场景。


image013.png


我们应对不同的场景选择的这些架构,但这些架构也遇到了很多问题与挑战。大概有四个方面。第一,技术栈复杂,多组件融合搭配导致技术栈高度复杂,维护成本高。第二,存储碎片化。数据同步机制实现和维护,数据查询维护以及数据生命周期管理导致数据高度冗余。第三,开发门槛高。不同技术栈所用不同开发语言及工具开发门槛高,难以标准化。第四,平台扩展性挑战。我们在容量规划,资源利用率,扩缩搬迁都有很多挑战。


image015.png


经过多个产品的对比之后,我们最终选用了阿里云Lindorm平台。核心数据存储使用多模数据存储到Lindorm(结构化、半结构化、时序数据等),数据分析依然使用Lindorm平台提供的spark模块。阿里云Lindorm的优势在于低成本,高可用,弹性灵活,自动数据冷热分离,并且满足低延迟。


image017.png


阿里云Lindorm平台系统架构实现了端到端的产品一体化,大幅减少开发与维护成本,提升易用和稳定性。支持HBase的增量数据实时自动归档为Parquet格式,并定期合并、清洗,供Spark分析。Spark分析结果以 BulkLoad回流到HBase。能力产品化封装,支持通用API调用,并具备自动容错、分布式扩展、监控报警、高性能等能力。


image019.png


三、平台愿景与目标


image021.png


我们举一个案例谈谈汽车数据的价值,我们曾经做过一个场景,我们基于数据做了一个交通事故的还原,我们把车和路网结合匹配,通过数据分析,发现车主在某个时间点,既踩了油门又踩了刹车导致了事故的发生。如果没有这个数据的分析,很难定责是车辆故障问题、还是用户驾驶行为问题。类似场景在事故鉴定中经常碰到,数据的价值也得以体现。

 

image023.png


另外新能源汽车退役,它具有一定的剩余价值。但要怎么去评判新能源汽车的剩余价值?我们利用汽车的数据可以对用户驾驶行为和电池性能做分析。所以我们和合作伙伴共同开发一个app,基于我们的数据去对汽车做残值评估。首先需要作为个人授权你的汽车数据,然后我们可以预测你的车子还可以跑多少公里,电池残值还有多少,从而服务于汽车后市场,这是一个很典型的应用。


image025.png


接下来说说我们的愿景和目标。我们希望基于大数据应用开放平台构建一个开放的数据生态。一个基于新能源汽车、智能网联汽车数据的数据中台。我们致力于将有价值的数据以及具有特征标签的数据,再加上我们的数据算法包,都集中在这个平台之上。我们希望上下游包括政府、研究机构及其相关产业都可以用我们的数据和平台,互利共赢。


image027.png


随着新能源的全面普及,大数据在交通安全、以及节能减排等领域起到很重要的作用。我们希望在交通安全、能源各个层面以共建,共享,共治的方式,和大家共同构建这个平台,为行业赋能。

 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
3天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
41 7
|
3天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
13 2
|
16天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
58 1
|
14天前
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
10天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
24 3
|
10天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
39 2
|
13天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
45 2
|
14天前
|
缓存 监控 关系型数据库
如何根据监控结果调整 MySQL 数据库的参数以提高性能?
【10月更文挑战第28天】根据MySQL数据库的监控结果来调整参数以提高性能,需要综合考虑多个方面的因素
54 1
|
14天前
|
监控 关系型数据库 MySQL
如何监控和诊断 MySQL 数据库的性能问题?
【10月更文挑战第28天】监控和诊断MySQL数据库的性能问题是确保数据库高效稳定运行的关键
30 1