每年14PB数据存储需求,海量交通安全数据如何安放?

简介:



据中国汽车工业协会统计分析,2016年8月,在商用车主要品种中,与上月相比,客车和货车产销均呈增长,货车产销22.26万辆和23.25万辆,环比增长9.15%和10.21%,同比增长20.51%和15.37%。


而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。而100万辆车对数据中心的存储需求大约在14PB。


面对不断增长的数据,对商用车纳入远程监控管理和提供远程信息服务的要求日益提高。相关交通运输行业作为传统行业的“老大哥”,在大数据时代的背景下,面临海量交通安全数据的处理,转型势在必行。对基础架构技术进行革新,配合上层软件解决方案的软硬件结合的模式将重塑高效、安全的交通运输业未来。


海量数据存储、实时分析

中交兴路智能车货匹配案例


北京中交兴路信息科技有限公司(以下简称“中交兴路”)是一家专注于商用车车联网领域的运营和服务商,提供安全、运行稳定可靠的完整车联网信息服务解决方案。


传统方案将数据的采集和存储作为前端任务,而将数据的分析作为后端任务。各种传感器技术的应用造成数据种类复杂多样,非结构化数据所占比重快速上升,海量增长的数据也对网络传输和后端处理能力造成很大的压力。



远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。根据政府监管和中交兴路其它增值服务需求(一年两份冗余),100万辆车对数据中心的存储需求大约在14PB。


面对如此海量的数据,中交兴路首先需要将数据的访问和存储等服务从硬件资源池中分离出来,使数据访问脱离硬件以面对新型存储设备和存储容量扩充等需求,此外中交兴路还需要考虑存储系统的性能和带宽以应对百万级车辆同时上传数据的需求。


打造智慧交通

“芯”方案


如此一来,增强数据存储能力,提高大数据处理和分析性能成为关键。作为国内领先商用车车联网服务商和全国性道路货运车辆公共监管与服务平台的供应商,中交兴路与英特尔合作,配合英特尔架构计算平台的领先优势,部署用以应对海量数据的采集、存储和分析等业务对数据中心的性能需求。


目前,中交兴路大数据平台可以满足现有百万级车辆的10PB级数据存储能力和存储性能需求,并可灵活扩展以应对更多车辆数据的存储挑战。与此同时,相应的车联网解决方案对大量车载终端海量实时数据及时采集、处理、存储和分析,同时支持大规模终端用户实时查看、分析、监控和处理实时业务,并可伴随业务规模的增长而动态扩充平台性能以满足业务需求。


中交兴路大数据中心利用分布式处理的软件框架ApacheHadoop/HBase和基于英特尔至强处理器E5系列的服务器实现百万级别车辆数据的存储、查询、分析和统计。底层架构使用英特尔至强处理器E7系列的出色性能和大内存支持等特性实现数据的实时分析和处理,并轻松实现计算性能的扩展,用以支持更高的计算密度和增强的虚拟化等特性,使得中交兴路大数据平台成为理想的云计算技术运行平台。


针对中交兴路车联网平台百万级车辆管理的业务需求,中交兴路和英特尔还一起研发实施了英特尔架构的硬件平台和第三方商业、开源软件相结合,基于云计算和大数据处理技术的车联网平台压力测试。压力测试方案模拟可以10万、30万、50 万车辆的位置和告警(如超速、疲劳驾驶),持续运行1小时。目前,中交兴路大数据中心既服务于中交各业务和产品线,也服务于整个货运生态;针对合作企业需求,通过数据开放平台,提供数据分析、趋势预测、用户行为画像、区域分析、咨询报告等服务。


“芯”动力

“芯”可能


中交兴路车联网大数据平台通过实现PB 级海量数据的集中存储和管理,满足车联网业务需求。该平台帮助确保车辆安全保障和实时护驾,通过实时获取车辆各项状态及信息数据实现实时管控,高效安全进行车货匹配,创新了行业商业模式,为行业发展转型奠定了基础。


基于英特尔架构的解决方案,凭借其高性能、可扩展性、灵活性、安全性等优势而构建起了包括存储、网络、计算在内的下一代数据中心架构,完美地支持了未来车联网发展和行业业务需求,而这一切只是英特尔助力交通运输行业转型、企业业务升级的一个“小”体现的缩影。

原文发布时间为:2017-03-28

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
Java Sentinel
【熔断限流组件resilience4j和hystrix】
【熔断限流组件resilience4j和hystrix】
730 0
|
8月前
|
人工智能 开发框架 自然语言处理
Java 团队做 AI 不用愁!企业级 AI 开发全流程落地
本文为Java开发者提供AI落地指南:直击大模型对接复杂、技术栈兼容差、缺乏企业级框架三大痛点,提出依托专业Java AI框架(如JBoltAI)的解法,支持RAG知识库、智能问答、Function Call、老系统改造等高价值场景,实现零跨语言、低门槛、高效率的AI工程化落地。(239字)
443 1
|
4月前
|
人工智能 运维 数据可视化
最新版阿里云百炼 CLI 功能介绍
2026年,阿里云百炼平台正式开源**百炼CLI命令行工具**,作为面向AI开发者、智能体工程师、自动化运维人员的轻量化终端工具,该产品彻底重构了大模型本地调用与AI Agent工程落地模式。以往开发者想要调用多模态模型、知识库检索、联网搜索、视频图像生成等能力,需要编写大量代码、配置复杂接口、适配多套开发环境,部署流程繁琐、兼容性差、调试成本高。而全新百炼CLI将百炼平台150余款大模型、十余类核心AI应用能力、全套智能体配套工具统一封装为标准化命令行指令,实现**一次安装、全局调用、一行命令落地全场景AI任务**,是当前AI工程化、自动化落地的轻量化核心基建。
449 0
|
5月前
|
存储 人工智能 安全
数据安全建设3大核心概念:脱敏、匿名化、去标识化一文讲清区别
本文厘清数据脱敏、匿名化、去标识化三大高频概念:脱敏重在“可用与安全平衡”,适用于开发测试等场景;匿名化追求“无法识别”,用于公开共享与统计分析;去标识化实现“受控可关联”,支撑跨系统合规流转。三者目标、能力与适用场景各异,混用易致安全失效。
|
9月前
|
存储 供应链 安全
智慧医疗·区域云HIS源码一体化协同平台 (SaaS版)
专为集团医院、医共体打造的云原生医疗SaaS平台,基于“中心协同、扁平管理”理念,实现全域资源集成与数据共享。覆盖临床、患者服务、供应链及运营监控四大中心,支持五级EMR、医保实时结算、智能预警与多维BI,开箱即用。
|
人工智能
RealisHuman:AI 生成的人像不真实?后处理框架帮你修复生成图像中畸形人体部位
RealisHuman 是一个创新的后处理框架,专注于修复生成图像中畸形的人体部位,如手和脸,通过两阶段方法提升图像的真实性。
1096 11
RealisHuman:AI 生成的人像不真实?后处理框架帮你修复生成图像中畸形人体部位
|
人工智能 自然语言处理 算法
首创!阿里云RASD技术突破复杂跨域场景推理瓶颈,入选国际顶会ACL 2025
阿里云自主研发的RASD技术被ACL 2025长文收录,聚焦大语言模型推理加速问题。RASD融合检索与投机采样技术,通过草稿模型与检索相融合、构建最优检索树结构及强大的可扩展性三大创新机制,显著提升跨领域复杂任务的推理效率。该技术已应用于阿里云百炼专属版产品体系,赋能多行业高效推理服务。
581 0
|
运维 监控 持续交付
自动化运维在现代数据中心的应用与实践####
本文探讨了自动化运维技术在现代数据中心中的应用现状与实践案例,分析了其如何提升运维效率、降低成本并增强系统稳定性。通过具体实例,展示了自动化工具如Ansible、Puppet及Docker在环境配置、软件部署、故障恢复等方面的实际应用效果,为读者提供了一套可参考的实施框架。 ####
|
安全 网络安全
NIST
NIST
1707 5
|
人工智能 安全 调度
《鸿蒙NEXT端云垂直整合架构——算力协同调度的智慧引擎》
鸿蒙NEXT通过创新的端云垂直整合架构,实现硬件与云端深度融合,支持高效的算力协同调度。该架构具备智能的算力感知与分配能力,能根据任务需求灵活调配端侧和云端资源,确保实时性和高性能。同时,端云协同的模型训练与优化机制加快了模型迭代,提升了性能。此外,星盾安全架构保障了数据传输和算力调度的安全可靠性。这不仅为用户带来智能、流畅的体验,也为开发者提供了高效开发环境,推动AI技术在鸿蒙生态中的广泛应用。
653 18