如何为智慧城市打造低成本的数据存储基础架构?

简介: 支撑智慧城市的数据存储网络的价格可能过高,但是自动化存储技术与合理的计划和设计相结合,可以帮助克服这一挑战。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

支撑智慧城市的数据存储网络的价格可能过高,但是自动化存储技术与合理的计划和设计相结合,可以帮助克服这一挑战。

image

物联网技术正在为不断增长的城市人口改变安全性、公共安全和生活质量,但有一个问题。

那就是,所有这些连接点都依赖大量数据,以提供有关从绿色城市计划到交通模式以及天气如何影响城市交通系统等等的一切信息。支持这些计划所需的基础架构会带来巨大的(通常是高昂的)成本。电信公司和城市必须投资于复杂的5G网络部署、庞大的计算资源和广泛的存储网络,以支持智慧城市产生的大量数据。

为了使智慧城市正常运转,它们必须高效、智能并且能够快速处理和传递信息。数据是智慧城市的重要组成部分,有效存储大量数据是一个关键问题。一切始于拥有正确的存储基础架构来处理智慧城市数据爆炸性增长。

智慧城市中的数据管理难题

世界上最先进的智慧城市倡议依赖于数量众多的设备。例如,圣地亚哥市有成千上万个相连的路灯。

这些设备的数据在众多公共和私营部门利益相关者之间共享,以造福大众。例如,圣地亚哥的路灯用于监视大气数据、交通模式等。同时,Waze使用公开可用的交通数据来改善世界各地用户的旅行体验,同时为城市规划者提供分析数据的工具。

在韩国首尔的偏远地区,结合了液位传感器的太阳能垃圾箱正在帮助改进手动收集路线,从而为清洁城市带来了可观的成本节省。

所有这些传感器和解决方案都收集了大量数据,这给城市管理员带来了许多问题。应该保存什么数据,应该销毁什么?什么数据应该汇总和共享,什么应该保密?而且,至关重要的是,如何以这样的方式传输和处理PB级甚至EB级的智慧城市数据,以便可以根据所提供的见解迅速采取行动?

监管带来了进一步的复杂性。随着越来越多的市民活动流程变得自动化,公共当局必须保留推动其发展的数据的历史记录,尤其是当它们与诸如医疗保健、金融服务和汽车市场等受到严格监管的部门相关联时。

同时,个人身份信息具有其自己的一组要求。关于如何收集和使用数据的问题引起了严重的关注,围绕要保留哪些数据和不保留哪些数据产生了难题。城市在使用收集的数据时必须非常小心,并确保PII(Personally Identifiable Information,个人验证信息)保持安全和匿名。

如此众多的智能系统同时发挥作用,而这些系统又面临着诸多挑战。那么,为大规模合规性和审计目的而归档和维护数据的最有效方法是什么?

image

智慧城市边缘的数据管理

回答这些问题,有助于理解在其中生成、收集和保存数据的不同环境。

在智慧城市中,在收集时会产生大量数据(也称为边缘)。这可能包括地铁上的传感器或对准水上公园的摄像机。公共当局面临的挑战是确定应保留来自边缘位置的哪些数据或将其移至中央处理中心进行汇总、共享、分析和存档。

城市需要能够快速处理数据以调整和完善基于边缘的应用,但是将数据从边缘设备传输到数据中心(再传输回)通常会花费很长时间。一种更快且更具成本效益的方法是将边缘存储和边缘计算存储相结合,在边缘存储中,数据是在设备本身上进行处理的,而边缘计算存储则涉及交换办公计算和存储基础架构以支持中间聚合点。

可以使用用于真正集中存储的传统数据中心进行补充。发生这种情况时,可能会进行一些中级处理,但是我们还没有一个具备传统数据中心所具备的功能的地方。随着边缘计算变得越来越普遍,这种情况将来可能会改变。

目前,5G技术促进了边缘数据流交换。 5G将边缘传感器、摄像机等物联网设备的不同数据集成在一起。5G网络对于遍布城市各地的物联网设备将是至关重要的。

一种存储设计不能完全适合

image

所有这些活动都需要一个灵活的存储体系结构,该体系结构可以处理多个环境中的数据处理。在边缘或传统数据中心中处理数据都是具有独特存储要求的不同方法。

由于可用空间有限,边缘处的存储空间通常趋于紧凑。存储的数据量相对较小,因为它主要用于收集点或收集点附近的特定实时应用。存储设计人员要问的一个关键问题是基于临时边缘的数据如何。应该保留多长时间以立即使用,何时将其存入中央数据中心?

大多数智慧城市数据的目的地是通常在公共、私有或混合云基础架构上构建的中央存储设施。在这里,可以汇总大量信息以进行宏观分析。因此,不仅需要按比例缩放,而且还需要按比例提供性能,因此需要强大的处理能力。

自动化存储解决方案可根据城市需求扩展

因此,边缘和传统数据中心存储环境所需的体系结构必须强大、持久并能够处理大量数据。传统存储阵列的构建并未容纳智慧城市可能消耗的海量潜在数据。

传统的繁重的管理大量数据的方式根本无法扩展;自动化将成为关键。基于开源软件和行业标准硬件规范的自动存储技术可以提供所需的可伸缩性。可以根据容量需求自动对其进行调整,通常使其比传统存储系统更具成本效益,并且非常适合那些需要快速处理数据的城市。

为什么智能城市中的数据存储很重要?

存储只是智慧城市基础设施的一个组成部分,但是其复杂性和成本通常是阻碍城市政府发展的最大障碍。

一种解决方案是使用可大规模扩展并与行业标准硬件基础结构兼容的自动化存储解决方案,并使体系结构适应不同的数据存储环境和应用。

提前计划并认真和现实地考虑城市环境中的数据使用方式,对于创建具有成本效益的存储基础架构将大有帮助,该基础架构使智慧城市能够发挥其真正的潜力。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-06-18
本文作者:蒙光伟
本文来自:“51CTO”,了解相关信息可以关注“51CTO

相关文章
|
存储 云计算 智慧交通
云计算的智慧城市架构
智慧城市的发展是现代化城市发展的必然趋势,云计算为智慧城市建设的关键点,更是智慧城市的“智慧”所在。在智慧城市的建设中,建立以云计算为核心,综合多应用、多行业、多系统的智慧城市设计,已经成为目前智慧城市发展的一个重要思路。
3181 0
|
1月前
|
存储 负载均衡 监控
如何利用Go语言的高效性、并发支持、简洁性和跨平台性等优势,通过合理设计架构、实现负载均衡、构建容错机制、建立监控体系、优化数据存储及实施服务治理等步骤,打造稳定可靠的服务架构。
在数字化时代,构建高可靠性服务架构至关重要。本文探讨了如何利用Go语言的高效性、并发支持、简洁性和跨平台性等优势,通过合理设计架构、实现负载均衡、构建容错机制、建立监控体系、优化数据存储及实施服务治理等步骤,打造稳定可靠的服务架构。
34 1
|
2月前
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
69 3
|
3月前
|
存储 NoSQL 关系型数据库
数据存储架构的演进和实操(一)
数据存储架构的演进和实操(一)
|
存储 缓存 算法
分布式数据库架构:高可用、高性能的数据存储
分布式数据库架构:高可用、高性能的数据存储
1034 0
|
存储 监控 大数据
|
存储 监控 大数据
|
存储 分布式计算 Hadoop
大数据数据存储的分布式文件系统的HDFS的基本概念和架构的概念的Hadoop 分布式文件系统
Hadoop 分布式文件系统 (HDFS) 是一个开源的分布式文件系统,是 HttpFS 的后继者。
155 2
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的基本概念和架构的基本架构的DataNode
在 Hdfs 中,DataNode 是一个非常重要的组件,它负责存储数据块(Block)中的数据。
80 1
|
存储 大数据