关于云数据管理的复兴之路是怎样的?

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介:

在最近前往荷兰的商务旅程中,我开始沉思Baruch Spinoza(荷兰)的深远影响。Spinoza是文艺复兴时期的伟大哲学家,与当时的同龄人不同,Spinoza强烈反对传统的神学观点。他的名言之一是:“不要对新思想感到惊讶。因为众所周知,一件事不被许多人接受并不意味着它本身不是真的”。

他认为除了相对特定的情况,事物没有本质上的好坏之分。这让我联想到纷繁的数据库,它们从黑暗的“前云时代”演化而来,尽管当今市场上有各种各样的数据库,但每个数据库都有自己的用途。我们可以自由地从多个数据库中选择,选择多方面的层,将庞然大物分解为微服务,通过利用各种云数据管理工具和技术在构建现代云应用程序方面进行创新。

关于云数据管理的复兴之路是怎样的?

云计算前世(BC)

我们如何看待数据库的历史遗留问题:计算机信息处理的早期,借由SQL数据库的优点我们得以一统数据管理领域。在那些落后的年代,如果数据增长到几GB,数据库就会被认为相当庞大了。

然后到了中世纪时期,MySQL在1995年提出开源许可模式,并在数据管理领域产生了第一个连锁反应。

随着数据变得越来越大,越来越多的应用程序开始转向云计算,数据库技术出现了一种新的动向,大数据分析和云应用的普及使得数据管理领域的启蒙运动也在大力进军加速。与MySQL时代相比,当前的形式——随着云计算策略的首次出现——大量数据对象和分布式数据管理的出现——着实让人感觉像是一条复兴之旅。

云计算今生(CE)

在我们当今的云时代下,数据管理是一个数据库数据存储和堆叠的复杂网络。随着MongoDB、HBase、Cassandra、CouchDB、DynamoDB等数据库的普及,谷歌、Facebook、亚马逊和其他公司已经将大量的NoSQL数据库投入前线使用。这是一个巨大的挑战,要把握每一个数据库,并弄清楚为什么使用它。为了理解潜层技术并获得对使用哪个NoSQL数据库的广泛理解,CAP定理是一个很简便的工具。

关于云数据管理的复兴之路是怎样的?

CAP定理图

现代云管理策略

在当今时代,数据管理需要被分解成许多不同的维度。在选择新兴闪耀的NoSQL数据库之前,我们应该谨慎地考虑使用已经证实的SQL数据库。在选择具体技术之前,了解数据管理的短期和长期商业策略,权衡竞争优先事项是至关重要的。

每当我想要评估一个数据管理策略时,我都会通过一份清单来帮助我做决定(如下):

  • 数据的安全性和合规性考虑是什么
  • 数据的短期和长期可扩展性是什么
  • 数据的类型和用途是什么
  • 模式更改的频率是多少
  • 数据检索的延迟原因是什么
  • 数据的速率是多少
  • 数据的多样性是什么
  • 数据可用性的要求是什么
  • 数据存储的搜索需求是什么
  • 数据如何处理成信息和见解
  • 数据如何分析和报告
  • 数据存储在多用户环境中吗
  • 数据管理的最佳成本是什么
  • 数据管理的层级是什么
  • 数据管理的生命周期要求是什么(备份/恢复)

技术人员对于云应用程序中使用了多个数据库感到舒适。随着微服务和货柜化的使用,这一趋势也在加速。此外,大多数云应用程序商都意识到分离数据管理层的需求,这些层包括一个UI缓存层、CDN层、图形分析层、业务层、业务分析层、安全层、报告层、物联网设备层等众多层,每个层都可以有自己的数据管理策略——只要数据被保护,通过等REST应用程序界面来进行访问。

把数据库作为一项服务(DBaaS)

这是一个令人兴奋的时代,一组成熟的DBaaS选项针对SQL和NoSQL数据库应运而生。例如,亚马逊极光提供MySQL和PostgreSQL数据库,Instaclustr则提供Cassandra数据库系统作为一项托管在AWS上的服务。

把分析作为一项服务(AaaS)

三大云服务提供商都提供分析服务。云分析平台采用的最大障碍是对数据安全的担忧,AWS和Azure提供了一套稳健的数据分析服务,以减轻这种担忧,Azure分析服务针对SQL,并提供强大的可视化Power BI工具。

图数据库使用

图形数据库变革使解决方案更快地从图形匹配查询中受益,同时帮助加速基于网络安全、推荐引擎、IT操作、网络等方面的邻接关系的搜索。例如,在客户的物联网网络安全产品中,我们使用Apache Spark和Cassandra DB作为分析层,基于MongoDB的网络安全编制,但产生的数据由Neo4j图数据库中组织起来,以便进一步分析网络安全的威胁。这是一个数据管理分级分离的绝好例子,在这种情况下,最佳数据库被用于解决网络安全产品里非常复杂的问题。

物联网数据库

随着物联网可行性应用程序的出现,从设备层收集和处理的大量数据需要以一种专门的方式处理。我们已经成功地使用一个相对新兴、令人振奋的InfluxDB开放源码数据库来有效处理时间序列数据。因此,适当的应用程序可以使用InfluxDB数据库和相关联TICK堆栈来进行数据管理:

关于云数据管理的复兴之路是怎样的?

TICK堆栈图

原文发布时间为:2017-10-16

本文作者:佚名

本文来自云栖社区合作伙伴“51CTO”,了解相关信息可以关注。


相关文章
|
1天前
|
容灾 应用服务中间件 调度
八年磨一剑,四大技术视角总结云上应用管理实践
这篇文章是阿里云 EDAS 团队在近八年服务客户的过程中,在应用管理两大领域(容量管理和流量管理)方向往云时代迈进时所呈现出来的不同进行深入剖析与总结,以帮助大家在更好的理解云上环境的特点,在生产实践中有效避坑。
|
5月前
|
分布式计算 Kubernetes Spark
米哈游大数据云原生实践
近年来,容器、微服务、Kubernetes 等各项云原生技术的日渐成熟,越来越多的公司开始选择拥抱云原生,并开始将 AI、大数据等类型的企业应用部署运行在云原生之上。以 Spark 为例,在云上运行 Spark 可以充分享有公共云的弹性资源、运维管控和存储服务等,并且业界也涌现了不少 Spark 。
|
4月前
|
大数据 BI
阿里十年大数据专家谈“云上数据中台之道”含内部PPT
从大数据的概念被正式提出,到马云老师预言人类正从IT时代走向DT时代,大数据浪潮迭起。大数据同仁共同认知的一点是,大数据会对社会创新、产业变革、业务创新及每个人的角色定位产生近乎决定性的影响。
|
SQL 运维 Cloud Native
喜讯 | 实力见证!阿里云一站式在线数据管理平台DMS斩获「2021年度技术卓越奖」
日前,国内知名IT垂直媒体&技术社区IT168公布2021年“技术卓越奖——数据库·数据风云奖”评选结果,经由行业CIO/CTO大咖、技术专家及IT媒体三方的联合严格评审,阿里云企业级一站式在线数据管理平台DMS凭借其出众的产品实力斩获“2021年度技术卓越奖”,阿里云计算有限公司荣获“2021用户最信赖云服务提供商”。
喜讯 | 实力见证!阿里云一站式在线数据管理平台DMS斩获「2021年度技术卓越奖」
|
安全 容灾 Cloud Native
前沿分享|阿里云数据库事业部资深技术专家、生态工具产品部负责人 陈长城:一站式在线数据管理平台DMS技术解读
本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中,阿里云数据库事业部资深技术专家、生态工具产品部负责人 陈长城关于“一站式在线数据管理平台DMS技术解读”的分享。
690 0
前沿分享|阿里云数据库事业部资深技术专家、生态工具产品部负责人 陈长城:一站式在线数据管理平台DMS技术解读
|
运维 供应链 安全
云栖大会企业管理协作与数智化专场 | 蓝凌彭雪峰:企业移动平台如何支撑业务与生态
导读:本文中,作为帮助越秀地产完成数字化转型的中坚力量,蓝凌负责人彭雪峰将分享数智协同趋势,并介绍超级APP构建策略
云栖大会企业管理协作与数智化专场 | 蓝凌彭雪峰:企业移动平台如何支撑业务与生态
|
运维 监控 安全
是时候考虑怎么用好云了——第二期阿里云企业云上治理沙龙举行
### 前言 随着云计算的普及,越来越多的企业选择将IT基础设施搬到云上,关注的焦点也从几年前的“是否要上云”转变成了“如何用好云”。云计算极大的提升了企业的效率,举个例子,对于一家企业原来准备一个大促活动,IT团队可能需要提前几个月甚至半年来准备服务器,现在在云上只需要几个小时甚至几分钟就能完成,而且大促结束后就能立马释放掉。在效率提升的同时也极大的降低使用成本,这都是传统模式所不
569 0
是时候考虑怎么用好云了——第二期阿里云企业云上治理沙龙举行
|
机器学习/深度学习 弹性计算 运维
上下求索,白“云”苍狗(三):2015到2019,从5到70,从0到100万,技术推动业务的云实践,我创业的这4年
从2015年到2019年,业务DAU从0到100万,团队从5人到70人,讲述技术人的创业之路,解读如何从技术推动业务,分享作为CTO的心路历程,一同感受创业的五味杂陈。
|
弹性计算 运维 前端开发
众安保险的云上之路
18年6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,众安保险应用运维负责人梁亮发表主题演讲,深度解读了众安保险的云上之路。
众安保险的云上之路
|
存储 编解码 运维
上下求索,白“云”苍狗(二):2015到2019,从5到70,从0到100万,技术推动业务的云实践,我创业的这4年
从2015年到2019年,业务DAU从0到100万,团队从5人到70人,讲述技术人的创业之路,解读如何从技术推动业务,分享作为CTO的心路历程,一同感受创业的五味杂陈。