浅谈传统企业的大数据平台如何上云

简介: 浅谈传统企业的大数据平台如何上云

大家好,我是明哥!

今天我们来看下,传统企业的大数据平台如何上云,一点感悟,欢迎大家交流。

1. 趋势介绍与阐述:大数据和云计算进一步深度融合, 拥抱云计算走向云原生化

首先我们来解读下“大数据和云计算进一步深度融合, 拥抱云计算走向云原生化”:

  • 云原生(Cloud Native)理念,本质上是一套“利用云计算技术为用户降本增效”的最佳实践与方法论;
  • 大数据拥抱云计算走向云原生化,其驱动力来自于以下四个方面:
  • 一是各个具体的大数据组件都在主动改变自身架构,积极“云化”以适应云部署环境(在底层技术架构上,为适应云部署环境,大数据更加青睐存储计算分离的架构,在存储层也融合了文件系统和对象存储且更加青睐云友好的对象存储);
  • 二是各个传统大数据供应商已经转向依托云来提供自己的产品和服务;
  • 三是各个云计算厂商在不断推出各种云上托管的基于大数据的服务,以加强自己的市场竞争力;
  • 四是应用方的大数据平台很多也有主动上云的需求;
  • 各个行业和各家公司的发展阶段不同,融合本地数据中心和云环境的进度也不同,但在部署架构上,基于混合云和多云模式,融合公有云私有云与非云模式,来构建企业整体的IT基础设施,必将是大势所趋。

2 大数据跟云计算的融合现状和趋势

大数据跟云计算的融合现状和趋势如下:

  • 很多云计算头部厂商,比如AWS、阿里和华为等,都提供了云上托管的Hadoop和NoSQL数据库等大数据解决方案; 很多传统的大数据供应商,如 elastic, cloudera, databricks,confluent等,也在公有云上推出了自己的大数据解决方案;
  • 很多初创企业和中小企业选择了公有云上托管的大数据解决方案,来搭建和部署自己的应用系统,以快速面向市场推出产品提供服务;
  • 也有很多规模较大的公司,出于云端的数据安全和隐私保护,出于大规模租用公有云的成本考量,出于多个业务系统之间数据跨区域移动的成本等考量,没有使用公有云,而是自行搭建私有云;
  • 从长远整体上看,大数据云计算是越来越深度融合的,大数据朝着深度挖掘用户价值、注重数据时效性、强调边缘计算、非结构化协同处理等方向发展,对云计算底座的要求也越来越高。

3 机构大数据平台建设建议

  1. 企业业务系统上云的最终目标,出于各种考量(有业务系统高可用的考量,也有不被云厂商绑定即 vendor-lockin的考量,也有生态系统合作伙伴即经济因素等多种考量),部署架构不会是单一的某个公有云,而是多个公有云和私有云的混合部署形态;
  2. 企业需要意识到,业务系统的上云不是一蹴而就的,也不是单向的一帆风顺的:
  • 这里涉及到新开发的业务系统的主动上云(由于是采用云原生技术栈新开发的业务系统,其上云相对顺畅些);
  • 也包括历史遗留系统的迁移上云(单个遗留系统的改造迁移和上云,视乎复杂程度,往往需要一年多甚至更长的时间周期);
  • 有时也会有从云端部署回退到私有云或数据中心的情形(上云后系统不顺畅,IT人员不适应等,也有会退的场景)。
  • 所以企业需要制定从上到下的整体的云化整合方案,梳理所有的业务系统,根据其业务关键性的不同,数据时效要求的不同,以及安全与隐私考量的不同等多种因素,分阶段有步骤地,迁移部分业务系统到公有云或私有云上,基于混合云和多云模式,融合公有云私有云与非云模式,来构建企业整体的IT基础设施。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
12月前
|
监控 Kubernetes Cloud Native
《快递行业云上技术服务白皮书》——4. 快递行业技术服务最佳实践——4.1 核心业务上云最佳实践——4.1.2 云原生应用架构优势(下)
《快递行业云上技术服务白皮书》——4. 快递行业技术服务最佳实践——4.1 核心业务上云最佳实践——4.1.2 云原生应用架构优势(下)
122 0
|
12月前
|
消息中间件 运维 Kubernetes
《快递行业云上技术服务白皮书》——4. 快递行业技术服务最佳实践——4.1 核心业务上云最佳实践——4.1.2 云原生应用架构优势(上)
《快递行业云上技术服务白皮书》——4. 快递行业技术服务最佳实践——4.1 核心业务上云最佳实践——4.1.2 云原生应用架构优势(上)
138 0
|
12月前
|
大数据 云计算
在线教育行业云上技术服务白皮书-在线教育行业云计算应用场景-某客户上云部署方案
在线教育行业云上技术服务白皮书-在线教育行业云计算应用场景-某客户上云部署方案
|
存储 人工智能 缓存
企业应该如何上云?阿里云企业上云场景化解决方案
企业应该如何上云?应该选择那些阿里云产品?阿里云为企业用户推出6大企业上云场景化解决方案,具体方案有企业初创场景解决方案、跨境电商解决方案、企业管理系统云上部署解决方案、企业建站场景解决方案、高并发云上架构解决方案和Web与移动App云上部署解决方案,下面是方案主要内容概述。
248 0
企业应该如何上云?阿里云企业上云场景化解决方案
|
存储 缓存 运维
企业上云方案:阿里云企业六大通用场景为企业提供多场景、一站式上云服务
阿里云为企业提供企业上云、企业初创必备、数字营销、企业办公、企业安全、企业数据六大上云场景、一站式上云服务(解决方案),为企业提供多场景、一站式上云服务,满足企业各个发展阶段的软硬件需求,助力您的事业腾飞!
554 1
企业上云方案:阿里云企业六大通用场景为企业提供多场景、一站式上云服务
|
存储 数据采集 自然语言处理
阿里云热门场景上云解决方案,助力企业上云/数据/营销等多场景业务上云
本文介绍了阿里云官方推出的一些常见上云解决方案,包含高并发云上架构解决方案、Web与移动App云上部署解决方案、企业数据存储与备份解决方案、企业标准版数据分析解决方案、智能客服解决方案、视觉人像通用技术解决方案等
443 0
阿里云热门场景上云解决方案,助力企业上云/数据/营销等多场景业务上云
|
运维 容灾 Cloud Native
阿里云混合云建管用一体化探索实践 助力政企从容应对数字化转型难题
专有云已从概念走向落地实践。由云计算标准和开源推进委员会举办的“专有云技术主题沙龙”,除对专有云标准体系等进行解读外,还邀请了业内大咖倾情分享,共同探索专有云未来发展趋势。
443 0
阿里云混合云建管用一体化探索实践 助力政企从容应对数字化转型难题
|
存储 缓存 负载均衡
企业如何上云?阿里云推出企业上云解决方案,助力企业快速上云
企业上云解决方案一键购,各方案业务场景、方案优势、适用客户特点汇总
376 0
企业如何上云?阿里云推出企业上云解决方案,助力企业快速上云
|
存储 大数据 云计算
从传统的架构到云上大数据
在云计算走向成熟之前,我们更应该关注系统云计算架构的细节,从传统的架构到云上大数据,实现了很多的转变。
213 0
|
存储 数据采集 运维
企业大数据平台如何搭建?
在大数据这个词出现之前,我们对日常数据的这种处理和分析,常常使用的一些类似SQL server、MySQL、Oracle等等这些关系数据库,传统的这些数据库处理T级别数据量已经是这些数据库的极限,面对这种P级和E级的数据量,基本上是无能为力。

热门文章

最新文章