浅谈传统企业的大数据平台如何上云

简介: 浅谈传统企业的大数据平台如何上云

大家好,我是明哥!

今天我们来看下,传统企业的大数据平台如何上云,一点感悟,欢迎大家交流。

1. 趋势介绍与阐述:大数据和云计算进一步深度融合, 拥抱云计算走向云原生化

首先我们来解读下“大数据和云计算进一步深度融合, 拥抱云计算走向云原生化”:

  • 云原生(Cloud Native)理念,本质上是一套“利用云计算技术为用户降本增效”的最佳实践与方法论;
  • 大数据拥抱云计算走向云原生化,其驱动力来自于以下四个方面:
  • 一是各个具体的大数据组件都在主动改变自身架构,积极“云化”以适应云部署环境(在底层技术架构上,为适应云部署环境,大数据更加青睐存储计算分离的架构,在存储层也融合了文件系统和对象存储且更加青睐云友好的对象存储);
  • 二是各个传统大数据供应商已经转向依托云来提供自己的产品和服务;
  • 三是各个云计算厂商在不断推出各种云上托管的基于大数据的服务,以加强自己的市场竞争力;
  • 四是应用方的大数据平台很多也有主动上云的需求;
  • 各个行业和各家公司的发展阶段不同,融合本地数据中心和云环境的进度也不同,但在部署架构上,基于混合云和多云模式,融合公有云私有云与非云模式,来构建企业整体的IT基础设施,必将是大势所趋。

2 大数据跟云计算的融合现状和趋势

大数据跟云计算的融合现状和趋势如下:

  • 很多云计算头部厂商,比如AWS、阿里和华为等,都提供了云上托管的Hadoop和NoSQL数据库等大数据解决方案; 很多传统的大数据供应商,如 elastic, cloudera, databricks,confluent等,也在公有云上推出了自己的大数据解决方案;
  • 很多初创企业和中小企业选择了公有云上托管的大数据解决方案,来搭建和部署自己的应用系统,以快速面向市场推出产品提供服务;
  • 也有很多规模较大的公司,出于云端的数据安全和隐私保护,出于大规模租用公有云的成本考量,出于多个业务系统之间数据跨区域移动的成本等考量,没有使用公有云,而是自行搭建私有云;
  • 从长远整体上看,大数据云计算是越来越深度融合的,大数据朝着深度挖掘用户价值、注重数据时效性、强调边缘计算、非结构化协同处理等方向发展,对云计算底座的要求也越来越高。

3 机构大数据平台建设建议

  1. 企业业务系统上云的最终目标,出于各种考量(有业务系统高可用的考量,也有不被云厂商绑定即 vendor-lockin的考量,也有生态系统合作伙伴即经济因素等多种考量),部署架构不会是单一的某个公有云,而是多个公有云和私有云的混合部署形态;
  2. 企业需要意识到,业务系统的上云不是一蹴而就的,也不是单向的一帆风顺的:
  • 这里涉及到新开发的业务系统的主动上云(由于是采用云原生技术栈新开发的业务系统,其上云相对顺畅些);
  • 也包括历史遗留系统的迁移上云(单个遗留系统的改造迁移和上云,视乎复杂程度,往往需要一年多甚至更长的时间周期);
  • 有时也会有从云端部署回退到私有云或数据中心的情形(上云后系统不顺畅,IT人员不适应等,也有会退的场景)。
  • 所以企业需要制定从上到下的整体的云化整合方案,梳理所有的业务系统,根据其业务关键性的不同,数据时效要求的不同,以及安全与隐私考量的不同等多种因素,分阶段有步骤地,迁移部分业务系统到公有云或私有云上,基于混合云和多云模式,融合公有云私有云与非云模式,来构建企业整体的IT基础设施。
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL 存储 监控
大数据Flume企业开发实战
大数据Flume企业开发实战
258 0
|
数据采集 人工智能 大数据
大数据+商业智能=精准决策,企业的秘密武器
大数据+商业智能=精准决策,企业的秘密武器
428 28
|
存储 供应链 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在企业供应链风险预警与决策支持中的应用(204)
本篇文章探讨了基于 Java 的大数据可视化技术在企业供应链风险预警与决策支持中的深度应用。文章系统介绍了从数据采集、存储、处理到可视化呈现的完整技术方案,结合供应链风险预警与决策支持的实际案例,展示了 Java 大数据技术如何助力企业实现高效、智能的供应链管理。
|
机器学习/深度学习 人工智能 搜索推荐
用大数据重塑客户关系管理:聪明企业的秘密武器
用大数据重塑客户关系管理:聪明企业的秘密武器
430 9
|
机器学习/深度学习 人工智能 算法
解锁政策红利:大数据时代的企业与个人发展新契机
在大数据与机器学习时代,政策解读、预测分析和个性化匹配成为挖掘发展新动能的重要工具。无论是企业还是个人,都能借助先进技术轻松理解复杂政策,把握趋势先机。文章探讨了自由职业者、创业者及企业员工如何通过政策支持实现协同发展,并介绍了“政策宝”这一智慧助手,助力用户发现和利用政策红利,抓住机遇实现目标。探索政策宝库,开启发展新征程!
|
存储 机器学习/深度学习 大数据
参与开源大数据Workshop·杭州站,共探企业湖仓演进实践
Apache Flink 诚邀您参加 7 月 27 日在杭州举办的阿里云开源大数据 Workshop,了解流式湖仓、湖仓一体架构的最近演进方向,共探企业云上湖仓实践案例。
561 12
参与开源大数据Workshop·杭州站,共探企业湖仓演进实践
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
887 2
|
编解码 弹性计算 大数据
软硬结合助力倚天云原生算力再进化,加速大数据、视频转码上云步伐
本文介绍了云原生算力的进化,重点讨论了倚天710 CPU在大数据和视频转码场景中的应用与优势。倚天710采用ARM架构,通过物理核设计和CIPU加速卡优化,显著提升了高负载下的性能稳定性,并在实际应用中帮助客户实现了20%-40%的性能提升和成本降低。此外,文章还探讨了操作系统、编译器等底层软件的优化,以及如何通过龙蜥社区和阿里云平台支持更多应用场景,助力企业实现高效迁移和性能优化。
|
存储 监控 数据挖掘
云上大数据分析平台:赋能企业决策,挖掘数据金矿
5.3 场景化 针对不同行业和领域的需求特点,云上大数据分析平台将推出更多场景化的解决方案。这些解决方案将结合行业特点和业务场景进行
972 7
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
413 0