MaxCompute湖仓一体方案-阿里云开发者社区

开发者社区> 阿里云SRE技术社区> 正文

MaxCompute湖仓一体方案

简介: MaxCompute湖仓一体方案

image.png

1.场景描述

  • 自建数据湖与云数仓的融合解决方案,MaxCompute与自建的Hive集群做数据打通,通过存储共享,元数据镜像等方式,解决传统模式下的存储冗余,计算资源弹性能力弱的痛点。可大幅度增强系统的资源弹性,解决业务高峰期计算资源不足的问题。

2.方案优势

  • 业务无侵入性:现有业务无需改造。
  • 性能优化:MaxCompute在SQL上做了大量优化与能力沉淀,可提高SQL运行性能,降低计算成本。
  • 灵活管理:元数据实时同步,无需额外管理数据同步任务。
  • 资源弹性:利用MaxCompute计算池弹性进行海量数据计算。

3.部署架构图

image.png

4.选用的产品

  • VPC:专有网络VPC(Virtual Private Cloud)是用户基于阿里云创建的自定义私有网络, 不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理云产品实例,比如ECS、负载均衡、RDS等。更多信息,请参见:www.aliyun.com/product/vpc
  • ECS:云服务器ECS(Elastic Compute Service)是一种简单高效、处理能力可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用,提升运维效率,降低IT成本,使您更专注于核心业务创新。更多信息,请参见:www.aliyun.com/product/ecs
  • OOS:运维编排服务(Operation Orchestration Service,简称OOS)能够自动化管理和执行运维任务。在待执行模版中,您可定义运维任务、执行流程、执行的输入和输出等,然后仅需执行模版即可实现自动化运维。
  • MaxCompute:MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。更多信息,请参见:www.aliyun.com/product/odps
  • CEN:云企业网(Cloud Enterprise Network)帮助您在VPC间,VPC与本地数据中心间搭建私网通信通道,通过自动路由分发及学习,提高网络的快速收敛和跨网络通信的质量和安全性,实现全网资源的互通,帮助您打造一张具有企业级规模和通信能力的互联网络。
  • HDFS:Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统,它和现有的分布式文件系统有很多共同点。但同时,它和其他的分目录布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
  • Apache Hive:Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
  • ZooKeeper:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

5.详细信息

  • 点击这里,查看MaxCompute湖仓一体方案最佳实践详情。

6.更多更佳实践

  • 点击这里,查看更多阿里云最佳实践。

我们是阿里云智能全球技术服务-SRE团队,我们致力成为一个以技术为基础、面向服务、保障业务系统高可用的工程师团队;提供专业、体系化的SRE服务,帮助广大客户更好地使用云、基于云构建更加稳定可靠的业务系统,提升业务稳定性。我们期望能够分享更多帮助企业客户上云、用好云,让客户云上业务运行更加稳定可靠的技术,您可用钉钉扫描下方二维码,加入阿里云SRE技术学院钉钉圈子,和更多云上人交流关于云平台的那些事。

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云智能全球技术服务部SRE团队,是阿里集团高可用基础技术核心缔造团队,也是阿里为确保客户平台稳定、业务连续而打造的核心支撑团队

官方博客
官网链接