大数据近实时数据投递MaxCompute-阿里云开发者社区

开发者社区> 阿里云SRE技术社区> 正文

大数据近实时数据投递MaxCompute

简介: 大数据近实时数据投递MaxCompute

image.png

1.场景描述

本文介绍离线大数据场景使用MaxCompute构建云上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。

2.解决问题

  • 混合云环境下,现有业务系统零改造,打通数据上云链路。
  • 使用UDF实现复杂数据类型转换和数据动态分区。
  • 使用DataWorks配置周期调度业务流程,数据自动入仓。
  • 借助MaxCompute优化计算引擎,实现降本增效。

3.部署架构图

image.png

图1:部署架构示意图

4.选用的产品

  • 云服务器ECS:Elastic Compute Service,简称ECS,是一种简单高效、处理能力可弹性伸缩的计算服务。详见:https://www.aliyun.com/product/ecs
  • 专有网络VPC:Virtual Private Cloud,简称VPC,- 是基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您需要结合具体业务,规划VPC和交换机的数量及网段等。详见:https://www.aliyun.com/product/vpc
  • 访问控制RAM:是阿里云提供的管理用户身份与资源访问权限的服务。详见:https://www.aliyun.com/product/ram
  • E-MapReduce EMR:是构建在阿里云云服务器ECS 上的开源Hadoop、Spark、HBase、Hive、Flink 生态大数据PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。详见:https://www.aliyun.com/product/emapreduce
  • 大数据计算服务MaxCompute:是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效地分析处理海量数据。详见:https://www.aliyun.com/product/odps
  • 数据总线DataHub:是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松构建基于流式数据的分析和应用。详见:https://www.aliyun.com/product/datahub
  • DataWorks:是一个提供了大数据OS能力、并以all in one box的方式提供专业高效、安全可靠的一站式大数据智能云研发平台。同时能满足用户对数据治理、质量管理需求,赋予用户对外提供数据服务的能力。详见:https://www.aliyun.com/product/bigdata/ide

5.详细信息

  • 点击这里,查看大数据近实时数据投递MaxCompute最佳实践详情。

6.更多更佳实践

  • 点击这里,查看更多阿里云最佳实践。

我们是阿里云智能全球技术服务-SRE团队,我们致力成为一个以技术为基础、面向服务、保障业务系统高可用的工程师团队;提供专业、体系化的SRE服务,帮助广大客户更好地使用云、基于云构建更加稳定可靠的业务系统,提升业务稳定性。我们期望能够分享更多帮助企业客户上云、用好云,让客户云上业务运行更加稳定可靠的技术,您可用钉钉扫描下方二维码,加入阿里云SRE技术学院钉钉圈子,和更多云上人交流关于云平台的那些事。

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云智能全球技术服务部SRE团队,是阿里集团高可用基础技术核心缔造团队,也是阿里为确保客户平台稳定、业务连续而打造的核心支撑团队

官方博客
官网链接