数据进入Maxcompute的N种方式,大数据实战Demo系统数据上云实践

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2018 “MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统,它能够实现自动全链路的大数据处理流程,其中包括离线的和实时数据的,接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。

2018 “MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统,它能够实现自动全链路的大数据处理流程,其中包括离线的和实时数据的,接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!
直播视频回顾
PPT下载请点击
以下内容根据现场分享整理而成。

大数据中心的架构

image001


上图为大数据实战Demo的整体架构,它的上云方式是离线的。要实现大数据实战Demo的应用,架构必需包含数据源系统、数据仓库、大数据应用系统平台、Web/应用平台、流程调度、数据加工及展现、实时处理平台,其中数据仓库包含临时层、基础数据层和应用层三个层次。
在整个架构中,数据上云是重中之重,它可以针对不同的数据源使用不同的上云方式。
首先,数据上云到MAXCOMPUTE(数据存储)大数据存储及处理平台上,并将数据进行处理;接着,将数据传输到临时层,再经过简单转换进到基础数据层;最后,将数据进一步汇总到应用层进而提供服务。
在这个架构中,是通过协议工具DataWorks、DataX进行流程调度的,通过QuickBI、DataV进行数据展现的,通过DATEHUB+STREAMCOMPUTE进行数据处理实时数据的,最后系统将处理后的数据存放到大数据应用平台的RDS里面,并通过QuickBI、DataV进行展现。

数据上云(同步)方式

数据上云有许多种方式,对于MAXCOMPUTE产品而言,它使用的典型的自带工具有tunnel、dataX、DataWorks,具体介绍如下:

  • 使用tunnel:使用tunnel命令可进行数据的上传、数据的下载、数据文件的处理等。
  • 使用dataX:dataX是离线数据的同步工具,可高效地实现各异构数据源之间的数据同步功能,以及把数据上传到MAXCOMPUTE中去。其中,异构数据源包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、OSS、MaxCompute 等。总之,Tunnel工具是非常重要的,如果没有Tunnel工具,在数据同步后数据上云到MAXCOMPUTE时会出现不统一的问题,最终造成开发困难。
  • 使用DataWorks:使用DataWorks数据集成来定义数据同步任务,通过同步任务最终达到数据上云的目的。它的模式是向导模式或脚本模式,是基于DataX协议的图形界面来进行操作的。在使用DataWorks进行数据集成中需要做到四步,第一步,配置数据来源(库和表)和数据流向(库和表);第二步,对字段映射关系进行配置,且左侧“源表字段”和右侧“宿表字段”为一一对应的关系;第三步,对源表的字段进行过滤和数据加载控制,但要注意的是对源表的字段进行过滤必须在WHERE条件上,且不需要写WHERE关键字;第四步,对同步速率需进行限速控制,切分键一般用源表主键,当容错记录数和比率指超过阈值时,作业报错必须终止。最终,使得数据上云到MAXCOMPUTE大数据存储及处理平台上。

实时数据上云(同步)方式

Logstash

Logstash是一种分布式日志收集框架,简洁强大,经常与ElasticSearch,Kibana配置组成著名的ELK技术栈,非常适合用来做日志数据的分析。 阿里云流计算为了方便用户将更多数据采集进DataHub中,提供了针对Logstash的DataHub Output/Input插件。使用Logstash,便可以轻松享受到Logstash开源社区多达30多种数据源的支持,同时Logstash还支持filter对传输字段进行自定义加工等功能。

DataHub API

阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,可提供对流式数据的发布、订阅和分发功能,还可以轻松地构建基于流式数据的分析和应用。DataHub服务可以对各种移动设备、应用软件、网站服务、传感器等产生的大量流式数据进行持续不断的采集、存储和处理。可以编写应用程序或者使用流计算引擎来处理写入到DataHub中的流式数据,例如,实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果,例如,实时图表、报警信息、实时统计等。它相较于Logstash而言,这种方式性能更优,更适于处理复杂的数据需求。

数据迁移及实时数据同步(上云)

数据传输服务(Data Transmission Service) DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。相对于第三方数据流工具而言,数据传输服务 DTS 可提供更丰富多样、高性能、高安全可靠的传输链路,同时它提供了诸多便利功能,极大地方便了传输链路的创建及管理。
数据传输致力于在公有云、混合云场景下,解决远距离、毫秒级异步数据的传输难题。它底层的数据流基础设施为阿里双11异地多活基础架构,为数千下游应用提供实时数据流,已在线上稳定运行三年之久。

数据架构层的实现

企业数据模型在数据架构层的实现

image003


企业数据模型在实现数据架构层时,每一层都有每一层的规范。数据上云到MAXCOMPUTE(数据存储)大数据存储及处理平台后,将数据进行处理,并把数据放到临时层,在经过简单转换进到基础数层,最后将数据进一步汇总到应用层。临时层的模型设计方式与源系统模型一致,都是统一命名规范的,它设计具有仅保存临时数据的原则,可应用于ETL用户数据加工与处理。基础数据层偏3NF设计,它是面向数据整合、长期历史数据存储、详细数据、通用汇总数据的设计,可应用于席查询、应用层数据源等。应用层的设计方式是反正则化设计、星型/雪花模型设计,它是面向一个或几个应用进行模型设计的,可应用于报表查询、数据挖掘等。

数据生成

在TPC官网上下载TPC-DS工具,使用下载后的工具生成TPC-DS数据文件,数据文件再生成hdfs、Hbase、OSS、RDS数据源。Hdfs和Hbase数据源是使用Hadoop客户端命令把TPC-DS数据文件加载到hdfs和Hbase中,数据源OSS是通过OSS客户端命令把TPC-DS数据文件加载到OSS中,数据源 RDS是通过dataworks数据集成把数据文件加载到RDS中。

数据上云

数据上云任务在设计目录架构和命名规范时,根目录应为01_数据导入格式,目录架构应遵循数据源的不同创建子目录,且相同数据源的数据导入任务放到同一个目录下的规则,命名为源名称+”To”+目标名称格式,值得注意的是任务类型和命名规则的脚本模式和向导模式是不同的。
数据上云任务开发分为数据源配置、脚本模式任务开发、向导模式任务开发、任务调度属性配置四个模块,四个模块具体操作步骤介绍如下:

  • 数据源配置模块:以FTP配置为例,操作步骤为新增数据源、结构化存储-FTP、属性选择及填写、测试连通性、点击完成,最后,在数据源页面就可以看到已配置的数据源。
  • 脚本模式任务开发模块:以ftp->MaxCompute为例,操作步骤为在数据集成界面新建任务、选择脚本模式、点击确认、生成配置文件模板、Ftp Reader配置、MaxCompute Writer配置、点击保存按钮,最终根据命名规范保存该任务。
  • 向导模式任务开发模块:以RDS->MaxCompute为例,具体操作步骤为数据集成->同步任务->向导模式、选择数据源、选择表、添加数据过滤条件(可选)、配置切分键(可选)、选择目标数据源、选择目标表、填写分区信息、选择清理规则、字段映射配置、通道控制相关参数配置、与切分键结合使用、填写任务名称、选择保存位置,最后确认任务创建已完成。
  • 任务调度属性配置模块:DataWorks任务创建成功后,可以对其相关属性进行配置。当数据集成->点击提交按钮时,适用于刚刚创建完成的任务和初始属性的配置,当数据开发->调度配置时,适用于修改和添加任务属性。
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
数据采集 自然语言处理 大数据
​「Python大数据」词频数据渲染词云图导出HTML
使用Python,本文展示数据聚类和办公自动化,焦点在于通过jieba分词处理VOC数据,构建词云图并以HTML保存。`wordCloud.py`脚本中,借助pyecharts生成词云,如图所示,关键词如"Python"、"词云"等。示例代码创建了词云图实例,添加词频数据,并输出到"wordCloud.html"。
18 1
​「Python大数据」词频数据渲染词云图导出HTML
|
6天前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
577 0
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
17天前
|
存储 人工智能 OLAP
深度|大模型时代下,基于湖仓一体的数据智能新范式
本次文根据峰会演讲内容整理:分享在大模型时代基于湖仓一体的数据产品演进,以及我们观察到的一些智能开发相关的新范式。
|
13天前
|
数据可视化 前端开发 大数据
商场智能导视系统深度解析,AR与大数据融合创新商业运营模式
**商场智能导视系统提升购物体验:** 通过三维电子地图、AR导航、AR营销、VR全景导购及可视化数据,解决顾客寻路困扰,增强店铺曝光,简化招商流程,优化商场管理,借助科技创新驱动顾客满意度、品牌曝光度及运营效率的全面提升。
34 0
商场智能导视系统深度解析,AR与大数据融合创新商业运营模式
|
21天前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用问题之删除了某个分区的数据,如何找回
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
21天前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用问题之表数据大于1w行,如何下载数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
10天前
|
运维 监控 大数据
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
|
14天前
|
分布式计算 安全 大数据
大数据计算MaxCompute
【7月更文挑战第1天】大数据计算MaxCompute
25 0
|
15天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之两个odps数据源绑定了同一个项目, 如何看另外一个数据源的同步数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
12 0
|
17天前
|
机器学习/深度学习 分布式计算 监控
在大数据模型训练中,关键步骤包括数据收集与清洗、特征工程、数据划分;准备分布式计算资源
【6月更文挑战第28天】在大数据模型训练中,关键步骤包括数据收集与清洗、特征工程、数据划分;准备分布式计算资源,选择并配置模型如深度学习架构;通过初始化、训练、验证进行模型优化;监控性能并管理资源;最后保存模型并部署为服务。过程中要兼顾数据隐私、安全及法规遵守,利用先进技术提升效率。
30 0

相关产品

  • 云原生大数据计算服务 MaxCompute