大数据ETL简介

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据ETL简介

1 数据抽取

ETL(Extract-Transform-Load)是将数据从来源端经过抽取(extract)、转换(transform)、加载

(load)⾄⽬的端的过程。从数据源抽取出所需要的原始数据,经过数据清洗,最终将清洗后的数据加

载到数据仓库中去。也称为数据仓库技术。

  1. 数据源通过采集的⽅式获取, 保存到数据仓库
  2. 通过数据清洗,处理完成落地到数据仓库
  3. 供业务使⽤

数据抽取是从数据源抽取需要的原始数据,抽取的⽅式多种多样,要根据数据源的特点来确定,通常有

如下⼏种数据抽取的⽅式:

1、从关系数据抽取数据

通常OLTP系统采⽤关系数据库存储业务操作数据,从关系数据库抽取操作型数据是最多⼀种数据抽取

⽅式。

数据从关系数据库抽取后通常会先以⽂件的⽅式存储到分布式⽂件系统中(例如HDFS),⽅便ETL程序

读取原始数据。也有的是将抽取后的数据直接存储到数据仓库中,采⽤第⼆种⽅法需要提前在数据仓库

创建与原始数据相同结构的数据仓库模型。

2、从⽇志⽂件抽取

OLTP系统通过⽇志系统将⽤⼾的操作⽇志、系统⽇志等存储在OLTP服务器上,由专⻔的采集程序从服

务器上采集⽇志⽂件信息。

3、从数据流接⼝抽取

OLTP系统提供对外输出数据的接⼝(⽐如telnet),采集系统与该接⼝对接,从数据流接⼝抽取需要的

数据。

2 数据转换数据转换也叫数据清洗转换,是将采集过来的原始数据(通常原始数据存在⼀定的脏数据)清洗(过

虑)掉不符合要求的脏数据,根据数据仓库的要求对数据格式进⾏转换,经过数据清洗转换后是符合数

据仓库要求的数据。

要清洗的脏数据的形式有:

1、错误的数据

存在数据内容错误的信息,⽐如学⽣选课信息中课程标识错误或选课⽇志⾮法等。

2、不完整的数据

是指信息不完整,⽐如学⽣选课信息中缺少学⽣或缺少课程的信息,这类信息是不符合学⽣选课数据模

型的要求。

3、重复数据

第三类数据是要根据具体的业务进⾏单独去重操作,⽐如:同⼀个课程学习会话中只允许有⼀条学习记

录,这⾥就要根据会话ID对数据进⾏去重操作。

数据转换的形式有:

1、数据格式转换

对数据的格式进⾏转换,通常转换后数据内容是不变的,⽐如:数据仓库要求的⽇期存储格式是

yyyymmdd,⽽采集过来的数据格式是yyyy-mm-dd,这⾥需要将yyyy-mm-dd的格式转换为

yyyymmdd。

2、数据内容转换

对数据内容进⾏转换,通常数据内容转换后是不会改变原始数据内容的意义的,⽐如:数据仓库要求存

储⽤⼾所在区域,这⾥就需要根据采集过来的⽤⼾IP地址从IP库中查找出⽤⼾的IP地址所对应的区域信

息,这⾥根据IP地址转换为区域就是数据内容的转换。


3 数据加载

数据加载就是清洗转换后的数据存储到数据仓库中,数据加载的⽅式包括:全量加载、增量加载。

全量加载:

全量加载相当于覆盖加载的⽅式,每个加载都会覆盖原始数据将数据全部加载的数据仓库,此类加载⽅

式通常⽤于维度数据。

增量加载:

增量加载按照⼀定的计划(通常是时间计划)逐步的将数据⼀批⼀批的将数据加载到数据仓库,此类加

载⽅式通常⽤于OLTP的业务操作数据。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
301 0
|
1月前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
36 4
|
SQL NoSQL Java
Redis学习---大数据技术之Redis(NoSQL简介、Redis简介、Redis安装、五大数据类型、相关配置、持久化)
Redis学习---大数据技术之Redis(NoSQL简介、Redis简介、Redis安装、五大数据类型、相关配置、持久化)
|
18天前
|
分布式计算 大数据 BI
ClickHouse与大数据生态整合:从ETL到BI报表
【10月更文挑战第27天】在这个数据驱动的时代,企业越来越依赖于数据来做出关键决策。而高效的数据处理和分析能力则是支撑这一需求的基础。作为一位数据工程师,我有幸参与到一个项目中,该项目旨在利用ClickHouse与Hadoop、Spark、Flink等大数据处理框架的整合,构建一个从数据提取(Extract)、转换(Transform)、加载(Load)到最终生成商业智能(BI)报表的全流程解决方案。以下是我在这个项目中的经验和思考。
31 1
|
1月前
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
62 4
|
3月前
|
数据采集 监控 大数据
大数据中的ETL过程详解
【8月更文挑战第25天】ETL过程在大数据中扮演着至关重要的角色。通过合理设计和优化ETL过程,企业可以高效地整合和利用海量数据资源,为数据分析和决策提供坚实的基础。同时,随着技术的不断进步和发展,ETL过程也将不断演进和创新,以更好地满足企业的数据需求。
|
3月前
|
存储 分布式计算 数据可视化
大数据概念与术语简介
大数据概念与术语简介
89 2
|
6月前
|
存储 大数据 虚拟化
【云计算与大数据技术】虚拟化简介及虚拟化的分类讲解(图文解释 超详细)
【云计算与大数据技术】虚拟化简介及虚拟化的分类讲解(图文解释 超详细)
655 0
|
6月前
|
消息中间件 分布式计算 大数据
大数据组件之storm简介
大数据组件之storm简介
162 2
|
6月前
|
监控 大数据 数据处理
大数据组件之Storm简介
【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统,提供容错和高可用的实时计算。核心概念包括Topology(由Spouts和Bolts构成的DAG)、Spouts(数据源)和Bolts(数据处理器)。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理,以及Trident状态管理和高级实践,强调调试、性能优化和数据安全性。
271 4