ETL学习笔记之一:ETL是什么?

简介:

对于数据仓库以及ETL的知识,我基本上是个门外汉。一切都得从头开始,记个笔记,方便自已了解学习进度。


首先,我们来了解最基本的定义:
嗯,也有人将ETL简单称为数据抽取。至少在未学习之前,领导告诉我的是,你需要做一个数据抽取的工具。
其实呢,抽取是ETL中的关键环节,顾名思义,也就将数据从不同的数据源中抓取(复制)出来。
太简单了!
上面的解释无首无尾,有点象能让你吃饱的第七个烧饼,
仔细一想,抽取是不可能单独存在,我们需要将与之关联的一些其它环节拿出来。

于是,得到ETL的定义:
将数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。 
好的,既然到了这一个层次,我们完全会进一步展开联想,引出上面这个抽象事件的前因后果,

抽取的源在哪里? 
装载的目的又是什么呢?

抽取源:大多数情况下,可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。当然,广义一点,可能会是其它数据库或者是文件系统。
目的地:OK,我们希望是数据仓库。数据仓库是啥?在学习之前,它对我来说是个抽象的怪物,看过一些简单的资料之后,才了解这个怪物一点都不怪。堆积用来分析的数据的仓库。是了,是用来分析的,于是,它区别于OLTP中的数据存储。

然后,我们来看看为什么要ETL?
在我看来,有两个原因。
一:性能  将需要分析的数据从OLTP中抽离出来,使分析和事务处理不冲突。咦?这不是数据仓库的效果吗?是了,

数据仓库,大多数情况下,也就是通过ETL工具来生成地。

二:控制  用户可以完全控制从OLTP中抽离出来的数据,拥有了数据,也就拥有了一切。
嗯,OLAP分析,数据挖掘等等等……。

最后,总结一下,
从资料上看,ETL是一门大学问,对于大学问,实在有些怕怕,所以,我觉得应该停下来想一想,下一步我该干点啥?
嗯,时不我待,我没有办法一切从头开始,
是了,从应用出发,看看现在工作中,最急需的是什么?

鸭子要变成一盘菜,并不是举手将之置于油锅之劳。 
OK,要将生米变为熟饭,鸭子放上大盘,一堆废话之后,我得先看看厨房里都有了一些啥?

本文出自seven的测试人生公众号最新内容请见作者的GitHub页:http://qaseven.github.io/

目录
相关文章
|
NoSQL Linux 编译器
Linux下交叉编译gdb,gdbserver+gdb的使用以及通过gdb调试core文件
交叉编译gdb和gdbserver 1、下载gdb:下载地址为:http://ftp.gnu.org/gnu/gdb/按照一般的想法,最新版本越好,因此下载7.2这个版本。当然,凡事无绝对。我们以gdb-7.2.tar.bz2 这个文件为例。
9006 1
|
JSON API 数据格式
5分钟构建API接口服务 | python小知识
Flask是python中轻量的web框架,Flask的两个核心模块除了模板渲染之外就是请求响应处理,其中请求响应处理是由 Werkzeug(WSGI 工具库)完成,而模板渲染是由Jinja(模板渲染库)完成。 Flask因为轻量灵活,用来构建API接口十分合适
11757 10
5分钟构建API接口服务 | python小知识
|
4月前
|
缓存 UED 开发者
Codex109天重置23次,明天还要再送一次
Codex近109天完成23次额度重置,7月14日将迎来第24次。Tibo高频响应用户反馈:优化GPT-5.6高消耗问题、补发失效福利、调整重置时间——形成“反馈→回应→修复→补偿”正向闭环,彰显以用户为中心的产品哲学。(239字)
2230 12
|
4月前
|
安全 虚拟化 Android开发
Ios云手机硬件虚拟化技术对比 2026云端ARM与容器化方案选型指南
云手机选型关键在底层架构:容器化虚拟化成本低但共享内核,易致iOS闪退、封号;ARM裸金属虚拟化(如瓜瓜云手机)实现硬件级隔离,真实A芯片指令、独立指纹/IP,通过内核级风控检测,是2026年iOS账号长期稳定运营的唯一合规方案。(239字)
|
5月前
|
人工智能 供应链 数据可视化
爱奇迹 x Quick BI:破局数据孤岛,智联全球业务
爱奇迹借助阿里云Quick BI打通全球数据孤岛,实现供应链全链路可视、销售自助分析与实时预警。核心看板月均访问1.2万次,运营效率提升50%,开发响应提速5倍,助力企业构建敏捷、协同、智能的全球化决策体系。
340 0
|
5月前
|
人工智能 边缘计算 自然语言处理
智能体来了,AI从“会聊天”到“能干活”,开启全民智能助手时代
当你说“帮我订一家周末的亲子餐厅”,传统AI只会罗列餐厅信息;而智能体会自动查档期、对比评价、预约座位并同步到日历——无需你反复操作,全程自主搞定。 2026年,AI智能体(Agent)不再是实验室概念,而是正在重塑工作与生活的核心力量。它标志着人工智能从“被动问答”的大模型时代,迈入“主动执行”的智能体时代。今天,我们用一篇文章讲透:智能体是什么、能做什么、将如何改变我们的世界。
|
5月前
|
Web App开发 存储 缓存
《Chrome隔离机制的维度落地指南》
本文针对多环境运维、多平台运营等场景下的Chrome账号串号痛点,从浏览器存储底层逻辑切入,拆解账号隔离的核心原理与落地方法。文章解析了Chrome用户数据目录的存储机制,指出原生多用户配置的逻辑隔离边界,梳理了隐私模式局限、账号同步干扰、扩展程序互通等常见冲突诱因。文中分别给出轻量场景下原生多用户配置的实操步骤,与高安全场景下独立数据目录的深度隔离方案,同时补充浏览器指纹弱化、配置分层运维、隐性冲突排查、资源消耗平衡等配套实践要点,提出按需选型、规范管理的核心思路。
523 0
|
7月前
不太好用
代码写的有严重遗漏
|
API 开发者 Python
「零基础」淘宝商品API调用指南:3步获取商品标题/价格/库存
注册淘宝开放平台账号,申请商品详情API权限并获取AppKey与AppSecret。通过RESTful接口,设置商品ID、返回字段等参数,使用Python发起HTTP请求,轻松获取商品标题、价格、库存等信息。
|
11月前
|
传感器 算法 物联网
基于STM32 的智能导盲拐杖项目源码分享【源码分享】
基于 STM32 的智能导盲拐杖项目,是一个非常典型的“多传感器融合 + 嵌入式控制 + 人机交互”的 IoT 辅助设备示例。它不仅具有工程价值,也有重要的社会意义。通过本文的架构讲解、模块选型和软件思路,你可以快速搭建原型,并进一步扩展成一个可投入使用的辅助产品。
基于STM32 的智能导盲拐杖项目源码分享【源码分享】