一图读懂
基于阿里DataWorks产品实现数据中台数据处理的技术要点梳理。
主线流程
1.数据集成
数据源的多种类型以及数据源管理。
2.数据交换
数据交换管理管理和调度管理。
3.数据开发
需要实现的核心功能，包含数据处理规则和处理时机。
在进行数据处理过程中，需要使用的Dataworks产品功能包含数据地图，数据质量，数据保护伞，数据分析等功能。
4.数据应用
数据处理结果对外进行数据交换，生成数据API服务以及使用阿里的数据展现工具quickBI和datav进行数据展示。
DataWorks数据处理全流程技术站点地图
2020-06-28
746
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
基于数据中台建设经验，整理阿里大数据产品DataWorks实现数据中台数据处理的技术站点地图。
相关实践学习
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标 通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群 企业数据仓库开发人员 大数据平台开发人员 数据分析师 大数据运维人员 对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
运维
DataWorks
数据可视化
《阿里云飞天大数据平台 DataWorks 前端技术解密：工作流调度可视化》（脱敏版本）
## 
|
1月前
|
SQL
分布式计算
DataWorks
DataWorks常见问题之dataworks连接FTP服务器失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
32
0
0
|
1月前
|
SQL
分布式计算
DataWorks
DataWorks常见问题之dataworks自定义函数运行时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
24
0
0
|
1月前
|
SQL
DataWorks
关系型数据库
DataWorks常见问题之dataworks同步Rds任务失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
28
0
0
|
1月前
|
分布式计算
DataWorks
调度
DataWorks常见问题之dataworks运行报错 system internal error 如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
29
0
0
|
1月前
|
分布式计算
DataWorks
关系型数据库
DataWorks常见问题之dataworks100g大小的csv文件上传到odps失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
43
0
0
|
1月前
|
数据采集
JSON
分布式计算
DataWorks常见问题之dataworks不允许隐式转换如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
36
0
0
|
1月前
|
SQL
存储
DataWorks
DataWorks常见问题之dataworks 表授权失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
32
0
0
|
1月前
|
SQL
分布式计算
DataWorks
DataWorks常见问题之dataworks数据同步时无法显示独享资源组如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
23
0
0
热门文章
最新文章
1
DataWorks旧版的运维中心-->周期任务。对应新版的哪个位置？
2
转载《Data Lake Analytics: 使用DataWorks来调度任务》
3
DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？
4
DataWorks独享资源组开通、使用教程
5
ODPS到ADS数据迁移指南
6
PyODPS 中使用 Python UDF
7
DataWorks中业务日期和定时时间的理解
8
5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)
9
DataWorks百问百答23：PostGreSql里的列为JSON类型如何同步到ODPS？
10
阿里云 DataWorks 智能数据建模（二）| 学习笔记
1
DataWorks旧版的运维中心-->周期任务。对应新版的哪个位置？
21
2
DataWorks的独享资源数据集成
12
3
DataWorks的集成任务并发度设置主要影响的是**调度资源组**。
13
4
DataWorks中的任务期望最大并发数配置**不是ClickHouse的默认并发数**
12
5
在DataWorks中，将MaxCompute的表映射成Hologres（Holo）外部表的语句
23
6
在DataWorks中，如果节点成环，即某个节点既是上游节点又依赖了自己的下游节点
16
7
DataWorks提供的数据同步类型不仅包括整库离线同步
21
8
DataWorks不仅提供单表离线模式，还支持多种数据同步任务类型。
24
9
DataWorks生产与开发环境配置：保障数据处理的稳定与高效
21
10
DataWorks数据地图：企业数据治理的指南针
86