一图读懂
基于阿里DataWorks产品实现数据中台数据处理的技术要点梳理。
主线流程
1.数据集成
数据源的多种类型以及数据源管理。
2.数据交换
数据交换管理管理和调度管理。
3.数据开发
需要实现的核心功能，包含数据处理规则和处理时机。
在进行数据处理过程中，需要使用的Dataworks产品功能包含数据地图，数据质量，数据保护伞，数据分析等功能。
4.数据应用
数据处理结果对外进行数据交换，生成数据API服务以及使用阿里的数据展现工具quickBI和datav进行数据展示。
DataWorks数据处理全流程技术站点地图
2020-06-28
804
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
基于数据中台建设经验，整理阿里大数据产品DataWorks实现数据中台数据处理的技术站点地图。
相关实践学习
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标 通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群 企业数据仓库开发人员 大数据平台开发人员 数据分析师 大数据运维人员 对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
DataWorks
数据可视化
前端开发
《阿里云飞天大数据平台 DataWorks 前端技术解密：工作流调度可视化》（脱敏版本）
## ![image.png](https://intranetproxy.alipay.com/skylark/lark/0/2021/png/13481/1614773723538-e8d99a86-b04d-47bb-86ad-90cdb07ac657.png#height=220&id=QQWI7&margin=%5Bobject%20Object%5D&name=image.png&or
829
0
1
|
1月前
|
分布式计算
DataWorks
数据处理
"DataWorks高级技巧揭秘：手把手教你如何在PyODPS节点中将模型一键写入OSS，实现数据处理的完美闭环！"
【10月更文挑战第23天】DataWorks是企业级的云数据开发管理平台，支持强大的数据处理和分析功能。通过PyODPS节点，用户可以编写Python代码执行ODPS任务。本文介绍了如何在DataWorks中训练模型并将其保存到OSS的详细步骤和示例代码，包括初始化ODPS和OSS服务、读取数据、训练模型、保存模型到OSS等关键步骤。
81
3
3
|
4月前
|
缓存
DataWorks
安全
DataWorks产品使用合集之如何进行触发式任务执行流程
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
66
1
1
|
4月前
|
分布式计算
DataWorks
安全
DataWorks产品使用合集之如何通过API终止运行的流程
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
46
0
0
|
5月前
|
SQL
DataWorks
安全
DataWorks产品使用合集之在进行数据查询和数据处理时，如何通过数据建模与开发模块来创建和管理SQL脚本
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
55
0
0
|
7月前
|
存储
分布式计算
DataWorks
DataWorks产品使用合集之在DataWorks中，从数据同步到最终的大屏幕展示的基本流程如何解决
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
85
0
0
|
7月前
|
DataWorks
监控
安全
|
数据采集
分布式计算
运维
DataWorks OpenAPI 实战-数据开发全流程介绍
DataWorks作为飞天大数据平台操作系统，历经11年发展，形成了涵盖数据集成、数据开发、数据治理、数据服务的一站式大数据开发治理平台。很多企业用户在使用产品的过程中希望他们的本地服务能够和阿里云上的DataWorks服务进行交互，从而提升企业大数据处理的效率，减少人工操作和运维工作，降低数据风险和企业成本，现在DataWorks开放OpenAPI能力满足企业的定制化需求。
7061
0
1
|
存储
分布式计算
DataWorks
|
SQL
DataWorks
Shell
热门文章
最新文章
1
转载《Data Lake Analytics: 使用DataWorks来调度任务》
2
DataWorks独享资源组开通、使用教程
3
ODPS到ADS数据迁移指南
4
PyODPS 中使用 Python UDF
5
DataWorks 2021-06 产品月刊
6
DataWorks百问百答01：数据同步该用什么资源组？
7
Dataworks数据集成之“文本数据”
8
DataWorks产品菜单栏的优化解析
9
DataWorks报错问题之DataWorks报错odps-0433121: User is not added in the list - Only users in the operator account white list have permission to do that如何解决
10
DataWorks常见问题之如何集成离线数据
1
DataWorks操作报错合集之DataWorks任务异常 报错： GET_GROUP_SLOT_EXCEPTION 该怎么处理
112
2
DataWorks操作报错合集之DataWorksUDF 报错：evaluate for user defined function xxx cannot be loaded from any resources，该怎么处理
109
3
DataWorks操作报错合集之在DataWorks中，任务流在调度时间到达时停止运行，是什么原因导致的
106
4
DataWorks操作报错合集之DataWorks ODPS数据同步后，timesramp遇到时区问题，解决方法是什么
95
5
DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度，参数解析不出来，收到了 "Table does not exist" 的错误，该怎么处理
97
6
DataWorks操作报错合集之DataWorks中udf开发完后，本地和在MaxCompute的工作区可以执行函数查询，但是在datawork里报错FAILED: ODPS-0130071:[2,5]，是什么原因
111
7
DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null，该怎么解决
119
8
DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02]，mysql里面有个json类型字段，是什么原因导致的
154
9
DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面，也添加了RDS的IP白名单报错：数据源配置有误，请检查，该怎么处理
88
10
DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行，但是在 Hologres 表中没有看到数据，该怎么解决
126