一图读懂
基于阿里DataWorks产品实现数据中台数据处理的技术要点梳理。
主线流程
1.数据集成
数据源的多种类型以及数据源管理。
2.数据交换
数据交换管理管理和调度管理。
3.数据开发
需要实现的核心功能，包含数据处理规则和处理时机。
在进行数据处理过程中，需要使用的Dataworks产品功能包含数据地图，数据质量，数据保护伞，数据分析等功能。
4.数据应用
数据处理结果对外进行数据交换，生成数据API服务以及使用阿里的数据展现工具quickBI和datav进行数据展示。
DataWorks数据处理全流程技术站点地图
2020-06-28
799
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
基于数据中台建设经验，整理阿里大数据产品DataWorks实现数据中台数据处理的技术站点地图。
相关实践学习
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标 通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群 企业数据仓库开发人员 大数据平台开发人员 数据分析师 大数据运维人员 对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
DataWorks
数据可视化
前端开发
《阿里云飞天大数据平台 DataWorks 前端技术解密：工作流调度可视化》（脱敏版本）
## ![image.png](https://intranetproxy.alipay.com/skylark/lark/0/2021/png/13481/1614773723538-e8d99a86-b04d-47bb-86ad-90cdb07ac657.png#height=220&id=QQWI7&margin=%5Bobject%20Object%5D&name=image.png&or
817
0
1
|
3天前
|
分布式计算
DataWorks
数据处理
"DataWorks高级技巧揭秘：手把手教你如何在PyODPS节点中将模型一键写入OSS，实现数据处理的完美闭环！"
【10月更文挑战第23天】DataWorks是企业级的云数据开发管理平台，支持强大的数据处理和分析功能。通过PyODPS节点，用户可以编写Python代码执行ODPS任务。本文介绍了如何在DataWorks中训练模型并将其保存到OSS的详细步骤和示例代码，包括初始化ODPS和OSS服务、读取数据、训练模型、保存模型到OSS等关键步骤。
11
3
3
|
3月前
|
缓存
DataWorks
安全
DataWorks产品使用合集之如何进行触发式任务执行流程
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
53
1
1
|
3月前
|
分布式计算
DataWorks
安全
DataWorks产品使用合集之如何通过API终止运行的流程
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
37
0
0
|
4月前
|
SQL
DataWorks
安全
DataWorks产品使用合集之在进行数据查询和数据处理时，如何通过数据建模与开发模块来创建和管理SQL脚本
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
44
0
0
|
6月前
|
存储
分布式计算
DataWorks
DataWorks产品使用合集之在DataWorks中，从数据同步到最终的大屏幕展示的基本流程如何解决
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
71
0
0
|
6月前
|
DataWorks
监控
安全
|
数据采集
分布式计算
运维
DataWorks OpenAPI 实战-数据开发全流程介绍
DataWorks作为飞天大数据平台操作系统，历经11年发展，形成了涵盖数据集成、数据开发、数据治理、数据服务的一站式大数据开发治理平台。很多企业用户在使用产品的过程中希望他们的本地服务能够和阿里云上的DataWorks服务进行交互，从而提升企业大数据处理的效率，减少人工操作和运维工作，降低数据风险和企业成本，现在DataWorks开放OpenAPI能力满足企业的定制化需求。
7047
0
1
|
存储
分布式计算
DataWorks
|
SQL
DataWorks
Shell
热门文章
最新文章
1
转载《Data Lake Analytics: 使用DataWorks来调度任务》
2
DataWorks独享资源组开通、使用教程
3
ODPS到ADS数据迁移指南
4
PyODPS 中使用 Python UDF
5
DataWorks中业务日期和定时时间的理解
6
基于pyodps对MaxComputer表的数据探查
7
数据治理中 PyODPS 的正确使用方式
8
DataWorks 2021-06 产品月刊
9
DataWorks百问百答01：数据同步该用什么资源组？
10
Dataworks数据集成之“文本数据”
1
DataWorks旧版的运维中心-->周期任务。对应新版的哪个位置？
53
2
DataWorks的独享资源数据集成
56
3
DataWorks的集成任务并发度设置主要影响的是**调度资源组**。
41
4
DataWorks中的任务期望最大并发数配置**不是ClickHouse的默认并发数**
64
5
在DataWorks中，将MaxCompute的表映射成Hologres（Holo）外部表的语句
113
6
在DataWorks中，如果节点成环，即某个节点既是上游节点又依赖了自己的下游节点
57
7
DataWorks提供的数据同步类型不仅包括整库离线同步
67
8
DataWorks不仅提供单表离线模式，还支持多种数据同步任务类型。
73
9
DataWorks生产与开发环境配置：保障数据处理的稳定与高效
83
10
DataWorks数据地图：企业数据治理的指南针
188