DataWorks是一款数据处理和集成平台,主要具备以下能力:
数据集成:支持多种异构数据源之间数据高速稳定的数据移动及数据同步。 可视化数据开发:帮助用户获得更加清晰的开发逻辑,SQL智能编辑器能够带来更人性化的开发体验,可视化开发界面,简单易上手。 强大的调度功能:支持根据时间、依赖关系,进行任务触发的机制; 支持每日千万级别的任务,根据DAG关系准确、准时地运行; 支持分钟、小时、天、周和月多种调度周期配置。 数据服务:帮助用户实现数据API快速生成和注册服务。 可视化运维:提供上下游关系梳理、运行日志、补数据等完善的任务运维。 数据资产管理:包括元数据管理、数据血缘、数据资产大图等。 数据质量:数据质量探查、监控、校验和评分体系。 数据安全:数据权限管理,数据的分级达标、脱敏、以及数据的审计。 综上所述,DataWorks是一个全面的数据处理和集成平台,具有多种功能和能力,可以满足企业不同的数据处理需求。
基于DataWorks,您可以获得如下能力:数据集成:复杂网络环境、丰富数据源之间的数据传输与上云。数据开发:在线批处理、流处理和机器学习等多引擎任务开发,构建复杂的调度依赖,提供开发、生产环境隔离的研发模式。实时分析(仅公共云):提供基于电子表格的快速、灵活的即时查询。数据服务:零代码快速生成Serverless化的API。数据质量:通过表级别、字段级别监控规则定义,第一时间感知脏数据。智能监控:一键实现复杂工作流的全链路监控报警配置。数据地图(公共云)/数据管理(专有云):提供强大的数据搜索、数据类目、数据血缘等能力。数据资产管理(仅专有云):统一管理整个平台的数据表、API等各类数据资产。数据安全:数据审计、数据脱敏、权限控制等能力。应用开发(仅公共云):基于Web端的组件拖拉拽轻松构建数据应用。工作空间管理(公共云)/平台管理(专有云):从系统层面,为管理者提供对使用DataWorks的用户(成员)权限、DataWorks底层计算引擎配置的管理能力。总之,使用DataWorks,您不仅可以进行海量数据的离线加工分析,还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践。让数据从采集到展现、从分析到驱动应用得以一站式解决,真正实现数据业务化、业务数据化。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”
你好,DataWorks有以下核心能力:
数据集成:复杂网络环境、丰富数据源之间的数据传输与上云。 数据开发:在线批处理、流处理和机器学习等多引擎任务开发,构建复杂的调度依赖,提供开发、生产环境隔离的研发模式。 实时分析(仅公共云):提供基于电子表格的快速、灵活的即时查询。 数据服务:零代码快速生成Serverless化的API。 数据质量:通过表级别、字段级别监控规则定义,第一时间感知脏数据。 智能监控:一键实现复杂工作流的全链路监控报警配置。 数据地图(公共云)/数据管理(专有云):提供强大的数据搜索、数据类目、数据血缘等能力。 数据资产管理(仅专有云):统一管理整个平台的数据表、API等各类数据资产。 数据安全:数据审计、数据脱敏、权限控制等能力。 应用开发(仅公共云):基于Web端的组件拖拉拽轻松构建数据应用。 工作空间管理(公共云)/平台管理(专有云):从系统层面,为管理者提供对使用DataWorks的用户(成员)权限、DataWorks底层计算引擎配置的管理能力。
具体,可参考
https://help.aliyun.com/document_detail/113249.html
DataWorks的数据集成具有数据流管控的能力,能够从脏数据、数据流速、并发线程数等多个维度管控数据流的行为,多方位节约用户成本,实现精益化管理。
1.数据集成
能够支持多种异构数据源之间数据高速稳定的数据移动及数据同步。
2.可视化数据开发
帮助用户获得更加清晰的开发逻辑,SQL智能编辑器能够带来更人性化的开发体验,可视化开发界面,简单易上手。
3.强大调度功能
支持根据时间、依赖关系,进行任务触发的机制;
支持每日千万级别的任务,根据DAG关系准确、准时地运行;
支持分钟、小时、天、周和月多种调度周期配置。
4.数据服务
帮助用户实现数据API快速生成和注册服务。
5.可视化运维
提供上下游关系梳理、运行日志、补数据等完善的任务运维。
6.数据资产管理
包括元数据管理、数据血缘、数据资产大图等。
7.数据质量
数据质量探查、监控、校验和评分体系。
8.数据安全
数据权限管理,数据的分级达标、脱敏、以及数据的审计。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。