dataworks是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks是阿里云提供的一种集成数据开发、数据集成、数据管理和数据治理的云原生数据智能开发平台。它旨在帮助用户更高效地处理和管理大数据,并实现数据驱动的业务创新和决策。
DataWorks提供了一系列功能和工具,包括:
数据开发:提供了可视化的数据开发工具,如MaxCompute Studio和Stream Studio,支持使用SQL、Python、Java等多种编程语言进行大数据计算和流处理任务的开发。
数据集成:提供了数据集成任务和数据同步功能,支持将数据从不同的数据源中导入到目标位置,如数据仓库、数据库、搜索引擎等。
数据管理:提供了数据表定义、数据血缘、数据质量评估等功能,帮助用户管理和监控数据的生命周期,实现数据的可视化和治理。
数据治理:提供了数据规范定义、数据模型设计、数据权限管理等功能,帮助用户确保数据的一致性、安全性和合规性。
数据开放平台:支持数据API的管理和发布,提供数据服务和应用集成的能力,促进数据资产的共享和复用。
通过DataWorks,用户可以在一个统一的平台上进行数据的开发、集成、管理和治理,简化数据处理流程,提高数据开发和数据运维的效率。同时,DataWorks还提供了丰富的监控和调度功能,帮助用户实时监控和管理数据任务的执行情况。
{"type": "job","steps": [{"parameter": {"datasource": "test_004",//数据源名称。"column": [//源端表的列名。"id","name","sex","salary","age"],"where": "id=1001",//过滤条件。"splitPk": "id",//切分键。"table": "public.person"//源端表名。},"name": "Reader","category": "reader"},{"parameter": {},"name": "Writer","category": "writer"}],"version": "2.0",//版本号"order": {"hops": [{"from": "Reader","to": "Writer"}]},"setting": {"errorLimit": {//错误记录数。"record": ""},"speed": {"concurrent": 6,//并发数。"throttle": false,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"mbps":"12"//限流}}}
https://help.aliyun.com/document_detail/137741.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。