如何开发dataworks?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
开发DataWorks主要有以下几步:
熟悉DataWorks开发框架
DataWorks使用JavaScript进行开发,并提供如下几个框架:
SQL开发框架:基于SQL扩展函数和流计算进行开发。
UDF开发框架:自定义SQL函数。
API开发框架:基于Java/Python开发API服务。
系统函数开发框架:开发复杂的本地函数。
准备开发环境
使用IDEA、Eclipse或VS Code等编辑器,连接DataWorks开发环境。
准备数据源
定义数据资源,如关系型数据库、NoSQL数据库、OSS等。将数据源添加到DataWorks资源组。
书写业务逻辑
根据业务需求,使用SQL、UDF、本地函数等开发业务逻辑。
定义流与报表
使用流将业务逻辑串联起来,使用报表将结果展现出来。
定义数据服务
可选。开发数据服务API,为外部系统提供数据接入。
测试与部署
在测试环境测试流与报表,确保功能正确。然后部署至生产环境。
使用调度
为流与报表设置调度任务,实现自动化运行。
数据监控告警
监控流执行状态,数据质量等,配置告警规则。
一致性保障
两套DataWorks环境间同步资源和配置信息
进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。单击左上方的
图标,选择全部产品 > 数据开发 > 数据分析。在数据分析顶部菜单栏单击电子表格,进入电子表格页面。在电子表格页面,单击新建电子表格下的
图标,进入电子表格编辑页面。您也可以在首页的快捷入口区域,单击电子表格进入电子表格编辑页面。
如果当前账号已存在模板,您可以单击相应的模板,创建和模板一致的电子表格。单击右上方的更多模板,即可查看当前账号的全部模板。创建和导入模板的详情请参见管理电子表格模板。
在电子表格编辑页面,您可以设置电子表格的样式,并进行透视分析和探查等数据分析,详情请参见分析数据。在电子表格编辑页面,单击右上方的保存。在保存文件对话框中,输入文件名。单击确认。
https://help.aliyun.com/document_detail/141358.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。