dataworks数据集成
已解决问题描述
在dataworks中通过数据集成连接达梦数据库需要用josn脚本连接
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "dm",
"parameter": {},
"name": "Reader",
"category": "reader"
},
{
"stepType": "stream",
"parameter": {
"print": false,
"fieldDelimiter": ","
},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"errorLimit": {
"record": ""
},
"speed": {
"concurrent": 2,
"throttle": false
}
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}
期望结果
由于我并未接触过josn，恳请各位大佬帮我解释一下上方代码分别代表什么意思，我需要怎么做
已尝试的方法
...
写回答
-
采纳回答通过脚本方式连接DataWorks和达梦数据库的操作流程可以参考文档：https://help.aliyun.com/document_detail/137717.htm
上面的代码示例是从达梦数据库抽取数据到stream数据库的插件配置示例：
{
"stepType": "dm",
"parameter": {},
"name": "Reader",
"category": "reader"
},
是定义了一个dm类型的reader。
{
"stepType": "stream",
"parameter": {
"print": false,
"fieldDelimiter": ","
},
"name": "Writer",
"category": "writer"
}
是定义了一个stream类型的writer。
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
是说明了数据传输是从reader到writer，也就是把数据从dm抽取然后写入stream。
你可以根据你的数据传输场景修改对应的代码。不同的数据库的配置方式可以从文档里面链接过去参考看看：https://help.aliyun.com/document_detail/137670.html
2022-10-25 12:58:29赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
