DataWorks如何使用脚本模式开发?

DataWorks如何使用脚本模式开发?

展开
收起
wenti 2023-02-13 17:48:10 201 分享 版权
1 条回答
写回答
取消 提交回答
  • 使用脚本模式开发的详情请参见通过脚本模式配置任务。说明 实际执行时,请删除下述代码中的注释。向ClickHouse写出数据的JSON配置,如下所示。{"type":"job","version":"2.0",//版本号。"steps":[{"stepType":"stream","parameter":{},"name":"Reader","category":"reader"},{"stepType":"clickhouse",//插件名。"parameter":{"username": "","password": "","column": [//字段。"id","name"],"connection": [{"table": [//表名。"ClickHouse_table"],"jdbcUrl": "jdbc:clickhouse://ip:port/database"}],"preSql": [ //执行数据同步任务之前率先执行的SQL语句。"delete from table where db_id = -1"],"postSql": [//执行数据同步任务之后率先执行的SQL语句。"update table set db_modify_time = now() where db_id = 1"],"batchSize": "1024","batchByteSize": "67108864","writeMode": "insert"},"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"//错误记录数。},"speed":{"throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"concurrent":1, //作业并发数。"mbps":"12"//限流}},"order":{"hops":[{"from":"Reader","to":"Writer"}]}}——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-02-13 20:28:58
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理