开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

全量同步新增字段设置常量,开发环境手动全量同步字段常量正常插入,生产环境采用调度的形式字段插入为空

全量同步新增字段设置常量,开发环境手动全量同步字段常量正常插入,生产环境采用调度的形式字段插入为空

展开
收起
十一0204 2023-04-05 09:10:03 227 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    可能是因为在生产环境中,调度任务的执行环境和手动全量同步任务的执行环境不同,导致字段常量没有被正确传递。在生产环境中如果需要进行全量同步新增字段设置常量的操作,建议采用以下方式:

    1. 在调度任务对应节点的参数配置中,添加需要设置的常量作为节点参数,并在节点代码中进行调用,以保证常量被正确传递。

    2. 建议在调度任务执行之前,手动执行一次全量同步任务,并在其中设置需要的常量。这样可以确保常量已经被正确设置,并且调度任务执行时可以读取和使用这些常量。

    另外,还需要注意在生产环境中执行全量同步任务时,建议对目标表进行备份,并在执行任务之前进行数据预处理,以避免不必要的数据损失或数据冲突。

    2023-04-26 11:02:10
    赞同 展开评论 打赏
  • 存在即是合理

    如果你需要在全量同步中添加一个常量字段,可以在开发环境手动添加,然后将该字段添加到同步脚本中。在生产环境中,为了避免在同步时产生不必要的开销,可以使用调度程序来完成该任务。

    调度程序可以定期在生产环境中运行,以确保该常量字段已经被添加。这样做的好处是,可以减少同步脚本的运行时间,并且可以避免在同步期间出现问题的风险。同时,也可以确保生产环境中的数据是准确的和完整的。

    在生产环境中使用调度程序时,需要注意以下几点:

    1、调度程序应该在生产环境中运行,以确保数据的准确性和完整性。

    2、调度程序应该在生产环境中经过充分的测试和验证,以确保它能够正常运行并且不会对系统造成任何不必要的影响。

    3、调度程序应该记录日志,并在遇到错误时及时通知相关人员。同时,需要考虑如何处理异常情况,例如在插入常量字段时出现错误,应该如何回滚数据等。

    总之,对于新增的常量字段,可以在开发环境中手动添加,然后使用调度程序在生产环境中添加该字段,以确保数据的准确性和完整性。同时,需要对调度程序进行充分的测试和验证,并考虑如何处理异常情况。

    2023-04-06 08:46:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载