开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks可以增加一个输入写入库的时间么?

DataWorks从mysql实时同步数据到maxcompute的时候,可以增加一个输入写入库的时间么?该时间是写入mc时自动生成?

展开
收起
真的很搞笑 2023-11-07 17:44:24 55 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,可以使用ODPS SQL语句来实现这一功能。您可以尝试以下方法:

    1. 定义一个字段来保存入库时间,并使用NOW() 函数获得当前时间。
    2. 将时间字段加入到表结构中,并在插入数据时将NOW() 函数的结果写入到字段中。
    2023-11-08 14:33:22
    赞同 展开评论 打赏
  • 在 DataWorks 中,您可以尝试以下方法将数据写入 MaxCompute 并添加写入时间:

    1. 使用 INSERT INTO ... SELECT 语句插入 MaxCompute 表,并在查询中包含 timestamp 列。
    INSERT INTO maxcompute_table SELECT ..., CURRENT_TIMESTAMP AS write_time FROM mysql_table;
    
    1. 使用 INSERT OVERWRITE 语句替换 MaxCompute 表中的现有数据,并在插入数据的同时自动添加写入时间。
    INSERT OVERWRITE TABLE maxcompute_table SELECT ..., CURRENT_TIMESTAMP AS write_time FROM mysql_table;
    
    2023-11-07 22:30:38
    赞同 展开评论 打赏
  • https://help.aliyun.com/zh/dataworks/user-guide/fields-used-for-real-time-synchronization#concept-2367162单表实时同步 reader端不能增加字段,默认添加了这些字段 看下是否能代替满足需求,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 22:16:09
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多