开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

如何修改odps表的生命周期?

如何修改odps表的生命周期?

展开
收起
十一0204 2023-04-11 15:00:56 632 0
4 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云DataWorks中,修改ODPS表的生命周期可以按照以下步骤进行:

    1. 登录DataWorks控制台,进入目标项目。

    2. 在左侧的“数据开发”栏目中选择“数据集成”。

    3. 在数据集成页面中,选择想要修改生命周期的ODPS表。

    4. 点击该表右侧的“操作”列,选择“修改生命周期”。

    5. 在弹出的页面中,可以设置表的新的生命周期。需要设置的生命周期包括:

      • 时间:以天为单位,表示数据保留的时间周期。
      • 属性:表示如何处理过期数据。过期数据可以被删除、归档、移动到另一个表等多种方式进行处理。
    6. 设置完成后,点击“确认”按钮,生命周期设置即生效。

    2023-04-27 09:58:21
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    ODPS表的生命周期是指表中数据的保存时间,可以通过以下两种方式来修改ODPS表的生命周期:

    修改表的TTL属性 TTL(Time To Live)是ODPS中用来指定表中数据保存时间的属性,可以通过修改表的TTL属性来修改表的生命周期。具体操作步骤如下:

    使用ODPS SQL命令行或者ODPS Studio等工具登录ODPS账号。

    执行以下命令修改表的TTL属性:

    alter table table_name set tblproperties ('odps.tunnel.upload.lifecyle'='30'); 其中,table_name是需要修改的表名,30是新的生命周期,单位为天。

    使用ODPS SDK修改表的TTL属性 如果需要在程序中修改ODPS表的TTL属性,可以使用ODPS SDK,具体操作步骤如下:

    导入ODPS SDK的相关包和类。

    创建ODPS对象,并通过该对象获取需要修改的表。

    调用表的setTtl方法,设置新的生命周期。

    import com.aliyun.odps.*; import com.aliyun.odps.account.Account; import com.aliyun.odps.account.AliyunAccount; import com.aliyun.odps.data.Record; import com.aliyun.odps.data.RecordWriter; import com.aliyun.odps.tunnel.TableTunnel; import com.aliyun.odps.tunnel.TableTunnel.UploadSession; import com.aliyun.odps.tunnel.TableTunnel.UploadStatus; import java.io.IOException;

    public class ModifyTableTTL { public static void main(String[] args) throws OdpsException { // 创建ODPS对象 Account account = new AliyunAccount("access_id", "access_key"); Odps odps = new Odps(account); odps.setEndpoint("http://service.odps.aliyun.com/api"); odps.setDefaultProject("project_name");

        // 获取需要修改的表
        Table table = odps.tables().get("table_name");
    
        // 设置新的生命周期
        table.setTtl(30);
    }
    

    } 需要注意的是,通过修改TTL属性来修改ODPS表的生命周期,只会影响新写入的数据,对已经存在的数据不会生效。如果需要删除已经过期的数据,可以使用ODPS的数据清理功能来清理过期数据。

    2023-04-16 11:32:49
    赞同 展开评论 打赏
  • 意中人就是我呀!
    1. 如果使用表管理创建的表,在表管理中,修改“保存周期”,提交; 2. 也可以创建Sql节点,利用odps sql语句修改表的生命周期属性,参考:https://help.aliyun.com/document_detail/27808.html此答案整理自钉群“DataWorks交流群(答疑@机器人)”
    2023-04-12 09:23:07
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    可以通过以下步骤在阿里云DataWorks中完成:

    1. 进入数据开发页面,选择“数据集成”->“同步开发”。

    2. 找到需要修改生命周期的ODPS表,并点击右侧的“编辑”按钮。

    3. 进入表的编辑页面后,在左侧的“设置”区域中找到“生命周期”选项。

    4. 在“生命周期”选项中,可以设置表的生命周期天数,例如设置为30表示表中的数据会在30天后被删除。

    5. 修改完毕后,点击页面右上角的“保存”按钮即可生效。

    2023-04-11 17:42:48
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载