开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks临时查询文件怎么批量删除?

DataWorks临时查询文件怎么批量删除?

展开
收起
真的很搞笑 2024-01-27 17:46:43 73 0
4 条回答
写回答
取消 提交回答
  • 目前还不支持批量 我们记录一下需求6831e2773f902c633c7b86d8e3d6ae5c.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-28 09:57:53
    赞同 1 展开评论 打赏
  • 在阿里云DataWorks中,如果要批量删除临时查询文件(例如,SQL查询产生的临时结果集文件),并没有直接的批量删除功能,因为临时查询结果集通常不会持久化存储,而是仅存在于查询执行期间。但如果是指通过DataWorks Notebook或其他功能产生的临时表或者其他形式的数据存储,可以按照以下方式进行清理:

    清理临时表(MaxCompute)

    对于MaxCompute中的临时表,你可以通过执行相应的DROP TABLE SQL语句来删除:

    -- 删除单个临时表
    DROP TABLE IF EXISTS tmp_table_name;
    
    -- 批量删除多个临时表(假设表名有某种规律,例如前缀为tmp_)
    DO
    $$
    DECLARE 
        rec record;
    BEGIN
        FOR rec IN SELECT 'tmp_' || schemaname || '.' || tablename AS full_table_name
                    FROM pg_tables
                    WHERE schemaname LIKE '%临时表前缀%'
                      AND tablename NOT LIKE 'pg_%' -- 避免删除系统表
        LOOP
            EXECUTE 'DROP TABLE IF EXISTS ' || quote_ident(rec.full_table_name);
        END LOOP;
    END;
    $$ LANGUAGE plpgsql;
    

    清理Hive临时表

    在Hive中,同样可以通过DROP TABLE命令批量删除临时表:

    -- 删除单个临时表
    DROP TABLE IF EXISTS tmp_table_name;
    
    -- 若需要批量删除,可以结合脚本或者编程语言构造SQL语句,遍历并执行
    -- 下面示例使用伪代码
    FOR each table in temporary_tables_list:
        DROP TABLE IF EXISTS table;
    

    清理DataWorks Notebook产出物

    对于DataWorks Notebook产生的临时数据集,需要在Notebook页面中逐个清理,目前暂无直接的批量删除功能。

    清理其他数据产品临时文件

    如果是其他数据产品的临时文件,比如OSS中的临时文件,可以编写脚本通过OSS SDK进行批量删除,或者在DataWorks的数据开发模块中编写适当的清理脚本,通过调度任务定期执行。

    注意事项

    在执行批量删除操作之前,请务必确认待删除的对象确实是临时且无需保留的数据,以免误删重要数据。同时,删除操作不可逆,务必谨慎操作。

    2024-01-27 21:52:39
    赞同 2 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,你可以使用以下步骤批量删除临时查询文件:

    1. 登录到DataWorks控制台。
    2. 在左侧导航栏中,选择“我的工作空间”。
    3. 在我的工作空间页面中,找到你想要删除临时查询文件的文件夹,点击进入。
    4. 在文件夹中,你可以看到所有的临时查询文件。你可以按住Ctrl键,然后点击鼠标左键选择多个文件。或者,如果你想要选择所有文件,你可以按Ctrl+A快捷键。
    5. 选择完文件后,点击页面右上角的“删除”按钮。
    6. 在弹出的确认对话框中,点击“确定”按钮,确认删除。

    注意:删除的文件将无法恢复,所以在删除前请确保这些文件确实不再需要。

    2024-01-27 20:27:21
    赞同 1 展开评论 打赏
  • 在“数据开发”模块下,找到包含临时查询脚本或结果的位置,一般是在某个业务流程下的SQL节点或者脚本目录里。

    2024-01-27 18:07:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载