开发者社区> 问答> 正文

Dataphin 资源治理有哪些典型的应用场景?

已解决

Dataphin 资源治理有哪些典型的应用场景?

展开
收起
詹姆斯邦德00 2022-11-24 12:40:18 935 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    场景 1:存储优化长期无人使用的表

    一家企业往往有上万张表,随着业务的变更和人员的流动,一些业务表逐渐无人使用,同时因为多个分区进行存储,会一直占用大量的存储资源。比如一些公司的原始数据,一个分区可能就有 1T,但是业务每次都只会用最新的分区,就会导致大量的历史分区的存储浪费,可以设置分区的过期策略,对历史分区进行下线操作。

    Dataphin 资源治理功能,可以自动发现无人使用的数据表或其他异常数据表,并在治理工作台进行提醒和展示。同时可以在治理工作台查看相应数据表,并采取下线、设置生命周期等措施。

    场景 2:计算优化异常计算任务

    计算资源的重要价值和昂贵成本,需要每个任务都按需使用。而在实际的业务开发过程中,存在大量的异常计算任务,浪费了大量的计算资源,如暴力扫描(扫描大量分区)、数据膨胀(数据产出远远大于输入)、数据倾斜(部分节点处理时间过长)等情况。

    Dataphin 的资源治理功能,对任务的执行进行了全链路的监控,自动发现这些异常的计算任务,并在治理工作台进行提醒和展示。可以在治理工作台查看相应任务,并采取相应的任务进行代码优化、下线等措施。

    image.png

    以上内容摘自《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》电子书,点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

    2022-11-24 13:22:32
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
构建企业级好数据(Dataphin智能数据建设与治理白皮书) 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载