Dataphin 资源治理有哪些典型的应用场景?
场景 1:存储优化长期无人使用的表
一家企业往往有上万张表,随着业务的变更和人员的流动,一些业务表逐渐无人使用,同时因为多个分区进行存储,会一直占用大量的存储资源。比如一些公司的原始数据,一个分区可能就有 1T,但是业务每次都只会用最新的分区,就会导致大量的历史分区的存储浪费,可以设置分区的过期策略,对历史分区进行下线操作。
Dataphin 资源治理功能,可以自动发现无人使用的数据表或其他异常数据表,并在治理工作台进行提醒和展示。同时可以在治理工作台查看相应数据表,并采取下线、设置生命周期等措施。
场景 2:计算优化异常计算任务
计算资源的重要价值和昂贵成本,需要每个任务都按需使用。而在实际的业务开发过程中,存在大量的异常计算任务,浪费了大量的计算资源,如暴力扫描(扫描大量分区)、数据膨胀(数据产出远远大于输入)、数据倾斜(部分节点处理时间过长)等情况。
Dataphin 的资源治理功能,对任务的执行进行了全链路的监控,自动发现这些异常的计算任务,并在治理工作台进行提醒和展示。可以在治理工作台查看相应任务,并采取相应的任务进行代码优化、下线等措施。
以上内容摘自《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》电子书,点击https://developer.aliyun.com/ebook/download/7832可下载完整版。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。