请问DataWorks中离线拉取数据的过程，能看到已经拉取的数据量占比总数据量的多少吗?
请问DataWorks中离线拉取数据的过程，能看到已经拉取的数据量占比总数据量的多少吗?
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
值得去的地方都没有捷径
在DataWorks中离线拉取数据的过程中，可以通过查看任务运行日志或数据调度任务的监控页面来了解已经拉取的数据量占比总数据量的情况。
具体地，可以在数据调度任务的监控页面中查看该任务的“任务运行详情”信息。在这里，可以看到该任务的运行时间、运行状态、数据拉取情况、数据处理情况以及运行日志等信息。
其中，在“数据拉取详情”一栏中，可以看到该任务拉取数据的总量、成功拉取的数据量、失败拉取的数据量、成功拉取的数据占比、失败拉取的数据占比等信息。通过这些信息，可以初步了解已经拉取的数据量占比总数据量的情况。
此外，在DataWorks中，还可以通过自定义监控指标来获得更为详细和准确的数据拉取情况信息。在数据调度任务的监控页面中，选择“自定义监控”选项，可以定义需要监控的指标、统计方式和时间范围等参数，从而更加全面地了解数据拉取的情况。
2023-05-21 22:19:53赞同 展开评论 -
运行日志里有个detail log 链接 会每隔几秒打印一次读取总量 但是看不到实际的总量 集成任务应该没有预先读取count，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
2023-05-21 17:41:57赞同 展开评论
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。