Dataphin功能Tips系列(57)「预览」vs「运行」:离线集成的神奇按钮

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在数据开发过程中,使用Dataphin处理离线集成任务时,可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能,可快速验证处理逻辑而不影响目标表;对于需要调度的任务,担心资源占用和耗时超出预期时,可使用「运行」功能进行全流程测试,评估实际耗时与资源消耗。「预览」适合逻辑验证,「运行」用于真实环境模拟,两者结合助力高效开发与调试。

场景一

作为第一次使用Dataphin的数据开发,在离线集成任务中,你遇到了这样的问题:某原始表中存在部分错误记录,需要剔除后生成新字段,再迁移到新库中,因此你在集成管道中设置了过滤和字段计算组件。谨慎的你想知道组件配置是否正确,这时该如何快速验证处理后的数据呢?

解决方案及功能

  1. 点击「预览」。

  1. 执行任务成功后,控制台会自动跳转到「运行结果」,在这里可以看到除输出组件之外的执行结果。

场景二

看到了正确处理的数据,你又遇到了新的问题:任务需要每小时调度一次,但原始表数据量比较大,你担心耗时和资源占用超出预期。那么,该如何测试任务的真实运行情况,避免生产环境“翻车”呢?

解决方案及功能

  1. 点击「运行」。

  1. 成功执行任务后,控制台自动跳转到「日志信息」-「运行信息」,在这里可以看到本次运行的总耗时、读取和写入的数据条数。点击下方的「通道信息」,可以看到本次运行的资源消耗情况,以及读取和写入速率等等。

总结一下

预览」= 只读不写验逻辑,整个管道任务中,只有输出组件不执行,可以快速无风险验证数据处理,不会对目标表产生影响。

「运行」= 真实跑一遍,执行读取+写入全流程,可以用于开发测试,精准评估全量数据从输入到输出的实际耗时和资源占用。

相关文章
|
1月前
|
SQL 数据采集
Dataphin功能Tips系列(56)如何实现质量规则的批量修改
本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
|
21天前
|
运维 监控
Dataphin V5.0:增全量一体实时集成
数据集成中,离线与实时方式各有优劣。为解决传统“全量+增量”双轨模式运维复杂的问题,Dataphin 5.0推出“全量+增量一体化实时同步”功能。用户仅需创建一个实时任务,即可完成整库或多表的数据迁移,系统自动协调全量与增量同步,简化管理并降低运维成本。该功能支持灵活配置启动范围与方式,提供实时监控及操作能力,大幅提升数据同步效率与稳定性。
114 41
|
1月前
|
供应链
Dataphin功能Tips系列(55)如何通过规则排序实现不同的自动上架效果
本文介绍了如何在Dataphin中配置自动上架规则以高效管理数据。
|
1月前
Dataphin功能Tips系列(54)如何将资产自动变更为暂不上架
在资产运营管理中,为避免某些表(如贴源表、中间表等)被自动上架,Dataphin 提供了“暂不上架”规则配置功能。通过创建规则组和规则,可精细化管理资产对象。
|
存储 数据采集 安全
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
瓴羊Dataphin数据安全能力再升级,内置分类分级模板、上线隐私计算模块
321 0
|
5月前
|
安全 数据挖掘 大数据
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
Dataphin的技术架构与实践路径,涵盖多引擎兼容、混合云架构、统一资产消费等方面,Dataphin通过持续升级,帮助企业实现全生命周期的数据资产管理,助力企业在大模型时代更好地“建好数据”、“用好数据”。
376 87
开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期
|
3月前
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
213 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
5月前
|
数据采集 SQL 人工智能
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
590 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
|
6月前
|
数据采集 自然语言处理 供应链
央国企“严选”的瓴羊,如何让数据“供得出、流得动、用得好”?|【瓴羊Dataphin在信通院2024数据资产管理大会】
在产业变革新浪潮下,数据资产管理步入“繁花时代”,瓴羊高级解决方案专家黄彦之出席2024数据资产管理大会并分享了瓴羊基于12年阿里最佳数据实践,通过Dataphin等产品助力央国企数智化转型的路径与方法。大会发布《数据治理产业图谱3.0》,瓴羊Dataphin入选BUCM板块代表产品,彰显其领先经验。
322 18
|
6月前
|
数据采集 安全 大数据
“点数成金”时代,如何应用全域数据资产治理释放企业数据价值?【瓴羊Dataphin在信通院2024数据资产管理大会】
在“点数成金”时代,企业数据成为宝贵资产。12月18-19日,信通院“2024数据资产管理大会”在京举办,瓴羊政企金融事业部总监徐宁分享了Dataphin在数据治理领域的创新方法论与实践经验,强调数据资产双循环和元数据管理的重要性。瓴羊副总裁王赛获颁数据资产管理专家证书。
181 16
下一篇
oss创建bucket