如何基于Dataphin做到开发测试一站式搞定?

简介:

作者:彭静 更多内容详见数据中台官网 https://dp.alibaba.com

最近在Quora上的一次讨论,程序员分享了他们认为工作中最大的困难。其中排名第二的是:“写测试任务描述“。小姐姐很疑惑了,最难的难道不是写代码吗?写测试有什么难的呢?
数据研发也好,软件开发也好,其实大型任务通常是很复杂的,包含了成千上万行代码,其中数不清的交互接口、路径和逻辑;而要把每一个细节都检查确定结果无误后再提交代码其实是一件很困难的事情。因此某些开发方会鼓励开发GG们在编写程序之前就写好测试脚本。但是这无疑是一件枯燥乏味且耗时耗力的事情。

有没有什么办法可以让代码在本地快捷测试,测试全部通过再发布线上进行调度呢?如果发布了错误的脚本任务上线,会导致我线上的数据库受影响吗?
同学们,Dataphin给我们指了一条光明大道!

Dataphin支持本地数据调试、线上模拟测试,保障上线任务正确性

示例1、Dataphin·实时计算本地采样调试功能
对于每一个实时计算任务,我们支持对所用的表进行采样数据。
可以采样本地数据进行调试,不会影响到线上数据表,安全高效测试;同时我们支持算子调试,即无需采样数据的调试方法。调试完成后,可以看到调试的中间结果和调试结果,待调试完毕,可以提交该任务。随写随调,让任务开发安全有保障,上线任务更放心!
image
image
image

示例2、Dataphin·实时计算测试实例功能
除了本地数据的调试功能,我们还引进了全链路的测试功能。提交实时计算任务,在正式发布生产环境之前,可以在开发环境启动测试实例。我们支持两种测试方式:打印日志、写测试表;轻松掌控自己写的任务会对线上造成的影响。
image

打印日志的方式相对简单,无需引入额外成本。且可以非常直观地看到输出结果。可以被独立地测试与验证,适用于快速验证实时代码加工逻辑正确性的场景。推荐实时任务正式发布前先经过打印日志的测试。
image

打印日志的方式虽然可以发现实时任务的大多数问题,但是对于易购系统链路是否畅通,写入目标数据库系统时是否会因为设置、权限等问题报错,输出值是否能匹配到目标系统等问题,还需要通过写表的方式进行验证。因此我们提供了第二种方式,写测试表。
image

建议在使用打印日志的方式验证整体链路逻辑正确性后,再使用写测试表的方式验证输出结果与目标数据库的匹配问题。

Dataphin支持一站式开发和运维,简化全流程
写任务当然不是简单的脚本查询就够了!我如何能做到统一的任务管理、资源管理、运维监控等等一系列的事情呢?我想让所有数据资产化,函数资源可复用,任务可以周期定时触发,且有的指标可以实时计算,怎么去实现呢?选择Dataphin·通用研发,帮你实现从规划到开发、运维的一系列需求!

1、实时计算元表功能模块,统一创建、管理元表,简化了任务研发过程中的DDL过程,组件化配置数据表,让开发过程更加便捷高效。
image

2、函数、资源统一管理,可在代码任务中引用,平台化可多次复用。
image
image

3、实时计算代码模板化,有利于不同业务需求间的代码复用。
image

4、脚本任务提交发布调度,生成周期调度的任务,可进行定期触发,统一运维,监控报警等。
image

小姐姐已经被Dataphin圈粉了,满脑子都是,OMG,用它!更多内容详见数据中台官网 https://dp.alibaba.com

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
|
5月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
495 0
|
9月前
|
数据采集 算法 测试技术
【硬件测试】基于FPGA的1024QAM基带通信系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
本文介绍了基于FPGA的1024QAM基带通信系统的硬件测试版本,包含testbench、高斯信道模块和误码率统计模块。系统新增ila在线数据采集和vio在线SNR设置模块,支持不同SNR条件下的性能测试。1024QAM调制将10比特映射到复平面上的1024个星座点之一,实现高效数据传输。硬件测试结果表明,在SNR=32dB和40dB时,系统表现出良好的性能。Verilog核心程序展示了各模块的连接与功能实现。
250 7
|
3月前
|
存储 测试技术 API
数据驱动开发软件测试脚本
今天刚提交了我的新作《带着ChatGPT玩转软件开发》给出版社,在写作期间跟着ChatGPT学到许多新知识。下面分享数据驱动开发软件测试脚本。
127 0
|
8月前
|
机器学习/深度学习 人工智能 并行计算
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
|
6月前
|
传感器 人工智能 JavaScript
鸿蒙开发:DevEcoTesting中的稳定性测试
DevEcoTesting主要的目的也是用于软件的测试,可以让开发者无需复杂的配置,即可一键执行测试任务,同时提供了测试报告和分析,无论是对于开发者还是测试同学来说,都是一个非常方便的工具。
245 3
鸿蒙开发:DevEcoTesting中的稳定性测试
|
5月前
|
SQL 运维 测试技术
Dataphin功能Tips系列(61) -空间名称变量:代码零改动实现开发与生产隔离
在数据开发中,为避免测试任务影响生产数据,开发者常通过“_dev”后缀区分环境,但发布时需手动修改代码。使用“空间名称变量”功能,可自动根据运行环境替换项目名,无需手动调整,实现开发与生产的无缝切换,提升效率与准确性。
126 8
|
5月前
|
敏捷开发 运维 数据可视化
DevOps看板工具中的协作功能:如何打破开发、测试与运维之间的沟通壁垒
在DevOps实践中,看板工具通过可视化任务管理和自动化流程,提升开发与运维团队的协作效率。它支持敏捷开发、持续交付,助力团队高效应对需求变化,实现跨职能协作与流程优化。
|
5月前
|
运维 jenkins 测试技术
"还在苦等开发部署环境?3步教你用Jenkins拿回测试主动权"
测试工程师最头疼的问题是什么?依赖开发部署环境! 开发延期→测试时间被压缩→紧急上线后BUG频出→测试背锅。传统流程中,测试被动等待部署,效率低下。而Jenkins自动化部署让测试人员自主搭建环境,实现: ✅ 随时触发测试,不再苦等开发 ✅ 部署效率提升10倍,抢回测试时间 ✅ 改善团队协作,减少互相甩锅 学习Jenkins部署能力,成为高效测试工程师,告别被动等待!
|
8月前
|
SQL 调度
如何基于Dataphin智能研发开发“留存率”指标
用户留存率是指在互联网行业中,某段时间内新增用户中,在后续特定时间点或时间段内继续使用应用的用户比例。它是衡量应用质量和用户保留能力的重要指标。 本文为您介绍如何基于Dataphin规范建模结合SQL加工能力进行留存率指标开发。
261 11
|
10月前
|
人工智能 自然语言处理 测试技术
Potpie.ai:比Copilot更狠!这个AI直接接管项目代码,自动Debug+测试+开发全搞定
Potpie.ai 是一个基于 AI 技术的开源平台,能够为代码库创建定制化的工程代理,自动化代码分析、测试和开发任务。
873 19
Potpie.ai:比Copilot更狠!这个AI直接接管项目代码,自动Debug+测试+开发全搞定