开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中spark冒烟测试错误指南是什么?

DataWorks中spark冒烟测试错误指南是什么?

展开
收起
真的很搞笑 2023-08-07 19:08:18 65 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    常见错误和处理方法如下:

    连接错误
    如数据源连接失败会报"连接错误"等。检查数据源地址、用户名密码等配置是否正确。

    语法错误
    如SQL语法错误会报"解析错误"。检查SQL语句语法是否正确。

    类型转换错误
    如数据类型不匹配报"类型转换失败"。检查源目标字段类型是否一致。

    分区值错误
    如ODPS分区值设置错误报"分区值类型不匹配"。检查分区字段和值类型。

    资源不足
    如内存、CPU等资源超限报"资源异常"。优化任务资源配置或使用更大的机器。

    执行脚本错误
    如自定义脚本运行错误会报详细的异常日志。检查和 debug 脚本代码。

    依赖缺失
    如缺少自定义UDTF等组件会报"类未找到"。导入正确的jar依赖包。

    文件系统权限
    如未开放输出路径写权限会报"没有权限写入"。配置文件的正确权限。

    2023-08-10 16:48:42
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    DataWorks中的Spark冒烟测试错误指南是一份帮助用户解决在使用DataWorks进行Spark任务开发和调试过程中遇到的常见错误和问题的文档。该文档提供了详细的错误分类和解决方案,包括但不限于以下内容:

    环境配置错误:包括Spark环境配置、JVM配置、资源分配等方面的错误。
    脚本编写错误:包括语法错误、命令错误、参数错误等方面的错误。
    数据源错误:包括数据源连接错误、数据格式错误、数据质量错误等方面的错误。
    其他错误:包括程序运行错误、任务调度错误、任务执行错误等方面的错误。
    通过阅读DataWorks中的Spark冒烟测试错误指南,用户可以快速定位并解决在使用Spark进行数据处理和分析过程中遇到的问题,从而提高开发效率和任务成功率。

    2023-08-09 15:35:26
    赞同 展开评论 打赏
  • 冒烟测试是自由测试的一种,是对软件的基本功能进行测试,由开发人员与测试人员共同执行,测试对象是每一个新编译的需要正式测试的软件版本。目的是确认软件的基本功能正常,保证软件系统能正常跑起来,可以进行后续的正常测试工作的进行,如果最基本的测试都有问题了,就直接打回开发部了,所以正式交付的测试版本,必须先通过冒烟测试的考验。

    冒烟测试的入口准则

    1.软件版本已经发布

    2.冒烟测试计划和测试用例通过评审

    3.测试环境准备完毕

    冒烟测试的出口准则:

    1.发现的致命和严重类缺陷为0

    2.一般和建议类缺陷总数/冒烟场景总数<= 2

    3.所有必选测试场景的通过率=100%

    4.随即抽取的可选测试场景通过率>80%

    2023-08-09 07:57:32
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    移动互联网测试到质量的转变 立即下载
    给ITer的技术实战进阶课-阿里CIO学院独家教材(四) 立即下载
    F2etest — 多浏览器兼容性测试整体解决方案 立即下载