开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks基线管理是什么意思

dataworks基线管理是什么意思

展开
收起
游客i2i5j3xkpqrwe 2023-08-09 14:46:59 207 0
6 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,阿里云DataWorks基线管理是一种数据安全和隐私保护的管理方式,它可以规范数据处理流程,保证数据处理的准确性和一致性,同时也可以有效地保护数据安全和隐私,避免数据泄露、损坏、误用等情况发生。
    image.png
    基线管理包括数据加密、访问控制、数据备份和恢复等安全措施,可以帮助用户更好地管理和保障数据安全。
    image.png

    2023-08-13 00:44:57
    赞同 展开评论 打赏
  • DataWorks基线管理是阿里云DataWorks数据开发与运维平台中的一项功能,用于实现数据开发项目的规范和质量管理。屏幕截图 2023-07-22 224808.png基线是指在软件开发过程中确定的一个起点或标准,它定义了代码、配置、表结构等各种元素的要求和规范。在DataWorks中,基线管理通过将这些要求和规范转化为可执行的检查规则,并应用于数据开发项目中,以确保项目的质量和合规性。微信截图_20230724183141.png

    2023-08-11 21:07:12
    赞同 展开评论 打赏
  • DataWorks基线管理是阿里云DataWorks数据开发与运维平台中的一项功能,用于实现数据开发项目的规范和质量管理。

    基线是指在软件开发过程中确定的一个起点或标准,它定义了代码、配置、表结构等各种元素的要求和规范。在DataWorks中,基线管理通过将这些要求和规范转化为可执行的检查规则,并应用于数据开发项目中,以确保项目的质量和合规性。

    具体来说,DataWorks基线管理提供了以下功能:

    1. 自定义基线规则:用户可以根据自己的业务需求和最佳实践,创建各种检查规则,包括代码规范、命名规范、依赖关系、数据敏感信息等方面的规则。

    2. 基线检查:在数据开发项目中,可以通过基线检查功能对代码、配置和表结构等进行静态分析和验证,以确保符合预定义的基线规则。

    3. 错误告警和修复建议:如果基线检查发现违反了规则,系统会生成相应的错误告警,并提供修复建议,帮助开发人员快速定位并修复问题。

    4. 基线合规报告:可以生成基线合规报告,汇总项目中每个任务、脚本的合规情况,以及每个检查规则的执行结果,帮助团队进行审阅和评估。
      image.png
      image.png

    2023-08-09 18:56:19
    赞同 展开评论 打赏
  • 基线:用户将重要任务加到基线上并设置承诺时间后,系统将根据任务运行情况计算基线任务的预计完成时间。当系统判断基线任务可能无法在承诺时间前完成,系统将发出告警。

    将重要任务添加到基线上后,DataWorks将根据基线的优先级保障基线任务的资源,并根据基线任务的上下游依赖关系确定监控范围,根据该监控范围内任务的运行情况触发基线报警或事件报警。

    54c13e9611cdda7a1e8c05037be94266_p424177.png

    如果您需要保障重要任务能按时完成,您可以使用基线管理功能将重要任务添加至基线上并设置承诺时间,系统将根据任务运行情况计算基线任务的预计完成时间。当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。

    e337096a5499a54b5f256928c629bd12_p60444.png

    688cca30ca82ff75da0b538d47e004d3_p60445.png

    配置基线的报警行为。
    您可以通过报警开关控制基线是否开启报警,并定义基线上数据无法按时产出时的基线报警策略,及影响基线数据产出的任务及其上游任务出错或变慢时的事件报警策略。

    4131605a3a72d55fa6019e4336075060_p420814.png

    88fd9f9edaafe1db3b5e2f40922276cb_p411296.png

    2023-08-09 18:25:11
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    核心逻辑介绍:监控范围
    基线创建完成后,某个任务被移动至基线后,智能基线不会监控基线上任务的所有上下游任务,对该任务相关的上下游监控范围如下:

    上游任务:影响基线上任务数据产出的上游任务会被纳入基线监控范围。

    下游任务:下游任务不会被纳入基线监控范围,即基线任务的下游任务及上游任务的其他分支下游任务运行出错时不会触发报警。
    image.png

    如上图所示,假设整个DataWorks有6个任务节点,任务D和任务E是基线上的任务,则影响任务D和任务E数据产出的上游任务,即上图中的任务A、任务B、任务D和任务E,均会被纳入监控范围,监控范围内的任务出现异常(出错或变慢),均会被智能基线察觉,而任务C和任务F不受智能基线所监控。

    2023-08-09 16:18:07
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    基线管理主要是保障重要任务能按时完成,使用基线管理功能将重要任务添加至基线上并设置承诺时间,系统将根据任务运行情况计算基线任务的预计完成时间。

    当系统判断基线任务可能无法在承诺时间前完成时,将发出告警。

    关于更多基线管理的功能和操作,建议查看官方文档
    image.png

    2023-08-09 14:55:11
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多