带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin



3. 发布中心:生产和开发隔离模式下的保护伞


在数据的研发流程下,常常使用生产环境离的研发模式。Dataphin 支持建成对在、的生产发模式Dev-Prod )。


中,研发通常需要完成代码务基础性和配置、并基于开环境的数据数据后再务提发布中心。


发布核人员接发布申请配置详配置合理,是存在数据生产风险等,之行发布作。发布成务会在生产环境中生调度运行,而发布失败务不会更新生产,以此实现发和生产的数据离,保数据质量。


1) Dataphin 发布中心能力概述


由发布,工作量遗漏,对研发效率产生较那么的发布流程会是什么呢?


Dataphin 发布中心提供了发布量发布、基于系统规则的自核、发布记录、发布查看、发布失败提示及一重新发布等功能。同时,管理中心的发布管能,可以自定义规则和略,以满足个性化需求场景。发布员只哪些需要上线生产环境并一行发布可,大缩短作路,并从系统角度提供了全面保障


image.png


a) 待发布对象列表


发布对象列页面,记录目已发布的规建模、数据处理和管道脚本数据对。发布成的数据对将从发布对象列表移除,并在发布记录列表中生成一发布成记录。发布失败的数据对将重新被记录发布对象列表,同时在发布记录中生成一发布失败记录,可以查看发布记录的发布详情


待发布对象列表概览表记录了对象名、对型、ID、最近一发布的版变更型、提及提信息。发布审核人可以基于这些基信息务变更情况,作为需要发布的据。


提交详情及提交记录查看支持查看个对最新提的版及历史的提交记录,发布可以基于信息一步发布对生产目可能产生的变更


移除及跳转编辑待发布对象务提交后需要变更,为了变更前的内发布生产环境数据,可以主动移除发布对,并在改完成后再发布。


发布及批量发布确定可以发布,可以个对行发布,也可以批量中多个对性发布。


b) 发布系统校验规则


不同发布对有不同的验规则。以 SQL 代码任务为,会验:


游依配置的正性。

输出一。

代码引用的资产对

SQL 法是

发布行是


个对有系统验规则过,能发布成则会在发布情弹框进提示,引导需要行的下一步作,申请改代码逻辑等等。


c) 发布记录列表

发布记录页面记录发布的及发布结果:


发布记录概览:发布记录示了发布的包括发布称、发布对、对型、发布版、发布的变更型、发布及发布时、发布状态等。


发布详情查看发布记录,可以查看发布期;尤其是发布失败务,在发布失败提示,发布可以根据提示信息重新发布。


发布失败日志查看及一键重新发布:发布失败的对,可以查看发布情,发布中可以查看发布的日志记录,以获取更多的错信息指导下一步操作。


发布管控使用了变更管中的发布管能,此处行发布管控规则的验,发布中会中的管规则及果,失败的,还示在管规则中配置说明,以提发布


发布作为生产的研发模式中经的一道环节,为生产数据的正确性和生产环境性提供了到前保障,可以减少失误流程不规发的问题,降了对生产业务产生的可能性,为数据建设撑起道保护



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(5) https://developer.aliyun.com/article/1229660?groupCode=dataphin


相关文章
|
4天前
|
运维 监控
构建高效运维体系:从理论到实践
在当今快速发展的信息化时代,高效的运维体系是保障企业信息系统稳定运行的关键。本文旨在探讨如何构建一个高效、可靠的运维体系,通过分析当前运维面临的挑战,提出相应的解决策略,并结合实际案例,展示这些策略的实施效果。文章首先介绍了高效运维的重要性,接着分析了运维过程中常见的问题,然后详细阐述了构建高效运维体系的策略和步骤,最后通过一个实际案例来验证这些策略的有效性。
|
9天前
|
弹性计算 运维
新 企业级ECS集群运维管理训练营 打卡学习领好礼
新 企业级ECS集群运维管理训练营 打卡学习领好礼
39 3
|
12天前
|
人工智能 运维 监控
构建高效运维体系:理论与实践的深度融合####
本文旨在探讨高效IT运维体系的构建策略,通过理论框架与实际案例并重的方式,深入剖析了现代企业面临的运维挑战。文章开篇概述了当前运维领域的新趋势,包括自动化、智能化及DevOps文化的兴起,随后详细阐述了如何将这些先进理念融入日常运维管理中,形成一套既灵活又稳定的运维机制。特别地,文中强调了数据驱动决策的重要性,以及在快速迭代的技术环境中保持持续学习与适应的必要性。最终,通过对比分析几个典型企业的运维转型实例,提炼出可复制的成功模式,为读者提供具有实操性的指导建议。 ####
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
577 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
15天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
51 1
|
24天前
|
运维 监控 jenkins
运维自动化实战:利用Jenkins构建高效CI/CD流程
【10月更文挑战第18天】运维自动化实战:利用Jenkins构建高效CI/CD流程
|
30天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
57 3
|
29天前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
137 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
1月前
|
机器学习/深度学习 敏捷开发 运维
构建高效运维体系
本文旨在探讨如何通过技术创新和管理优化,构建一个高效、稳定且可持续发展的运维体系。我们将从自动化工具的应用、监控告警机制的完善、持续集成与持续部署(CI/CD)的实践、以及团队协作与沟通的强化等多个维度,深入剖析运维体系的构建过程。同时,文章将结合实际案例,分析运维过程中可能遇到的挑战及应对策略,为运维人员提供实用的指导和建议。
|
1月前
|
运维 监控 测试技术
构建高效运维体系:从监控到自动化的实践之路
【10月更文挑战第9天】 在当今信息技术飞速发展的时代,运维作为保障系统稳定性与效率的关键角色,正面临前所未有的挑战。本文将探讨如何通过构建一个高效的运维体系来应对这些挑战,包括监控系统的搭建、自动化工具的应用以及故障应急处理机制的制定。我们将结合具体案例,分析这些措施如何帮助提升系统的可靠性和运维团队的工作效率。
50 1

相关产品

  • 智能数据建设与治理 Dataphin