带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin



3. 发布中心:生产和开发隔离模式下的保护伞


在数据的研发流程下,常常使用生产环境离的研发模式。Dataphin 支持建成对在、的生产发模式Dev-Prod )。


中,研发通常需要完成代码务基础性和配置、并基于开环境的数据数据后再务提发布中心。


发布核人员接发布申请配置详配置合理,是存在数据生产风险等,之行发布作。发布成务会在生产环境中生调度运行,而发布失败务不会更新生产,以此实现发和生产的数据离,保数据质量。


1) Dataphin 发布中心能力概述


由发布,工作量遗漏,对研发效率产生较那么的发布流程会是什么呢?


Dataphin 发布中心提供了发布量发布、基于系统规则的自核、发布记录、发布查看、发布失败提示及一重新发布等功能。同时,管理中心的发布管能,可以自定义规则和略,以满足个性化需求场景。发布员只哪些需要上线生产环境并一行发布可,大缩短作路,并从系统角度提供了全面保障


image.png


a) 待发布对象列表


发布对象列页面,记录目已发布的规建模、数据处理和管道脚本数据对。发布成的数据对将从发布对象列表移除,并在发布记录列表中生成一发布成记录。发布失败的数据对将重新被记录发布对象列表,同时在发布记录中生成一发布失败记录,可以查看发布记录的发布详情


待发布对象列表概览表记录了对象名、对型、ID、最近一发布的版变更型、提及提信息。发布审核人可以基于这些基信息务变更情况,作为需要发布的据。


提交详情及提交记录查看支持查看个对最新提的版及历史的提交记录,发布可以基于信息一步发布对生产目可能产生的变更


移除及跳转编辑待发布对象务提交后需要变更,为了变更前的内发布生产环境数据,可以主动移除发布对,并在改完成后再发布。


发布及批量发布确定可以发布,可以个对行发布,也可以批量中多个对性发布。


b) 发布系统校验规则


不同发布对有不同的验规则。以 SQL 代码任务为,会验:


游依配置的正性。

输出一。

代码引用的资产对

SQL 法是

发布行是


个对有系统验规则过,能发布成则会在发布情弹框进提示,引导需要行的下一步作,申请改代码逻辑等等。


c) 发布记录列表

发布记录页面记录发布的及发布结果:


发布记录概览:发布记录示了发布的包括发布称、发布对、对型、发布版、发布的变更型、发布及发布时、发布状态等。


发布详情查看发布记录,可以查看发布期;尤其是发布失败务,在发布失败提示,发布可以根据提示信息重新发布。


发布失败日志查看及一键重新发布:发布失败的对,可以查看发布情,发布中可以查看发布的日志记录,以获取更多的错信息指导下一步操作。


发布管控使用了变更管中的发布管能,此处行发布管控规则的验,发布中会中的管规则及果,失败的,还示在管规则中配置说明,以提发布


发布作为生产的研发模式中经的一道环节,为生产数据的正确性和生产环境性提供了到前保障,可以减少失误流程不规发的问题,降了对生产业务产生的可能性,为数据建设撑起道保护



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(5) https://developer.aliyun.com/article/1229660?groupCode=dataphin


相关文章
|
7月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
242 8
|
7月前
|
数据采集 运维 监控
运维靠经验拍脑袋?不如上车:构建“数据驱动”的智能决策系统
运维靠经验拍脑袋?不如上车:构建“数据驱动”的智能决策系统
239 0
|
8月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
628 0
|
9月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
492 0
|
6月前
|
运维 Kubernetes 测试技术
应用多、交付快,研发运维怎么管?看云效+SAE 如何一站式破局
通过在云效中创建 SAE 服务连接并关联集群,团队可将应用环境直接部署到 SAE,实现从代码提交、镜像构建到 SAE 部署的自动化流水线。该集成打通了研发与运维的壁垒,特别适用于应用数量多、团队规模大、交付节奏快的组织,助力企业实现敏捷、可靠的持续交付。
|
6月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
193 0
|
5月前
|
存储 运维 监控
57_大模型监控与运维:构建稳定可靠的服务体系
随着大语言模型(LLM)技术的快速发展和广泛应用,如何确保模型在生产环境中的稳定运行、高效服务和安全合规已成为企业和开发者面临的关键挑战。2025年,大模型服务已从实验室走向各行各业的核心业务流程,其运维复杂度也随之呈指数级增长。与传统软件系统不同,大模型服务具有参数规模庞大、计算密集、行为不确定性高等特点,这使得传统的运维监控体系难以满足需求。
|
运维 监控 安全
ARMS 助力假面科技研发运维提效,保障极致游戏体验
阿里云 ARMS 团队助力假面科技游戏业务实现全业务、全场景的监控和告警,全面提升监控覆盖率和告警有效率,其中告警平均恢复耗时(MTTR)缩短 50% 以上。
514 107
|
8月前
|
SQL 安全 BI
Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系
Dataphin数据服务推出行级权限管控功能,解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问,实现API与SQL权限统一管理,满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系,确保数据安全且提升应用开发效率。
768 0
|
11月前
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin