带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin



3. 发布中心:生产和开发隔离模式下的保护伞


在数据的研发流程下,常常使用生产环境离的研发模式。Dataphin 支持建成对在、的生产发模式Dev-Prod )。


中,研发通常需要完成代码务基础性和配置、并基于开环境的数据数据后再务提发布中心。


发布核人员接发布申请配置详配置合理,是存在数据生产风险等,之行发布作。发布成务会在生产环境中生调度运行,而发布失败务不会更新生产,以此实现发和生产的数据离,保数据质量。


1) Dataphin 发布中心能力概述


由发布,工作量遗漏,对研发效率产生较那么的发布流程会是什么呢?


Dataphin 发布中心提供了发布量发布、基于系统规则的自核、发布记录、发布查看、发布失败提示及一重新发布等功能。同时,管理中心的发布管能,可以自定义规则和略,以满足个性化需求场景。发布员只哪些需要上线生产环境并一行发布可,大缩短作路,并从系统角度提供了全面保障


image.png


a) 待发布对象列表


发布对象列页面,记录目已发布的规建模、数据处理和管道脚本数据对。发布成的数据对将从发布对象列表移除,并在发布记录列表中生成一发布成记录。发布失败的数据对将重新被记录发布对象列表,同时在发布记录中生成一发布失败记录,可以查看发布记录的发布详情


待发布对象列表概览表记录了对象名、对型、ID、最近一发布的版变更型、提及提信息。发布审核人可以基于这些基信息务变更情况,作为需要发布的据。


提交详情及提交记录查看支持查看个对最新提的版及历史的提交记录,发布可以基于信息一步发布对生产目可能产生的变更


移除及跳转编辑待发布对象务提交后需要变更,为了变更前的内发布生产环境数据,可以主动移除发布对,并在改完成后再发布。


发布及批量发布确定可以发布,可以个对行发布,也可以批量中多个对性发布。


b) 发布系统校验规则


不同发布对有不同的验规则。以 SQL 代码任务为,会验:


游依配置的正性。

输出一。

代码引用的资产对

SQL 法是

发布行是


个对有系统验规则过,能发布成则会在发布情弹框进提示,引导需要行的下一步作,申请改代码逻辑等等。


c) 发布记录列表

发布记录页面记录发布的及发布结果:


发布记录概览:发布记录示了发布的包括发布称、发布对、对型、发布版、发布的变更型、发布及发布时、发布状态等。


发布详情查看发布记录,可以查看发布期;尤其是发布失败务,在发布失败提示,发布可以根据提示信息重新发布。


发布失败日志查看及一键重新发布:发布失败的对,可以查看发布情,发布中可以查看发布的日志记录,以获取更多的错信息指导下一步操作。


发布管控使用了变更管中的发布管能,此处行发布管控规则的验,发布中会中的管规则及果,失败的,还示在管规则中配置说明,以提发布


发布作为生产的研发模式中经的一道环节,为生产数据的正确性和生产环境性提供了到前保障,可以减少失误流程不规发的问题,降了对生产业务产生的可能性,为数据建设撑起道保护



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(5) https://developer.aliyun.com/article/1229660?groupCode=dataphin


相关文章
|
10月前
|
数据采集 运维 监控
运维靠经验拍脑袋?不如上车:构建“数据驱动”的智能决策系统
运维靠经验拍脑袋?不如上车:构建“数据驱动”的智能决策系统
287 0
|
11月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
769 0
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
622 0
|
8月前
|
存储 运维 监控
57_大模型监控与运维:构建稳定可靠的服务体系
随着大语言模型(LLM)技术的快速发展和广泛应用,如何确保模型在生产环境中的稳定运行、高效服务和安全合规已成为企业和开发者面临的关键挑战。2025年,大模型服务已从实验室走向各行各业的核心业务流程,其运维复杂度也随之呈指数级增长。与传统软件系统不同,大模型服务具有参数规模庞大、计算密集、行为不确定性高等特点,这使得传统的运维监控体系难以满足需求。
1597 0
|
11月前
|
人工智能 运维 自然语言处理
首个智能体模型实测:产品、开发、运维“全包了”
2025年,AI进入“动手”时代。智谱发布新一代大模型GLM-4.5,全球排名第三、国产第一,专为智能体设计,融合推理、编码与智能体能力,实现自主规划与执行任务。通过8个Demo展示其强大能力,涵盖网页设计、课件制作、小游戏开发等,展现其“带手的脑”特性,推动AI从实验室走向真实场景。
554 0
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。
|
弹性计算 运维 自然语言处理
产品测评 | 感受操作系统智能助手OS Copilot新功能带来的运维效率飞升
近期,我再次评测了阿里云OS Copilot的新版本,发现其在命令执行、任务自动化、文件处理及知识问答等方面表现出色,特别是-t参数显著提升了70%的效率。使用过程中,我发现它不仅简化了复杂任务的处理,还提供了中文解释配置文件的功能,极大地方便了初学者。总结来看,OS Copilot极大地提升了Linux运维效率,但仍需在自然语言理解、用户界面优化和错误处理机制等方面进一步改进。未来若能支持更多操作系统并集成更多实用工具,必将成为Linux用户的得力助手。
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
1341 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
数据采集 机器学习/深度学习 人工智能
基于AI的网络流量分析:构建智能化运维体系
基于AI的网络流量分析:构建智能化运维体系
2421 13

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin