开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据源开发和生产环境隔离背景信息是什么?

DataWorks数据源开发和生产环境隔离背景信息是什么?

展开
收起
xin在这 2023-04-20 08:15:13 200 0
5 条回答
写回答
取消 提交回答
  • 同一个名称的数据源存在开发环境和生产环境两套配置,在配置数据源时,您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置不同的数据源信息。在同步任务执行过程中,可由执行环境控制离线同步任务所访问的数据源对应的数据库地址,以此实现开发环境测试和生产数据产出的数据隔离需求。关于标准模式工作空间的介绍,详情请参见简单模式和标准模式的区别。

    • 标准模式工作空间下,DataStudio界面与开发环境运维中心默认访问开发环境数据源指向的数据源。

    • 生产调度环境下,生产环境运维中心界面任务执行默认访问生产环境数据源指向的数据源。

    2023-04-20 18:58:11
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    DataWorks是阿里云推出的一款大数据开发平台,为用户提供了数据集成、数据开发、数据分析和数据运维等全套解决方案。数据源是DataWorks中非常重要的组成部分,包括了多种类型的数据源,如RDS、MaxCompute、Hive、ODPS、FTP等。在DataWorks中,为了保证数据源的稳定性和安全性,通常需要对数据源进行开发和生产环境的隔离。

    具体来说,开发环境是指为开发人员提供的一个独立的环境,用于开发和测试数据集成、数据开发和数据分析等功能,这个环境通常是相对不稳定的,可以进行一些试验性的操作和测试。而生产环境则是指用于生产数据处理和数据分析的环境,这个环境通常是非常稳定的,需要保证数据的安全性和可靠性。在DataWorks中,为了保证数据源的安全性和隔离性,通常会对数据源进行开发环境和生产环境的隔离,开发人员只能在开发环境中进行操作和测试,而生产环境则由专门的运维人员负责维护和管理。

    因此,在DataWorks中,为了保证数据源的安全性和隔离性,通常需要对数据源进行开发环境和生产环境的隔离,开发人员只能在开发环境中进行操作和测试,而生产环境则由专门的运维人员负责维护和管理。这样可以有效地保护数据源的稳定性和安全性,同时也可以提高数据开发和数据分析的效率和质量。

    2023-04-20 18:51:42
    赞同 展开评论 打赏
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    数据源隔离模式可以满足标准模式下,开发环境和生产环境的数据隔离需求。

    为方便不同安全管控要求的用户生产数据,DataWorks为您提供简单模式和标准模式两种工作空间模式。

    不同工作空间模式对于绑定引擎存在一定的要求,标准模式工作空间需要分别为开发环境和生产环境绑定物理隔离的集群或项目,才可以实现开发生产环境隔离。

    若绑定引擎时,开发环境与生产环境绑定不同的引擎(实例,项目、数据库),那么在DataWorks开发环境是否可访问生产环境下的表、资源、函数等,与计算引擎本身特性有关。

    标准模式工作空间下,开发环境的任务默认不进行周期调度,仅发布至生产环境后可进行周期调度。

    您可选择创建任意模式工作空间体验DataWorks,但建议您在实际开发时,使用标准模式工作空间实现DataWorks开发环境与生产环境代码隔离、不同环境计算资源隔离、权限隔离、任务发布流程管控等需求。

    若您已在使用简单模式工作空间,并且希望保留当前简单模式工作空间的代码时,可选择工作空间模式升级,

    标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑、代码发布等流程。

    若您已经在使用简单模式的工作空间,并希望实现简单模式工作空间开发环境与生产环境隔离。

    实现:您需要准备两个简单模式工作空间,一个空间作为开发环境,一个空间作为生产环境,并通过跨空间发布的方式将作为开发环境工作空间下的任务发布至作为生产环境的工作空间,从而实现开发环境与生产环境隔离。

    缺点:作为生产环境的工作空间,仍可以直接在数据开发模块中编辑生产代码,从而导致生产环境的代码更新入口不唯一,进而影响整个开发流程。

    建议:建议您将简单模式工作空间升级为标准模式工作空间,以便获得更好的开发流程管控。

    2023-04-20 15:36:16
    赞同 1 展开评论 打赏
  • 同一个名称的数据源存在开发环境和生产环境两套配置,您可以通过数据源隔离使其在不同环境隔离使用。说明 目前只有标准模式的工作空间支持数据源隔离。配置数据同步任务时会使用开发环境的数据源,提交生产运行时会使用生产环境的数据源。如果您要将任务提交到生产环境调度,同一个数据源名需要同时添加生产环境和开发环境的数据源配置。离线数据源的详情请参见支持的数据源与读写插件。新增数据源隔离模式后,对工作空间有以下影响:简单模式:数据源功能和界面与之前保持一致。标准模式:数据源界面按照数据源隔离模式进行相应调整,增加了适用环境的参数。简单模式升级成标准模式:进行模式升级时,会提示对数据源进行升级,将数据源拆分成生产环境和开发环境隔离的模式。 https://help.aliyun.com/document_detail/137672.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 11:25:06
    赞同 展开评论 打赏
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    同一个名称的数据源存在开发环境和生产环境两套配置,在配置数据源时,您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置不同的数据源信息。在同步任务执行过程中,可由执行环境控制离线同步任务所访问的数据源对应的数据库地址,以此实现开发环境测试和生产数据产出的数据隔离需求。 标准模式工作空间下,DataStudio界面与开发环境运维中心默认访问开发环境数据源指向的数据源。 生产调度环境下,生产环境运维中心界面任务执行默认访问生产环境数据源指向的数据源。

    2023-04-20 11:11:24
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载