开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据开发与运行如何在开发环境访问生产环境数据?

DataWorks数据开发与运行如何在开发环境访问生产环境数据?

展开
收起
cuicuicuic 2023-11-15 08:07:44 38 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,可以通过以下步骤在开发环境中访问生产环境的数据:

    1. 创建数据源:在DataWorks控制台中,创建数据源并配置数据源的相关信息,包括数据源的地址、用户名、密码等。
    2. 配置数据源字段映射:在DataWorks控制台中,配置数据源字段映射,将生产环境数据的字段映射到开发环境数据的字段上。
    3. 创建数据开发任务:在DataWorks控制台中,创建数据开发任务,并将数据源添加到任务中。
    4. 运行数据开发任务:在DataWorks控制台中,运行数据开发任务,将生产环境数据导入到开发环境。
    2023-11-15 21:40:12
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,您可以使用 CloudLink 或 Proxy 方式访问生产环境中的数据。CloudLink 方式是直接在 DataWorks 中连接到生产环境,Proxy 方式是建立一个中间代理服务器,以避免直接访问生产环境中的数据。

    1. CloudLink 方式:在 DataWorks 中设置一个新的数据源,并输入生产环境的相关信息,包括 Host、Port、User 和 Password。
    2. Proxy 方式:建立一个 Proxy 服务器,用于连接生产环境中的数据源,并在 DataWorks 中设置 Proxy 参数。
    2023-11-15 13:17:56
    赞同 展开评论 打赏
  • 在DataWorks数据开发中,访问生产环境数据的步骤主要取决于您当前所使用的模式。如果您正在使用标准模式,可以直接在数据开发界面使用"项目名.表名"的格式来查询生产环境的数据。如果您是由简单模式升级到标准模式,并且需要在数据开发界面查询生产环境的数据,那么首先需要申请生产者角色权限。

    对于开发环境可用的数据源,您可以在新建数据同步节点时选择并在开发环境运行,但这些数据源无法提交到生产环境或在生产环境运行。相反,生产环境可用的数据源只允许在生产环境运行时使用,无法在新建数据同步节点时选择。

    此外,如果您的开发环境和生产环境需要严格隔离,DataWorks提供了数据源隔离模式。在此模式下,同一个名称的数据源在开发环境和生产环境中存在两套配置。例如,您可以基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置不同的数据源信息。在同步任务执行过程中,可以由执行环境控制离线同步任务所访问的数据源对应的数据库地址,以此实现开发环境测试和生产数据产出的数据隔离需求。

    2023-11-15 10:01:44
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载