AI 助理
备案控制台
开发者社区 数据库 文章 正文

如何使用DataWorks的整库迁移给目标表名加上前缀

2018-08-28 4683
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
大数据开发治理平台DataWorks，Serverless资源组抵扣包300CU*H
简介： 我们在搭建数仓的时候，有多个业务库需要将数据上云，如果手动来配置这些数据采集的任务，那将会是一个非常繁重的工作。DataWorks中的数据集成提供了整库迁移的功能，来方便大家快速进行数据上云，并可在配置任务的过程中，对目标表添加表前缀，助力于数仓的快速搭建。

DataWorks的整库迁移的介绍本文不再细述，想了解的同学可以参考一下这个文档 [整库迁移概览]。下面主要给大家介绍一下如何使用整库迁移的时候，给目标表名加上前缀。

如何使用DataWorks的整库迁移给目标表名加上前缀

  1. 在数据源中点击mysql数据源的整库迁移，进入整库迁移任务配置界面。
    image
  2. 在点击高级配置，然后在表名转换规则这里输入通配符，注意格式，以及转换的后的规则，$1会自动替换成匹配上的字符串，点击确认。
    image

  3. 选择一张表名，点击提交任务。
    image

  4. 点击查看任务。
    image

  5. 可以见到，同步任务已经快速生成，并且目标表也已经加上了ods_XXX 的表前缀。
    image

有其他DataWorks的相关使用问题，可以加入DataWorks的交流群，AT 彭敏 & 龚汉仆获取技术支持。
image

文章标签：
大数据开发治理平台 DataWorks
关系型数据库
DataWorks
关键词：
大数据开发治理平台 DataWorks迁移
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
正毅
目录
相关文章
三分钟热度的鱼
|
7月前
|
SQL DataWorks NoSQL
DataWorks报错问题之datax mongodb全量迁移报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
252 1
番茄酱脑袋
|
4月前
|
SQL 运维 分布式计算
DataWorks产品使用合集之迁移表结构该如何操作
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
番茄酱脑袋
37 2
真的很搞笑
|
6月前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之需要将mysql 表(有longtext类型字段) 迁移到odps，但odps好像没有对应的类型支持，该怎么办
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
56 0
番茄酱脑袋
|
4月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之迁移助手是否可以指定迁移节点
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
番茄酱脑袋
36 2
DataWorks产品使用合集之迁移助手是否可以指定迁移节点
嘟嘟嘟嘟嘟嘟
|
5月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之如何进入迁移助手页面并使用迁移助手功能
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
71 7
嘟嘟嘟嘟嘟嘟
|
5月前
|
DataWorks NoSQL fastjson
DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中，DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库，该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
嘟嘟嘟嘟嘟嘟
166 5
嘟嘟嘟嘟嘟嘟
|
5月前
|
数据采集 运维 DataWorks
DataWorks产品使用合集之跨项目克隆时，如何迁移表结构
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
46 3
冲冲冲c
|
6月前
|
数据采集 运维 DataWorks
DataWorks产品使用合集之如何将DataWorks从一个项目迁移到另一个项目
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
56 1
夹心789
|
6月前
|
JSON DataWorks 监控
DataWorks产品使用合集之如何实现数据迁移（从阿里云一个账号迁移到另一个账号）
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
夹心789
83 1
冲冲冲c
|
6月前
|
存储 DataWorks 安全
DataWorks产品使用合集之没有使用独享资源组，如何将Lindorm中的数据导出或迁移到其他数据存储服务
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
50 0

热门文章

最新文章

  • 1
    转载《Data Lake Analytics: 使用DataWorks来调度任务》
  • 2
    DataWorks独享资源组开通、使用教程
  • 3
    ODPS到ADS数据迁移指南
  • 4
    DataWorks 2021-06 产品月刊
  • 5
    DataWorks百问百答01：数据同步该用什么资源组？
  • 6
    Dataworks数据集成之“文本数据”
  • 7
    DataWorks产品菜单栏的优化解析
  • 8
    DataWorks操作报错合集之在DataWorks同步数据时，遇到乱码问题，该怎么解决（rest api数据源）
  • 9
    DataWorks操作报错合集之在DataWorks数据开发模块中一直显示“工作空间默认初始化中”，该怎么办
  • 10
    DataWorks产品使用合集之在阿里云的DataWorks中，使用CREATE AS创建分区表的步骤如何解决
  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错： GET_GROUP_SLOT_EXCEPTION 该怎么处理
    120
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错：evaluate for user defined function xxx cannot be loaded from any resources，该怎么处理
    118
  • 3
    DataWorks操作报错合集之在DataWorks中，任务流在调度时间到达时停止运行，是什么原因导致的
    116
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后，timesramp遇到时区问题，解决方法是什么
    100
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度，参数解析不出来，收到了 "Table does not exist" 的错误，该怎么处理
    104
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后，本地和在MaxCompute的工作区可以执行函数查询，但是在datawork里报错FAILED: ODPS-0130071:[2,5]，是什么原因
    118
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null，该怎么解决
    123
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02]，mysql里面有个json类型字段，是什么原因导致的
    161
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面，也添加了RDS的IP白名单报错：数据源配置有误，请检查，该怎么处理
    92
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行，但是在 Hologres 表中没有看到数据，该怎么解决
    133

    • 相关课程

    更多
  • 一站式大数据开发治理平台DataWorks初级课程
  • DataWorks一站式大数据开发治理平台精品课程
  • StarRocks 数据导入、建表查询以及manger管理
  • 阿里云 DTS是如何做实时数据集成的？
  • 实时数据接入：5分钟上手 Flink MySQL 连接器

    • 相关电子书

    更多
  • DataWorks数据集成实时同步最佳实践（含内测邀请）-2020飞天大数据平台实战应用第一季
  • DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季
  • DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季

    • 相关实验场景

    更多
  • DataWorks智能交互式数据开发与分析之旅
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 数据上云实验：基于星轨工具的dataphin批量数据上云
  • Dataworks数据建模
    • 下一篇
    DataWorks售前咨询