AI 助理
备案控制台
开发者社区 数据库 文章 正文

基于变量方式实现kettle快速循环迁移表数据（八）

2022-12-10 368
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 基于变量方式实现kettle快速循环迁移表数据（八）

功能

功能：从blog数据库中同步数据到blog2里面

blog库里面有四张表拥有数据的，blog2中没有表

创建一个作业，从菜单栏拉取这些

20190510143138394.png

获取源库中表信息

创建一个转换，用来获取源库中的表信息

20190510143441406.png

数据迁移到目标库

数据库迁移的作业创建如下

20190510143519164.png

从结果中获取变量

把结果变成变量的转换

20190510143641308.png

设置变量，点击获取字段就可以了

创建表

同步数据，主要就是把传来的表名，创建表格语句遍历执行

20190510143752560.png

执行sql语句

20190510143839721.png

表输入

2019051014394616.png


此处的TABLE_NAME为设置变量里面传过来的，需要勾选替换SQL里面的变量

表输出

20190510144028344.png

需要注意的地方是需要勾选这里，不然不会遍历

20190510144056642.png

实现全表迁移，这边是mysql到mysql，还可以到不同的数据库类型，如oracle等

20190510144354895.png

文章标签：
SQL
关系型数据库
MySQL
Oracle
数据库
pffkzc2qcmn6c
目录
相关文章
小Tomkk
|
1月前
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量，通过示例展示了如何将movies表数据按月插入到ods_movies表，涉及新建转换、获取变量、作业配置和执行，呈现了一个嵌套作业结构.
小Tomkk
92 3
三分钟热度的鱼
|
5月前
|
SQL 监控 数据处理
实时计算 Flink版产品使用问题之加了一个条件，初次同步的时候，会先把所有符合条件的数据读出来吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
52 2
嘟嘟嘟嘟嘟嘟
|
4月前
|
SQL 关系型数据库 MySQL
PolarDB产品使用问题之想要所有表执行是否需要时间分段执行
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务，旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境，满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能，实现数据库的高效运维与持续优化。
嘟嘟嘟嘟嘟嘟
30 1
嘟嘟嘟嘟嘟嘟
|
4月前
|
SQL 运维 分布式计算
DataWorks产品使用合集之ODPPS中如何使用SQL查询从表中获取值并将其赋值给临时变量以供后续使用
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
88 8
花开富贵111
|
4月前
|
分布式计算 自然语言处理 大数据
MaxCompute操作报错合集之使用pyodps读取全表（百万级），然后对其中某列apply自己定义的分词函数，遇到报错，该如何排查
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
花开富贵111
48 5
嘟嘟嘟嘟嘟嘟
|
4月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之运行MR任务读取源表数据并写入新表的过程，有哪些限制
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
53 7
花开富贵111
|
4月前
|
SQL 分布式计算 大数据
MaxCompute操作报错合集之执行多条SQL语句时，使用同一个实例来运行，遇到报错，该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
花开富贵111
63 1
花开富贵111
|
4月前
|
SQL 分布式计算 DataWorks
MaxCompute操作报错合集之使用sql查询一个表的分区数据时遇到报错，该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务，用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时，可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
花开富贵111
60 2
花开富贵111
|
5月前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之已经执行了整库同步操作，想要进行逆向操作，该怎么操作
MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
花开富贵111
51 6
真的很搞笑
|
4月前
|
SQL
云架构数据倾斜问题之在SQL数据源读取查询时合并小文件如何解决
云架构数据倾斜问题之在SQL数据源读取查询时合并小文件如何解决
真的很搞笑
52 0

热门文章

最新文章

  • 1
    Flink SQL 实战：双流 join 场景应用
  • 2
    Webpack构建library时的踩坑经历
  • 3
    《UVM实战》——3.3节field automation机制
  • 4
    关于规则引擎的选型和疑惑思考
  • 5
    线性排序算法（1）
  • 6
    数据泵 TTS（传输表空间技术）
  • 7
    新用户来自哪里 新用户因何而来
  • 8
    NYOJ714-Card Trick
  • 9
    RMAN简明教程之二——RMAN的启动与运行
  • 10
    “单播”、“组播”和“多播”
  • 1
    通义灵码与微软 Azure 的融合创新
    33
  • 2
    “后全球化”时代，IBM和IBM中国如何穿越新的周期？
    34
  • 3
    远离生成式AI大乱斗，SAS公司揭示亚太区千亿AI市场蓝图
    31
  • 4
    引领企业未来数字基础架构浪潮，中国铁塔探索超大规模分布式算力
    32
  • 5
    CIO如何驱动业务增长：IT战略与业务目标深度融合
    27
  • 6
    数字孪生：解锁端到端供应链增长的关键
    21
  • 7
    AI助力电子邮件安全防护，CISO解析新策略
    17
  • 8
    Google Gemini意外超越OpenAI，跃居第一，但基准测试结果并不能说明全部情况
    22
  • 9
    使用GenAI反增工作量的七大途径
    28

    • 相关电子书

    更多
  • Phoenix 全局索引原理与实践
  • 大批量处理excel文件到ODPS中方案
  • HBase2.0重新定义小对象实时存取

    • 相关实验场景

    更多
  • 使用SQL语句实现数据表管理
  • 使用SQL语句实现数据插入、修改和删除操作
  • 使用SQL语句实现数据查询操作
  • 使用SQL语句管理索引
  • 使用交互方式实现数据查询、插入、修改和删除操作
  • 使用交互方式创建数据表
    • 下一篇
    无影云桌面