AI 助理
备案控制台登录注册
开发者社区 数据库 文章 正文

Kettle拆分时间段循环进行导入数据

2023-05-23 505 发布于吉林
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Kettle拆分时间段循环进行导入数据

文章目录

背景

遇到使用kettle抽取比较三年的数据，数据量比较大，表输入直接查询会卡死，数据量太大还会导致内存溢出。所以想根据时间一天一天的来循环执行转换。

思路

长时间段拆分，拆分一天一天的时间，将结果复制到作业设置变量，将变量传入新的转换进行执行即可。

解决方法

时间拆分

利用oracle数据库，connect by 来实现时间拆分。

3eb4de5d044e40b79155a391600dce55.png

时间分段转换

c1587908846945dd86dadd4c62e21ead.png

设置时间变量

a574068ffc4a450db632653db1d330ce.png

主要执行的转换

2fe54dc7b38f4ec592d84c465fe91d57.png

设置子任务

fbd50d7252e74c929cb32081389b7d42.png

主任务

7cc8ef6f4f8e496c9a3e189debdfdbb4.png

运行结果

39f4376372de4fe79a01a85e1e0fe795.png

注意：子任务第一个转换需要勾选如下图

c06baf141a264dad833099f68daa8d71.png


文章标签：
关系型数据库
Oracle
数据库
游客enonjzg2ndlti
+关注
159文章
目录
打赏
0
0
0
0
35
分享
相关文章
gamonxfdgmihc
|
11月前
|
数据库
kettle开发篇-合并记录
kettle开发篇-合并记录
gamonxfdgmihc
364 0
晓同哇哇~
|
PHP 数据库
fastadmin框架如何查询数据表指定时间段内的数据
fastadmin框架如何查询数据表指定时间段内的数据
晓同哇哇~
633 0
游客6qhxjdtlqgr34
|
6月前
|
SQL 运维
Doris同一个SQL任务，前一天执行成功，第二天执行失败
Doris 动态分区 插入数据 同样的代码隔天运行一个成功一个失败
游客6qhxjdtlqgr34
86 7
wljslmz
|
存储 关系型数据库 MySQL
MySQL 中单表数据的最大行数应该控制在多少？
MySQL 中单表数据的最大行数应该控制在多少？
wljslmz
2593 1
MySQL 中单表数据的最大行数应该控制在多少？
嘟嘟嘟嘟嘟嘟
|
9月前
|
SQL 数据处理
SQL 能力问题之合并两个存在交叉的日期区间，如何解决
SQL 能力问题之合并两个存在交叉的日期区间，如何解决
嘟嘟嘟嘟嘟嘟
144 0
真的很搞笑
|
9月前
|
SQL
云架构数据倾斜问题之在SQL数据源读取查询时合并小文件如何解决
云架构数据倾斜问题之在SQL数据源读取查询时合并小文件如何解决
真的很搞笑
81 0
vohelon
|
11月前
|
分布式计算 资源调度 运维
在MaxCompute中，若想查看表的小文件合并时间
在MaxCompute中，若想查看表的小文件合并时间
vohelon
92 1
疯狂学习GIS
|
11月前
|
存储 定位技术 数据格式
Python从多个表格中随机抽取数据加以处理后合并全部数据
Python从多个表格中随机抽取数据加以处理后合并全部数据
疯狂学习GIS
89 1
赵延东的一亩三分地
|
SQL 移动开发 BI
【SQL开发实战技巧】系列（二十三）：数仓报表场景☞ 如何对数据排列组合去重以及通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高
怎样对数据组合重新排列并去重的问题、通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。本篇文章主要介绍的两个方面，第一个方面曾经有好几个网友和同事问我，第二个问题真的是很多同行的通病，认为分析函数是万金油，一股脑用。
赵延东的一亩三分地
251 0
【SQL开发实战技巧】系列（二十三）：数仓报表场景☞ 如何对数据排列组合去重以及通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高
gamonxfdgmihc
kettle开发篇-拆分字段
笔记
gamonxfdgmihc
893 0
kettle开发篇-拆分字段

热门文章

最新文章

  • 1
    攻防实战：教你轻松查看QQ空间加密后的好友图片
    3497
  • 2
    canceling statement due to conflict with recovery
    7572
  • 3
    一文搞懂App测试，APP测试方案
    6
  • 4
    vc 6.0的安装问题
    646
  • 5
    python re正则表达式基本使用介绍
    720
  • 6
    SQL Server-聚焦过滤索引提高查询性能
    2
  • 7
    《Linux From Scratch》第三部分：构建LFS系统 第六章：安装基本的系统软件- 6.8. Man-pages-3.79
    826
  • 8
    IP标准化推动物联网发展
    624
  • 9
    WPF 动画
    2
  • 10
    数据加载的性能测试
    711
  • 1
    一款轻量级的PHP链接发布页面源码
    23
  • 2
    uv安装python及其依赖的加速方法
    91
  • 3
    用 SQL 还是 NoSQL？Apipost 的回答是：两个都要！
    25
  • 4
    使用 Node.js、Express 和 React 构建强大的 API
    26
  • 5
    云产品评测｜从数据治理到智能分析，一站式构建企业数据中台的实战体验
    30
  • 6
    TVM虚拟机应用实例
    32
  • 7
    TVM虚拟机
    26
  • 8
    《分布式软总线：解锁未来柔性电子设备互联新境界》
    18
  • 9
    《揭秘分布式软总线开发框架：解锁快速迭代与功能扩展的密码》
    21
  • 10
    《深度剖析：分布式软总线双轮驱动机制下传输效率与可靠性的精妙平衡》
    23

    • 相关电子书

    更多
  • 大批量处理excel文件到ODPS中方案
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册

    • 相关实验场景

    更多
  • 基于工具的数据探查
  • SQL的增删改查及函数应用
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月
    目录
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等