AI 助理
备案控制台
开发者社区 数据库 文章 正文

Kettle拆分时间段循环进行导入数据

2023-05-23 823
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Kettle拆分时间段循环进行导入数据

文章目录

背景

遇到使用kettle抽取比较三年的数据，数据量比较大，表输入直接查询会卡死，数据量太大还会导致内存溢出。所以想根据时间一天一天的来循环执行转换。

思路

长时间段拆分，拆分一天一天的时间，将结果复制到作业设置变量，将变量传入新的转换进行执行即可。

解决方法

时间拆分

利用oracle数据库，connect by 来实现时间拆分。

3eb4de5d044e40b79155a391600dce55.png

时间分段转换

c1587908846945dd86dadd4c62e21ead.png

设置时间变量

a574068ffc4a450db632653db1d330ce.png

主要执行的转换

2fe54dc7b38f4ec592d84c465fe91d57.png

设置子任务

fbd50d7252e74c929cb32081389b7d42.png

主任务

7cc8ef6f4f8e496c9a3e189debdfdbb4.png

运行结果

39f4376372de4fe79a01a85e1e0fe795.png

注意：子任务第一个转换需要勾选如下图

c06baf141a264dad833099f68daa8d71.png


文章标签：
关系型数据库
Oracle
数据库
游客enonjzg2ndlti
目录
相关文章
gamonxfdgmihc
|
数据采集 Oracle 关系型数据库
kettle开发-循环驱动作业
kettle开发-循环驱动作业
gamonxfdgmihc
646 0
小Tomkk
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量，通过示例展示了如何将movies表数据按月插入到ods_movies表，涉及新建转换、获取变量、作业配置和执行，呈现了一个嵌套作业结构.
小Tomkk
1824 3
gamonxfdgmihc
|
XML 存储 网络协议
kettle开发篇-Http client
kettle开发篇-Http client
gamonxfdgmihc
1333 0
gamonxfdgmihc
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
gamonxfdgmihc
1160 0
pffkzc2qcmn6c
|
JavaScript 前端开发 数据库
Kettle使用脚本实现循环（十）
Kettle使用脚本实现循环（十）
pffkzc2qcmn6c
2016 0
Kettle使用脚本实现循环（十）
gamonxfdgmihc
|
数据采集 数据挖掘
kettle开发-数据清洗之字符串替换
kettle开发-数据清洗之字符串替换
gamonxfdgmihc
683 2
技术内容小助手
|
12月前
|
SQL 人工智能 自然语言处理
DataWorks年度发布：智能化湖仓一体数据开发与治理平台的演进
阿里云在过去15年中持续为268集团提供数据服务，积累了丰富的实践经验，并连续三年在IDC中国数据治理市场份额中排名第一。新一代智能数据开发平台DateWorks推出了全新的DateStudio IDE，支持湖仓一体化开发，新增Flink计算引擎和全面适配locs，优化工作流程系统和数据目录管理。同时，阿里云正式推出个人开发环境模式和个人Notebook，提升开发者体验和效率。此外，DateWorks Copilot通过自然语言生成SQL、代码补全等功能，显著提升了数据开发与分析的效率，已累计帮助开发者生成超过3200万行代码。
技术内容小助手
587 6
刘大猫.
|
Java Spring 容器
SpringBoot读取配置文件的6种方式，包括：通过Environment、@PropertySource、@ConfigurationProperties、@Value读取配置信息
SpringBoot读取配置文件的6种方式，包括：通过Environment、@PropertySource、@ConfigurationProperties、@Value读取配置信息
刘大猫.
2708 3
游客762btuqu5wybw666
|
人工智能 自然语言处理 搜索推荐
人工智能浪潮下的伦理挑战与反思
随着人工智能技术的快速发展，它已经渗透到我们生活的方方面面。然而，在享受其带来的便利同时，我们也不得不面对伴随而来的伦理问题。本文将从技术发展的角度出发，探讨AI技术应用中可能引发的伦理争议，并提出相应的解决建议，旨在为构建一个和谐的AI社会环境提供思考路径。
游客762btuqu5wybw666
322 3

热门文章

最新文章

  • 1
    获取网络时间（国家标准时间）
  • 2
    使用阿里云容器服务Jenkins 2.0实现持续集成之the tag you want篇(updated on 2017.09.06)
  • 3
    【知云】第十期：如何保障云上游戏安全？云盾+高防IP筑起云上安全高墙
  • 4
    手把手教你 WordPress 使用阿里云 CDN 教程，让你的网站飞起来
  • 5
    5分钟，使用yum方式完成mysql安装
  • 6
    四十万个数据库上云，阿里云支持了银泰、最多跑一次
  • 7
    Java应用频繁FullGC分析
  • 8
    TortoiseSVN 执行清理( cleanUp )失败的解决方案
  • 9
    请勿滥用 2PC prepared transaction
  • 10
    如何使用Log4j
  • 1
    集之互动AI视频服务助力企业实现降本增效
    39
  • 2
    定了！阿里云服务器租赁优惠价格表11月最新，一年、1个月和1小时收费标准
    81
  • 3
    阿里云百炼API-KEY在哪查看？百炼api调用方法整理
    70
  • 4
    《PNG转ETC2的底层逻辑与跨平台实践指南》
    45
  • 5
    《WebGL浏览器渲染优化指南：解决隐性损耗的底层逻辑与实操技巧》
    43
  • 6
    从漏洞到攻击链：一次看懂黑客的思维链路
    44
  • 7
    可观测性数据：既要降本，也别把有用信号丢了
    44
  • 8
    分布式存储三国杀：对象存储 vs HDFS vs 列式存储，到底该怎么选？
    41
  • 9
    Debian网络延迟排查指南（从零开始诊断网络卡顿问题）
    40
  • 10
    基于python大数据的新能源汽车数据分析系统
    48

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    全面了解阿里云OSS使用方法