kettle从sftp下载多个文件并进行转换后输出

简介: kettle从sftp下载多个文件并进行转换后输出

一. 主流程梳理



网络异常,图片无法展示
|


主流程


  • 1 获取sftp上对应文件的存放路径;
  • 2 从sftp下载指定的文件到指定的目录;
  • 3 从下载后的指定目录,获取数据进行转换操作;


二. 获取ftp路径



网络异常,图片无法展示
|


获取ftp路径


1. 生成记录


网络异常,图片无法展示
|


生成记录


此处要注意: 限制为1;


2. JavaScript代码


网络异常,图片无法展示
|


JavaScript代码


可通过点击测试脚本按钮测试脚本执行是否正确.

//Script here
Date.prototype.Format = function (fmt) { 
    var o = {  
        "M+": this.getMonth() + 1, //月份   
        "d+": this.getDate(), //日   
        "h+": this.getHours(), //小时   
        "m+": this.getMinutes(), //分   
        "s+": this.getSeconds(), //秒   
        "q+": Math.floor((this.getMonth() + 3) / 3), //季度   
        "S": this.getMilliseconds() //毫秒   
    };  
    if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));  
    for (var k in o)  
    if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length)));  
    return fmt;  
}  
var url=new Date(new Date().getTime()).Format("yyyyMMdd");


3.设置变量


网络异常,图片无法展示
|


设置变量


可通过点击获取字段按钮快速设置变量.


三.SFTP下载



通过SFTP下载文件到指定的目录,配置如下:


网络异常,图片无法展示
|


服务器配置


配置完成后,可通过点击测试连接进行测试是否配置成功.


网络异常,图片无法展示
|


文件配置


配置完成后,可通过点击测试文件夹查看文件夹是否存在.


四.进行数据转换



网络异常,图片无法展示
|


数据转换流程


1.文件输入


网络异常,图片无法展示
|


文件配置


网络异常,图片无法展示
|


内容配置


网络异常,图片无法展示
|


字段配置


2.排序记录


网络异常,图片无法展示
|


排序记录


3.记录集连接


网络异常,图片无法展示
|


配置记录集连接类型


4.过滤记录


网络异常,图片无法展示
|


设置过滤条件


5.文本输出


网络异常,图片无法展示
|


设置输出目录和文件


网络异常,图片无法展示
|


设置输出内容格式


网络异常,图片无法展示
|


指定输出字段

OK!至此流程梳理完毕!

相关文章
|
数据库连接 数据库
kettle开发篇-流查询
kettle开发篇-流查询
794 0
|
JavaScript 前端开发 数据库
Kettle使用脚本实现循环(十)
Kettle使用脚本实现循环(十)
2396 0
Kettle使用脚本实现循环(十)
|
搜索推荐 Java jenkins
sonar整合阿里java规范开发历程
sonar整合阿里java规范开发历程
|
6月前
|
Devops 持续交付 项目管理
阿里巴巴-云效
简介:本文介绍如何使用阿里云效平台进行项目管理与自动化部署。涵盖服务开通、需求管理、代码托管及流水线构建等流程,帮助团队高效协作,实现代码自动发布,适合开发者快速上手体验DevOps实践。(238字)
697 2
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
3117 3
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
1548 0
|
监控 大数据 API
可以调度kettle的工具有哪些?都有什么特点?如何选择?
【10月更文挑战第25天】可以调度kettle的工具有哪些?都有什么特点?如何选择?
1298 5
|
存储 数据采集 文件存储