kettle从sftp下载多个文件并进行转换后输出

简介: kettle从sftp下载多个文件并进行转换后输出

一. 主流程梳理



网络异常,图片无法展示
|


主流程


  • 1 获取sftp上对应文件的存放路径;
  • 2 从sftp下载指定的文件到指定的目录;
  • 3 从下载后的指定目录,获取数据进行转换操作;


二. 获取ftp路径



网络异常,图片无法展示
|


获取ftp路径


1. 生成记录


网络异常,图片无法展示
|


生成记录


此处要注意: 限制为1;


2. JavaScript代码


网络异常,图片无法展示
|


JavaScript代码


可通过点击测试脚本按钮测试脚本执行是否正确.

//Script here
Date.prototype.Format = function (fmt) { 
    var o = {  
        "M+": this.getMonth() + 1, //月份   
        "d+": this.getDate(), //日   
        "h+": this.getHours(), //小时   
        "m+": this.getMinutes(), //分   
        "s+": this.getSeconds(), //秒   
        "q+": Math.floor((this.getMonth() + 3) / 3), //季度   
        "S": this.getMilliseconds() //毫秒   
    };  
    if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));  
    for (var k in o)  
    if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length)));  
    return fmt;  
}  
var url=new Date(new Date().getTime()).Format("yyyyMMdd");


3.设置变量


网络异常,图片无法展示
|


设置变量


可通过点击获取字段按钮快速设置变量.


三.SFTP下载



通过SFTP下载文件到指定的目录,配置如下:


网络异常,图片无法展示
|


服务器配置


配置完成后,可通过点击测试连接进行测试是否配置成功.


网络异常,图片无法展示
|


文件配置


配置完成后,可通过点击测试文件夹查看文件夹是否存在.


四.进行数据转换



网络异常,图片无法展示
|


数据转换流程


1.文件输入


网络异常,图片无法展示
|


文件配置


网络异常,图片无法展示
|


内容配置


网络异常,图片无法展示
|


字段配置


2.排序记录


网络异常,图片无法展示
|


排序记录


3.记录集连接


网络异常,图片无法展示
|


配置记录集连接类型


4.过滤记录


网络异常,图片无法展示
|


设置过滤条件


5.文本输出


网络异常,图片无法展示
|


设置输出目录和文件


网络异常,图片无法展示
|


设置输出内容格式


网络异常,图片无法展示
|


指定输出字段

OK!至此流程梳理完毕!

相关文章
|
自然语言处理 Python Windows
基于Windows安装langconv实现繁体和简体字的转换
基于Windows安装langconv实现繁体和简体字的转换
411 0
基于Windows安装langconv实现繁体和简体字的转换
|
14天前
|
Java
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
78 34
|
4月前
|
计算机视觉 Windows Python
windows下使用python + opencv读取含有中文路径的图片 和 把图片数据保存到含有中文的路径下
在Windows系统中,直接使用`cv2.imread()`和`cv2.imwrite()`处理含中文路径的图像文件时会遇到问题。读取时会返回空数据,保存时则无法正确保存至目标目录。为解决这些问题,可以使用`cv2.imdecode()`结合`np.fromfile()`来读取图像,并使用`cv2.imencode()`结合`tofile()`方法来保存图像至含中文的路径。这种方法有效避免了路径编码问题,确保图像处理流程顺畅进行。
429 1
|
1月前
|
存储 Java API
Java实现导出多个excel表打包到zip文件中,供客户端另存为窗口下载
Java实现导出多个excel表打包到zip文件中,供客户端另存为窗口下载
55 4
|
2月前
|
Kubernetes Linux 容器
1.xshell传不了文件输出0000如何解决.....2.k8s中metalLB文件内容
1.xshell传不了文件输出0000如何解决.....2.k8s中metalLB文件内容
|
2月前
|
安全 Windows
windows系统中,通过LOAD到入csv格式的文件到neo4j中,如何写文件路径
windows系统中,通过LOAD到入csv格式的文件到neo4j中,如何写文件路径
47 0
|
2月前
|
Python
Python实用记录(十二):文件夹下所有文件重命名以及根据图片路径保存到新路径下保存
这篇文章介绍了如何使用Python脚本对TTK100_VOC数据集中的JPEGImages文件夹下的图片文件进行批量重命名,并将它们保存到指定的新路径。
37 0
|
算法 数据处理 Python
python ——批量读取相同格式文件(多个文件夹/单个文件夹)---nc文件为例
在处理多个相同格式的文件时,python中的许多模块可以为我们提供很多遍历。 比如,我们想读取一个文件夹下多个相同格式的文件时 可以使用os模块,
python ——批量读取相同格式文件(多个文件夹/单个文件夹)---nc文件为例
|
编解码 数据安全/隐私保护 Python
Python 连接FTP服务器并实现文件夹下载实例演示,python区分ftp目录下文件和文件夹方法,ftp目录下包含中文名问题处理
Python 连接FTP服务器并实现文件夹下载实例演示,python区分ftp目录下文件和文件夹方法,ftp目录下包含中文名问题处理
264 0