kettle从sftp下载多个文件并进行转换后输出

简介: kettle从sftp下载多个文件并进行转换后输出

一. 主流程梳理



网络异常,图片无法展示
|


主流程


  • 1 获取sftp上对应文件的存放路径;
  • 2 从sftp下载指定的文件到指定的目录;
  • 3 从下载后的指定目录,获取数据进行转换操作;


二. 获取ftp路径



网络异常,图片无法展示
|


获取ftp路径


1. 生成记录


网络异常,图片无法展示
|


生成记录


此处要注意: 限制为1;


2. JavaScript代码


网络异常,图片无法展示
|


JavaScript代码


可通过点击测试脚本按钮测试脚本执行是否正确.

//Script here
Date.prototype.Format = function (fmt) { 
    var o = {  
        "M+": this.getMonth() + 1, //月份   
        "d+": this.getDate(), //日   
        "h+": this.getHours(), //小时   
        "m+": this.getMinutes(), //分   
        "s+": this.getSeconds(), //秒   
        "q+": Math.floor((this.getMonth() + 3) / 3), //季度   
        "S": this.getMilliseconds() //毫秒   
    };  
    if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));  
    for (var k in o)  
    if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length)));  
    return fmt;  
}  
var url=new Date(new Date().getTime()).Format("yyyyMMdd");


3.设置变量


网络异常,图片无法展示
|


设置变量


可通过点击获取字段按钮快速设置变量.


三.SFTP下载



通过SFTP下载文件到指定的目录,配置如下:


网络异常,图片无法展示
|


服务器配置


配置完成后,可通过点击测试连接进行测试是否配置成功.


网络异常,图片无法展示
|


文件配置


配置完成后,可通过点击测试文件夹查看文件夹是否存在.


四.进行数据转换



网络异常,图片无法展示
|


数据转换流程


1.文件输入


网络异常,图片无法展示
|


文件配置


网络异常,图片无法展示
|


内容配置


网络异常,图片无法展示
|


字段配置


2.排序记录


网络异常,图片无法展示
|


排序记录


3.记录集连接


网络异常,图片无法展示
|


配置记录集连接类型


4.过滤记录


网络异常,图片无法展示
|


设置过滤条件


5.文本输出


网络异常,图片无法展示
|


设置输出目录和文件


网络异常,图片无法展示
|


设置输出内容格式


网络异常,图片无法展示
|


指定输出字段

OK!至此流程梳理完毕!

相关文章
|
2月前
|
人工智能 运维 监控
开源项目分享 : Gitee热榜项目 2025-12-13 日榜
本文整理Gitee当日热门开源项目,涵盖AI智能体、低代码开发、数字人、容器化部署等前沿技术。聚焦智能化、降本增效与垂直场景应用,展现AI工程化、全栈融合与技术普惠趋势,助力开发者把握开源脉搏。
332 15
|
缓存 Linux 开发工具
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 :2、查看不同版本的系统操作: 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
266649 0
|
9月前
|
JSON 数据挖掘 API
抖音电商新篇章:douyin.item_video API接口的介绍
抖音视频列表API接口简介:随着短视频发展,抖音成为全球重要平台,其视频数据对开发者、创作者和分析师意义重大。该API支持按关键词、分类等方式获取视频列表,通过HTTP请求(如GET)返回JSON格式数据,包含视频ID、播放量、作者信息等,助力构建推荐系统、分析趋势及挖掘用户行为,实现高效合法的数据利用。
|
6月前
|
SQL Java 数据库连接
Java IO流(一):字节流与字符流基础
本文全面解析Java IO流,涵盖字节流、字符流及其使用场景,帮助开发者理解IO流分类与用途,掌握文件读写、编码转换、异常处理等核心技术,通过实战案例提升IO编程能力。
|
存储 文字识别 数据安全/隐私保护
PyMuPDF 1.24.4 中文文档(十三)(4)
PyMuPDF 1.24.4 中文文档(十三)
660 0
|
存储 算法 安全
详细解读CA认证原理以及实现(上)
详细解读CA认证原理以及实现(上)
734 0
|
存储 数据采集 文件存储
|
Windows
【转】Minidump 文件分析工具
许多人可能经常遇见计算机频繁重新启动的问题,总是难于解决问题,最后只能重新安装操作系统.我介绍的这篇文章应该能解决许多人这样的痛苦.   通常在荡机的瞬间,操作系统会形成一个存储器转储文件。 这个文件是当计算机死机的瞬间的内存的映像.该文件通常放置在系统目录下的minidum目录下.例如 C:\WINDOWS\Minidump\Mini082106-01.
5671 0
|
JSON 数据格式 网络架构
Kettle使用接口获取数据(九)
Kettle使用接口获取数据(九)
1782 1
Kettle使用接口获取数据(九)