Kettle使用JavaScript代码处理数据

简介: Kettle使用JavaScript代码处理数据

需求

处理经纬度格式不正确的数据

经纬度格式如:

经度:a-b-c

纬度:d-e-f

a、b、c、d、e、f都可以为数字(也可以为浮点等,只要符合经纬度要求就OK)

把符合要求的数据存放到一个xlsx里

不符合要求的数据存放到一个xlsx里

建立的处理流程如下:

结果:

处理的结果会得到两个文件,一个是符合要求的,一个是不符合要求的。

一、建立DB连接

连接要处理数据库的数据库

二、建立处理流程

1、拖入表输入功能模块

选择数据库连接、并按自己的需求写入相关的sql

2、拖入JavaScript代码功能模块

考虑到经纬度格式可能会出现存在空格的,而且经纬度不在一块。

现在可以利用JavaScript代码把从数据库中得到的经度和纬度合并到一起,然后对数据进行去掉所有的空格处理。

连接表输如---->JavaScript代码

处理经纬度

//Script here
 //去前后空格
//var LO = LONGITUDE.replace(/(^\s*)|(\s*$)/g, "");
//var LA = LATITUDE.replace(/(^\s*)|(\s*$)/g, "");
//拼接成一个要验证的字符串
//var LL = LO +"," +LA;
 //去前后空格
//var LL=L1.replace(/(^\s*)|(\s*$)/g, "");
//直接去除所有的空格
var LL = (LONGITUDE+","+LATITUDE).replace(/\s+/g,"");

对处理好的经纬度进行正则表达式匹配处理

配置正则表达式

正则表达式
([\d^(-?\d+)(\.\d+)?$]+)-([\d^(-?\d+)(\.\d+)?$]+)-([\d^(-?\d+)(\.\d+)?$]+)[,]([\d^(-?\d+)(\.\d+)?$]+)-([\d^(-?\d+)(\.\d+)?$]+)-([\d^(-?\d+)(\.\d+)?$]+)

过滤记录并分别输出到不同的文件里

过滤记录的配置

目录
相关文章
|
19天前
|
JavaScript
短小精悍的js代码
【10月更文挑战第17天】
117 58
|
29天前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 来检查代码规范并自动格式化 Vue.js 代码。
【10月更文挑战第7天】随着前端开发技术的快速发展,代码规范和格式化工具变得尤为重要。本文介绍了如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 来检查代码规范并自动格式化 Vue.js 代码。通过安装和配置这两个工具,可以确保代码风格一致,提升团队协作效率和代码质量。
204 2
|
1月前
|
JavaScript 前端开发 内存技术
js文件的入口代码及需要入口代码的原因
js文件的入口代码及需要入口代码的原因
33 0
|
6天前
|
JavaScript
原生js炫酷随机抽奖中奖效果代码
原生js随机抽奖是一个炫酷的根据数据随机抽奖的代码,该网页可进行随机抽取一个数据,页面动画高科技、炫酷感觉的随机抽奖效果,简单好用,欢迎下载!
19 3
原生js炫酷随机抽奖中奖效果代码
|
11天前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码,包括安装插件、配置 ESLint 和 Prettier 以及 VSCode 设置的具体步骤
随着前端开发技术的快速发展,代码规范和格式化工具变得尤为重要。本文介绍了如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码,包括安装插件、配置 ESLint 和 Prettier 以及 VSCode 设置的具体步骤。通过这些工具,可以显著提升编码效率和代码质量。
130 4
|
13天前
|
JSON 移动开发 数据格式
html5+css3+js移动端带歌词音乐播放器代码
音乐播放器特效是一款html5+css3+js制作的手机移动端音乐播放器代码,带歌词显示。包括支持单曲循环,歌词显示,歌曲搜索,音量控制,列表循环等功能。利用json获取音乐歌单和歌词,基于html5 audio属性手机音乐播放器代码。
62 6
|
9天前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码
随着前端开发技术的快速发展,代码规范和格式化工具变得尤为重要。本文介绍如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码。通过安装和配置这些工具,可以确保代码风格一致,提高代码质量和可读性。
34 1
|
10天前
|
数据采集 存储 JavaScript
如何使用Puppeteer和Node.js爬取大学招生数据:入门指南
本文介绍了如何使用Puppeteer和Node.js爬取大学招生数据,并通过代理IP提升爬取的稳定性和效率。Puppeteer作为一个强大的Node.js库,能够模拟真实浏览器访问,支持JavaScript渲染,适合复杂的爬取任务。文章详细讲解了安装Puppeteer、配置代理IP、实现爬虫代码的步骤,并提供了代码示例。此外,还给出了注意事项和优化建议,帮助读者高效地抓取和分析招生数据。
如何使用Puppeteer和Node.js爬取大学招生数据:入门指南
|
28天前
|
前端开发 JavaScript
JS-数据筛选
JS-数据筛选
32 7