java,架构相关技术专家
python如何将json格式的数据快速的转化成指定格式的数据呢?或者转换成sql文件? 下面的例子是将json格式的数据准换成以#_#分割的文本数据,也可用于生成sql文件。 [root@bogon tutorial]# vi json2txt.
测试文件 [root@bogon ~]# cat >test jason jason jason fffffjason 按 Ctr + D保存 1、sort -u [root@bogon ~]# sort -u test fffff jason 2、uniq...
本文转载自:http://coolshell.cn/articles/1379.html Bash 是Linux操作系统的默认Shell脚本。Shell是用来处理操作系统和用户交互的一个程序。Shell的脚本可以帮助用户自动化地和操作系统进行交互。
本文转载自:https://www.ibm.com/developerworks/cn/linux/l-cn-shell-debug/ Shell脚本调试技术 本文全面系统地介绍了shell脚本调试技术,包括使用echo, tee, trap等命令输出关键信息,跟踪变量的值,在脚本中植入调试钩子,使用“-n”选项进行shell脚本的语法检查, 使用“-x”选项实现shell脚本逐条语句的跟踪,巧妙地利用shell的内置变量增强“-x”选项的输出信息等。
shell脚本编程基础之练习篇。 1、编写一个脚本使我们在写一个脚本时自动生成”#!/bin/bash”这一行和注释信息。 #!/bin/bash if [ $# -ne 1 ] then echo "请输入一个参数" exit el...
1、 FP(Fast Projection)此索引为默认的索引形式,在创建表时系统自动设置此索引。 特点:用于SELECT、LIKE '%sys%'、SUM(A+B)、JOIN操作等语句。 此类型索引也是唯一可用于BIT数据类型的索引。
在使用kettle进行数据分析和清洗时日志非常多而且杂乱,使用原有的日志有时找不到异常的位置,有时日志不够详细,说简单一点就是日志不是我们想要的。因而对kettle日志进行相应的管理就想得尤为重要了。
mysql主从复制相信已经用得很多了,但是由于工作原因一直没怎么用过。趁着这段时间相对空闲,也就自己实现一遍。尽管互联网上已有大把类似的文章,但是自身实现的仍然值得记录。 环境: 主服务器:centos 6.
UML建模YY系列: YY博客园UML类图之博客模块 YY博客园UML时序图之博客模块 YY博客园UML用例图-活动图-状态图之博客模块 前面YY了博客园UML类图之博客模块和博客园UML时序图之博客模块,这次把剩下常用的用例图、状态图和活动图一起给完成了。
UML建模YY系列: YY博客园UML类图之博客模块 YY博客园UML时序图之博客模块 YY博客园UML用例图-活动图-状态图之博客模块 UML建模中,描述一个事物要从其静态方面描述,也要从其动态方面描述。
本文转自:http://blog.csdn.net/dqswuyundong/article/details/5952009 Kettle集群 Kettle是一款开源的ETL工具,以其高效和可扩展性而闻名于业内。
kettle job中的JavaScript如何获取同一个job中SQL步骤的执行语句并让执行语句记录在日志中呢?首先写日志需要用到job中JavaScript写日志的方法,其次是利用java反射机制获取执行的sql。
任何一种编程语言都少不了循环,kettle中的job也一样。那么kettle中的job是怎么通过JavaScript来达到类似于编程语言中的for循环呢? var max = parent_job.
在kettle作业中JavaScript脚本有时候也扮演非常重要的角色,此时我们希望有一些日志记录。下面是job中JavaScript记录日志的方式。 job的js写日志的方法。 得到日志输出实例 org.
日常开发中由于很多参数是变化的,需要在部署时才能确定。而写在配置文件里又显得很笨重,因而可以运行时实时指定。那么kettle是怎么获取命令行中的参数的呢? kettle可以通过转换里的JavaScript获取变量 _step_.
日常开发中,时常会出现这样一种情况。有大量的函数是通用的。而每个JavaScript里面写一遍,给维护带来很大的困扰。因而需要将公共的函数写在外部js文件中。这时就需要引入外部的公共文件了。下面是在转换里的JavaScript组件中引入外部公共js文件。
日常开发中,为了确保账号和密码的安全,时常要对密码进行加密和解密。然而kettle是怎么对密码进行加密和解密的呢? 下面的代码需要再转换中的JavaScript中运行。 var encrypted_password = 'not encrypted'; 加密(js中调用): encrypted_password = "Encrypted " + Packages.
在日常开发中有时候配置文件会出现中文(如config.properties 里有中文),为了避免出现乱码,因而要转成unicode编码。 1、在设置变量的javascript(转换中的JavaScript)中进行编码转换。
本文转载自:http://blog.csdn.net/dqswuyundong/archive/2010/10/19/5952004.aspx 设置kettle的内存 REM ************************************************************...
pan 是执行转换的。 Pan.bat /file C:\test.ktr /logfile c:\log.txt /level Basic kitchen是执行job的。 kitchen.
kettle与各数据库建立链接的链接字符串 Sybase: TO_DB_URL = jdbc:sybase:Tds:192.168.168.163:5000/testdb?charset=eucgb&jconnect_version=6 TO_DB_DRIVER = com.sybase.jdbc3.jdbc.SybDataSource #com.sybase.jdbc3.jdbc.SybDriver驱动下表输入组件不支持别名。
本文收集于本人的笔记本,由于找不到原文出处。在此省略,如哪位知道可以联系我加上。 核心是利用mysql系统表和“optimize table 表名”命令,对mysql数据表进行空间的释放。由于delete和drop table都不会释放表空间(truncate 命令会释放表空间【将所有的数据都删除】),所以需要利用optimize 命令进行释放。
MySQL的information_schema数据库是什么,有什么作用? 大家在安装或使用MYSQL时,会发现除了自己安装的数据库以外,还有一个 information_schema数据库。
其实很多情况下mysql备份就是采用了这些命令,例如: mysql导入和导出数据 linux自动定时备份web程序和mysql数据库 备份MySQL数据库的命令 mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql 备份MySQL数据库为带删除表的格式 备份MySQL数据库为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库。
通常情况下备份一个数据库,直接单裤备份即可,更完善一点的会要求做到定时单裤备份。然而很多时候又由于裤实例是在太多,这样会导致备份非常耗时,因而有时候需要对整个数据库应用进行备份。那么在windows下如何做到对整个应用做定时备份呢? 1、批处理备份脚本(注意修改脚本里面的变量) @echo ...
Linux下如何单个库进行导入和备份操作 1、将数据导入数据库mysql -u账号 -p密码 数据库/data/htmlbak/test_db_$(date +%Y%m%d).sql.gz windows下如何单个库进行导入和备份操作 1、导入数据库和Linux的一样,只是sql脚...
本文收集于本人的笔记本,由于找不到原文出处。在此省略,如哪位知道可以联系我加上。 方法一:在windows下:1.打开命令行(DOS)窗口,停止mysql服务: net stop mysql 2.
在 Windows 下: 开始->运行->cmd启动:net start mysql停止:net stop mysql 无重启,必须先停止再启动!!! 在LINUX 下: 启动:/etc/rc.
在日常开发中由于业务逻辑较为复杂,常常需要用到UPDATE和CASE...WHEN...THEN...ELSE...END一起做一些复杂的更新。有时候因为对这几个字句理解得不透彻会带来很大的困扰。
冒泡排序: //降序 public static int[] bubbleSort(int[] array){ for(int i = 0; i < array.
查找包含某个字符的行并保存在文件 grep -rn 'test' ./*.sql >test.sql -r 是递归查找 -n 是显示行号 在当前目录下的.sql结尾的文件中查找包含 test 字符的行并保存在test.sql文件中。
SQL:删除重复数据,只保留一条用SQL语句,删除掉重复项只保留一条在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢 1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select * from people where peopleId...
两个或多个表关联,没写where条件,大量的笛卡尔值,严重时会导致数据库有问题。 select * from a, b left join c on b.id = c.id left join d on c.id = d.id 多表关联查询,where条件使用各种函数,导致索引无效。
1. oracle数据库 SELECT * FROM TABLE1 WHERE ROWNUM
IQ有四种方法,将表的数据导出为文本文件:1、重定向 SELECT * FROM TABLE1 ># D:MYDATATABLE1.TXT -- 文件生成在执行语句的客户端上 2、通过选项导出 SET TEMPORARY OPTION Temp_Extract_Name1 = '/data/mydata/table1.
试想一下,如果一个文件5G、10G甚至更大。如何将它迅速地加载到数据库指定的表呢?我们看看Sybase IQ是如何迅速地将表的数据加载到数据库的。 数据文件格式: 1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,221943,1,12175,...
Sql Server(sybase): 1.复制表结构: 新建表student2,并且结构同表syn_xj_student一致。Sql语句如下: select * into syn_xj_student2 from syn_xj_student where 1=2 2.复制表数据,并...
查找某种类型文件中包含特定字符的文件 find /* -type f -name "*.php" |xargs grep "rename(" find ./|xargs grep -ri "is_vip" -l Linux下find一次查找多个指定文件或者排除某类文件,在 GREP 中匹配多个关键字的方法(1)Linux下find一次查找多个指定文件:查找a.
各种后缀的压缩包压缩方法和解压方法 压缩包 压缩 解压 .tar.gz和.tgz tar -czf jpg.tar.gz *.jpg tar -xzvf filename -C path .
本文转自网络,由于找不到原作者,因而无法知道出处。如果有幸让原作者看到,请联系我加上。先转载至此。 最近几天加班加疯掉了,天天晚上没法睡。开发部的一个核心程序总是会自己宕机,然后需要手工去起,而这个服务的安全级别又很高,只有我可以操作,搞得我晚上老没法睡,昨晚实在受不了了,想起以前在hp-ux下写的shell守护进程,这回搞个windows下的bat版守护程序吧,当时晚上思路已经很迟钝了,就叫了个兄弟让他写了,上去后运行效果不错,至少昨晚我安心睡了7小时。
批量添加IP 在cmd命令行下运行: FOR /L %i IN (130,1,190) DO netsh interface ip add address "本地连接" 192.168.1.%i 255.
bat批量去除文件首行 set n=1 :starline for %%j in (*.txt) do ( :3 if exist D:\work\test\new_%n%.txt (set /a n+=1&goto 3) set file=%n%.
FORFILES /P d:\www /D -7 /S /M ex*.log /C "cmd /c del @path" 删除d:\www目录下7天前ex*.log的所有文件 例子: D:\test>FORFILES /D -30 /S /M *jpg /C "cmd /c echo @path 0x09 在 30 前就被更改。
删除系统服务,记得一定要小心用。避免删错sc delete 服务名 加入服务: sc create 服务名 binPath= 路径 start= auto
记得以前管理的一批windows服务器,一些开源程序做的web站点总会遭到入侵。然而就想找找看有没有办法可以知道服务器有没有被入侵。服务器在什么时候登陆过,如果登陆马上发邮件通知,感觉这种问题肯定有人处理过,于是网上搜罗了一下。
windows网络连接别名 C:\Windows\System32\drivers\etc目录下的hosts文件中添加 127.0.0.1 localhost 192.168.1.100 proxy.
命令简介 crontab-操作每个用户的守护程序和该执行的时间表。部分参数说明crontab file [-u user]-用指定的文件替代目前的crontab。crontab-[-u user]-用标准输入替代目前的crontab.crontab-1[user]-列出用户目前的crontab.crontab-e[user]-编辑用户目前的crontab.crontab-d[user]-删除用户目前的crontab.crontab-c dir- 指定crontab的目录。
本文转自:http://coolshell.cn/articles/9070.html 有一些网友看了前两天的《Linux下应该知道的技巧》希望我能教教他们用awk和sed,所以,出现了这篇文章。
我常用的那些linux命令 用linux也有些年头了,说来也忏愧,说是有些年头了,其实也还是个不长进的主。记得第一次接触linux是boss跟我说的怎么操作,什么编辑模式,按i,a,o进入编辑模式。
Vi对于linux的重要性和受欢迎的程度在此一律不表。此刻互联网上不少介绍vi的文章和博客,相信写得比我好的也不在少数。然而为什么我依然写这样一篇文章呢?我对linux知识和了解也都来自于互联网,很难想象在没有互联网的情况下我能不能学会这些最基本的操作。