脚本小工具 - 基于Txt的简单数据表查询

简介:
在Linux下写脚本的时候, 通常需要根据某些字段对数据进行检索,也就是要实现一般数据库的select功能。在脚本里面这样的功能通常要求很简单, 数据结构也不太复杂, 不需要动用真正的数据库。基于txt格式的简单表是很好的选择,但仅仅使用bash并不太好实现查询, 一般需要通过perl,python来实现。 这里给了一个例子是使用awk来完成的,大家可以直接拿去使用。
两个文件:plaindb.awk是awk的代码, simple_select是bash的wrapper. 代码见后.
以下是定义的文本数据表的格式示例:
--- nodes.conf ------
#configure test nodes here
#format: nodename IP/hostname OStype root/Admin
#e.g.:   specjdriver 192.168.6.67 windows Administrator
#| nodename     hostname       ostype    admin |
specjdriver   192.168.6.67   windows   Administrator
specjsut      192.168.6.252  linux     root
specjdb       192.168.6.70   windows   Admin
specjemulator 192.168.6.66   linux     root
其中#开始的行是注释, 会被忽略. #|...| 行定义的是字段名字 其他行为数据.
下面是简单的使用例子:
[root@rac1 config]# ./simple_select nodes.conf nodename=specjdb hostname
192.168.6.70
[root@rac1 config]# ./simple_select nodes.conf ostype=windows nodename
specjdriver
specjdb
在脚本中用来做查询非常方便:)
附代码:
plaindb.awk:
------------------------------
#variable predefined:
# condition,columnids
BEGIN{
 # read condition
 count = split(condition,condstrs,"=");
 if(count != 2 )
  exit -1;
 keyid = condstrs[1];
 keyval = condstrs[2];
 # read schema
 do{
  res = getline;
 }while(res != 0 && $0 !~ /#\|.*\|/);
 if(res ==0 ){
#  print "no schema found!!"
  exit -1;
 }
 count = split($0,schema);
 colidcount = split(columnids,columnidarray,",")
 for(i=1;i<=colidcount;i++)
  columnindexarray[i] = -1;
 keyindex = -1;
# printf "searched: |%s|%s|\n",keyid,columnid;
 for(i=2;i<count;i++){
#  printf "|%s| - %d \n",schema[i], i;
  if(schema[i] == keyid)
   keyindex = i - 1;
  for(j=1;j<=colidcount;j++)
   if(schema[i] == columnidarray[j])
    columnindexarray[j] = i - 1;
 }
 if(keyindex == -1){
    #  print "no column found!", keyindex,columnindex;
  exit -1;
 }
 for(i=1;i<=colidcount;i++)
  if(columnindexarray[i]==-1)
   exit -1;
# print "Columns found!", keyindex,columnindex;
 do{
  res = getline row;
  if( res == 0){
#   print "reached the end";
   exit -1;
  }
  count = split(row,columns);
#  print count, ":", row;
  if(columns[keyindex] == keyval){
   for(i=1;i<=colidcount;i++)
    printf ("%s\t",columns[columnindexarray[i]]);
   printf("\n");
   continue;
  }
 }while(1);
  
}
/.*/{printf("");}
-----------------------------------------
simple_select:
-----------------------------------------
#!/bin/bash
CONDITION=$2
COL_ID=$3
awk -v condition="$CONDITION" -v columnids=$COL_ID -f ./plaindb.awk $1

本文转自Intel_ISN 51CTO博客,原文链接:http://blog.51cto.com/intelisn/130725,如需转载请自行联系原作者
相关文章
|
6月前
|
监控 数据处理 索引
使用Python批量实现文件夹下所有Excel文件的第二张表合并
使用Python和pandas批量合并文件夹中所有Excel文件的第二张表,通过os库遍历文件,pandas的read_excel读取表,concat函数合并数据。主要步骤包括:1) 遍历获取Excel文件,2) 读取第二张表,3) 合并所有表格,最后将结果保存为新的Excel文件。注意文件路径、表格结构一致性及异常处理。可扩展为动态指定合并表、优化性能、日志记录等功能。适合数据处理初学者提升自动化处理技能。
144 1
|
4月前
|
缓存 索引
kibana上执行ES DSL语言查询数据并查看表结构与数据、删除索引、查看文件大小
kibana上执行ES DSL语言查询数据并查看表结构与数据、删除索引、查看文件大小
251 0
|
5月前
|
关系型数据库 数据库连接 数据库
Python执行PG数据库查询语句:以Markdown格式打印查询结果
使用Python的`psycopg2`和`pandas`库与PostgreSQL交互,执行查询并以Markdown格式打印结果。首先确保安装所需库:`pip install psycopg2 pandas`。接着建立数据库连接,执行查询,将查询结果转换为DataFrame,再用`tabulate`库将DataFrame格式化为Markdown。代码示例包括连接函数、查询函数、转换和打印函数。最后限制列宽以适应输出。
|
6月前
|
存储 JSON 数据库
Python中列表数据的保存与读取:以txt文件为例
Python中列表数据的保存与读取:以txt文件为例
210 2
|
6月前
|
机器学习/深度学习 定位技术 数据格式
Python对大量表格文件加以数据截取、逐行求差、跨文件合并等处理的方法
Python对大量表格文件加以数据截取、逐行求差、跨文件合并等处理的方法
133 1
|
安全 API 数据安全/隐私保护
|
SQL Python
python读取错误excel记录生成sql,避免手工维护数据
python读取错误excel记录生成sql,避免手工维护数据
115 0
python读取错误excel记录生成sql,避免手工维护数据
|
机器学习/深度学习 Python
利用python脚本批量重命名文件
利用python脚本批量重命名文件
248 0
|
SQL 关系型数据库 MySQL
一键导出PostgreSQL数据库表设计为word文档
项目开始时,数据库表设计是从概要设计到详细设计,再到数据库中的表结构,有一套完整的文档
1213 0
一键导出PostgreSQL数据库表设计为word文档
|
存储 应用服务中间件 BI
浅谈导出Execl的报表数据解决方案
项目中免不了要做一些数据导出功能,比如导出前一天的订单记录。涉及导出功能可大可小,根据系统具体的用户量、一天的订单量等情况。今天就讨论一下怎么设计一个合理的导出功能。
146 0
浅谈导出Execl的报表数据解决方案