sed+awk模拟简单sql查询

简介: 经常需要用sqlplus去查询一些数据字典类型的数据,这些数据量不大,而且需要环境之间都是一样的,所以就想使用离线查询的方式,把那些数据以平面文件的形式存放,然后通过系统级的操作来输出。
经常需要用sqlplus去查询一些数据字典类型的数据,这些数据量不大,而且需要环境之间都是一样的,所以就想使用离线查询的方式,把那些数据以平面文件的形式存放,然后通过系统级的操作来输出。以下使用 sed 和awk来实现。还有很多很多需要改进的地方,就当做是抛砖引用了

1.数据量极小的行级筛选
.....
echo 'MODU CC_VERSION           MODULE_VERSION       PROJ_NAME
---- -------------------- -------------------- ------------------------------'
data_path=`pwd`/data
data_file=${data_path}/ccmodule.data   --数据通过sqlplus spool 到这个文件中

sed -n "/$1/p"  $data_file|uniq

输出结果如下:
MODU CC_VERSION           MODULE_VERSION       DEV_PATH
---- -------------------- -------------------- ------------------------------
MO1        550                                   550                 devpath1
MO2        550                                   550                  devpath2
MO3        550                                   550                  devpath3
MO4        550                                   550                  devpath4

--因为这个数据量极小,而且数据行内的数据分布很有规律,所以我用了sed做了行级操作

2.多重查询条件
类似数据库查询中的 and or条件
......
cc_module=`echo $2|tr [[:lower:]] [[:upper:]]`

data_path=`pwd`/data
data_file=${data_path}/ccobj.data  --数据通过sqlplus spool 到这个文件中

echo 'MODU OBJECT OBJECT_NAME                    DB_AREA_CODE    VERSION
---- ------ ------------------------------ --------------- --------------------'
cat  $data_file |awk '
BEGIN{
cc_version="'$1'"
cc_module="'$cc_module'"
cc_index=1
}
{
if ($1== cc_module && $5 == cc_version)    --组合查询条件,and/or。。。
{
print cc_index,$0
cc_index=cc_index+1
}
}'

--查询结果如下
MODU OBJECT OBJECT_NAME                    DB_AREA_CODE    VERSION
---- ------ ------------------------------ --------------- --------------------
1 MO1  app       MO1_TAB1                          DB_AREA1                       550
2 MO1   app      MO1_TAB2                          DB_AREA2                        550


3.动态模糊匹配
 类似数据中的Like 匹配
.......
obj_name=`echo $2|tr [[:lower:]] [[:upper:]]`

data_path=`pwd`/data
data_file=${data_path}/ccobj.data

echo 'MODU OBJECT OBJECT_NAME                    DB_AREA_CODE    VERSION
---- ------ ------------------------------ --------------- --------------------'
cat  $data_file |awk '
BEGIN{
cc_version="'$1'"
obj_name="'$obj_name'"
cc_index=1
}
{
if ($3~obj_name && $5 == cc_version)  --动态模糊匹配
{
print cc_index,$0
cc_index=cc_index+1
}
}'


输出结果如下:
MODU OBJECT OBJECT_NAME                    DB_AREA_CODE    VERSION
---- ------ ------------------------------ --------------- --------------------
1 MO1 DUMMY  MO1_TAB1                           DUMMY                         550
2 MO2 DUMMY  MO1_TAB2                           DUMMY                         550






目录
相关文章
|
4月前
|
SQL 数据挖掘 数据库
第三篇:高级 SQL 查询与多表操作
本文深入讲解高级SQL查询技巧,涵盖多表JOIN操作、聚合函数、分组查询、子查询及视图索引等内容。适合已掌握基础SQL的学习者,通过实例解析INNER/LEFT/RIGHT/FULL JOIN用法,以及COUNT/SUM/AVG等聚合函数的应用。同时探讨复杂WHERE条件、子查询嵌套,并介绍视图简化查询与索引优化性能的方法。最后提供实践建议与学习资源,助你提升SQL技能以应对实际数据处理需求。
288 1
|
6月前
|
SQL 运维 监控
SQL查询太慢?实战讲解YashanDB SQL调优思路
本文是Meetup第十期“调优实战专场”的第二篇技术文章,上一篇《高效查询秘诀,解码YashanDB优化器分组查询优化手段》中,我们揭秘了YashanDB分组查询优化秘诀,本文将通过一个案例,助你快速上手YashanDB慢日志功能,精准定位“慢SQL”后进行优化。
|
1月前
|
SQL 人工智能 数据库
【三桥君】如何正确使用SQL查询语句:避免常见错误?
三桥君解析了SQL查询中的常见错误和正确用法。AI产品专家三桥君通过三个典型案例:1)属性重复比较错误,应使用IN而非AND;2)WHERE子句中非法使用聚合函数的错误,应改用HAVING;3)正确的分组查询示例。三桥君还介绍了学生、课程和选课三个关系模式,并分析了SQL查询中的属性比较、聚合函数使用和分组查询等关键概念。最后通过实战练习帮助读者巩固知识,强调掌握这些技巧对提升数据库查询效率的重要性。
81 0
|
6月前
|
SQL 索引
【YashanDB知识库】字段加上索引后,SQL查询不到结果
【YashanDB知识库】字段加上索引后,SQL查询不到结果
|
2月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
4月前
|
SQL 关系型数据库 MySQL
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
|
3月前
|
SQL 存储 弹性计算
OSS Select 加速查询:10GB CSV 文件秒级过滤的 SQL 语法优化技巧
OSS Select 可直接在对象存储上执行 SQL 过滤,跳过文件下载,仅返回所需数据,性能比传统 ECS 方案提升 10~100 倍。通过减少返回列、使用等值查询、避免复杂函数、分区剪枝及压缩优化等技巧,可大幅降低扫描与传输量,显著提升查询效率并降低成本。
|
6月前
|
SQL 大数据 数据挖掘
玩转大数据:从零开始掌握SQL查询基础
玩转大数据:从零开始掌握SQL查询基础
254 35
|
8月前
|
SQL 安全 数据库
如何在Django中正确使用参数化查询或ORM来避免SQL注入漏洞?
如何在Django中正确使用参数化查询或ORM来避免SQL注入漏洞?
479 77
|
6月前
|
SQL 关系型数据库 MySQL
如何优化SQL查询以提高数据库性能?
这篇文章以生动的比喻介绍了优化SQL查询的重要性及方法。它首先将未优化的SQL查询比作在自助餐厅贪多嚼不烂的行为,强调了只获取必要数据的必要性。接着,文章详细讲解了四种优化策略:**精简选择**(避免使用`SELECT *`)、**专业筛选**(利用`WHERE`缩小范围)、**高效联接**(索引和限制数据量)以及**使用索引**(加速搜索)。此外,还探讨了如何避免N+1查询问题、使用分页限制结果、理解执行计划以及定期维护数据库健康。通过这些技巧,可以显著提升数据库性能,让查询更高效流畅。

热门文章

最新文章