AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

通过shell脚本生成查询表数据的sql

2014-08-13 1016
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在工作中我们需要查询表的数据条数，一般来说就是使用select count(1)或者select count(*)之类的语句。 当然了对于不同的表来说，应该还是可以做一些细分，能够最大程度的提高效率，比如表中含有主键列，尝试走索引扫面可能会被全表扫描效率要高。
在工作中我们需要查询表的数据条数，一般来说就是使用select count(1)或者select count(*)之类的语句。
当然了对于不同的表来说，应该还是可以做一些细分，能够最大程度的提高效率，比如表中含有主键列，尝试走索引扫面可能会被全表扫描效率要高。如果表中的数据太多，而且没有一些相关的约束，可以考虑使用并行来提高等等。
以下就是使用shell脚本所做的查询数据条数的一个例子，看起来有些太不值得了，但是如果数据量很大的情况下这些分析就格外有用了。

比如表customer，数据量不是很大，可以直接走索引来做。

> ksh get_tab_cnt.sh prdappo customer
 
 
************************************************

CUSTOMER               .859375


CUSTOMER

select  /*+ index_ffs(CUSTOMER,CUSTOMER_pk ) parallel_index(CUSTOMER,CUSTOMER_pk,1) */  'CUSTOMER,', count(*) from CUSTOMER  ;

如果表比较大，可以同时开启并行。

 
************************************************

GREEMENT            10.359375


GREEMENT

select  /*+ index_ffs(GREEMENT,GREEMENT_pk ) parallel_index(GREEMENT,GREEMENT_pk,4) */  'GREEMENT,', count(*) from GREEMENT  ;

对应的脚本如下：

#!/bin/ksh
#get_tab_cnt_sql
DATE=`/bin/date '+%y%m%d_%H%M%S'`

constr1=$DB_CONN_STR@$SH_DB_SID
constr1=`echo ${constr1} | tr '[:lower:]' '[:upper:]'`
timestamp=$3
time_vs=""
if [ "${timestamp}" = "" ]
then
        echo " "
        echo " "
else
        if [ "${timestamp2}" = "" ]
        then
                exit;
        else
                time_vs=" As of timestamp to_date('${timestamp}','mm/dd/yyyy hh24:mi:ss') "
                time_vt=" As of timestamp to_date('${timestamp2}','mm/dd/yyyy hh24:mi:ss') "
        fi
fi

user1=`echo $constr1 | awk -F "/" '{print $1}'`
inst1=`echo $constr1 | awk -F "@" '{print $2}'`

if [[ -z ${inst1} ]];then
inst1=$ORACLE_SID
constr1=${constr1}@${inst1}
fi

function check_connectivity
{
  Num=`echo show user | $ORACLE_HOME/bin/sqlplus -s $1| grep -i 'USER ' | wc -l`
  if [ $Num -gt 0 ]
        then
                ## ok - instance is accessible
               echo '************************************************'
        else
                ## inst is Inaccessible
                echo Connection Details: `echo $1 ` is Inaccessible...
                echo '************************************************'
                exit;
        fi
}


check_connectivity $constr1
sleep 1;

sleep 1;


mkdir `pwd`/Get_tab_cnt_${user1}_${inst1}_${DATE}
mkdir `pwd`/Get_tab_cnt_${user1}_${inst1}_${DATE}/List

small2='1'
small='10'
medium='30'
big_par=8
medium_par=4
small_par=2
small2_par=1

COUNT_DIR=`pwd`/Get_tab_cnt_${user1}_${inst1}_${DATE}

 

exclude_tab=x
sqlplus -s ${constr1} set head off
set line 100
set pages 50000
set long 10000
col segment_name for a40
spool ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size_temp.lst
select distinct segment_name,to_number(to_char(sum(bytes/1024/1024/1024))) from dba_segments
where owner=upper('$1') and segment_name =upper('$2')  group by segment_name order by 2 desc;
spool off;
spool ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst
select table_name  from dba_tables where owner=upper('$1')  and table_name in ( select table_name from dba_constraints  where owner=upper('$1')  and table_name =upper('$2')
and constraint_type='P');
spool off;

EOF


################## Getting Big Tables ######################

sed  '/^$/d' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size_temp.lst | grep -v SQL | grep -v select | grep -v ERROR | grep -v ORA- | grep -v '*' > ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst


echo ${medium} | awk -v medium=${medium} ' $2 > medium { print $1 } ' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst > ${COUNT_DIR}/List/${user1}_${inst1}_big_tab.lst
echo ${medium} | echo ${small} | awk -v medium=${medium} -v small=${small} ' $2 small  { print $1 } ' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst > ${COUNT_DIR}/List/${user1}_${inst1}_medium_tab.lst
echo ${small} | echo ${small2} | awk -v small=${small} -v small2=${small2} ' $2 small2 { print $1 } ' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst > ${COUNT_DIR}/List/${user1}_${inst1}_small_tab.lst
echo ${small2} | awk -v  small2=${small2} ' $2 ${COUNT_DIR}/List/${user1}_${inst1}_small2_tab.lst


###############################( Generating Count Files ( Big ) #############################################
while read table
do
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${big_par}) */  '${table},', count(*) from ${table} ${time_vs} ;"  >> ${COUNT_DIR}/sqls/${user1}_${inst1}_${table}_tab_count.sql
        else
                echo "select  /*+ PARALLEL(${table},${big_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/sqls/${user1}_${inst1}_${table}_tab_count.sql
        fi
done


################################ Generating Count Files ( Medium ) #############################################

while read table
do
        #echo " Table Name is : $table "
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${medium_par}) */  '${table},', count(*) from ${table} ${time_vt} ;"  >> ${COUNT_DIR}/List/${user1}_${inst1}_medium_tab_count.lst
        else
                echo "select   /*+ PARALLEL(${table},${medium_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/List/${user1}_${inst1}_medium_tab_count.lst
        fi

done

################################ Generating Count Files ( Small ) #############################################

while read table
do
        #echo " Table Name is : $table "
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${small_par}) */  '${table},', count(*) from ${table} ${time_vs} ;"  >> ${COUNT_DIR}/List/${user1}_${inst1}_small_tab_count.lst
        else
                echo "select   /*+ PARALLEL(${table},${small_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/List/${user1}_${inst1}_small_tab_count.lst
        fi
done

################################ Generating Count Files (Very Small ) #############################################

while read table
do
        #echo " Table Name is : $table "
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${small2_par}) */  '${table},', count(*) from ${table} ${time_vs} ;"  >> ${COUNT_DIR}/List/${user1}_${inst1}_small2_tab_count.lst
        else
                echo "select   /*+ PARALLEL(${table},${small2_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/List/${user1}_${inst1}_small2_tab_count.lst
        fi
done

 

 

rm  ${COUNT_DIR}/List/*temp.lst


#################### get table list from schemas ##########################
touch ${COUNT_DIR}/${user1}_${inst1}_final_tab_cnt_stats.sql
schema_con=${user1}_${inst1}
function get_final_tab_cnt_stats
{
schema_type=$1
if [ -s  ${COUNT_DIR}/List/${schema_con}_big_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_big_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
if  [ -s ${COUNT_DIR}/List/${schema_con}_medium_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_medium_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
if [ -s ${COUNT_DIR}/List/${schema_con}_small2_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_small2_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
if [ -s ${COUNT_DIR}/List/${schema_con}_small_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_small_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
}

get_final_tab_cnt_stats $schema_con

cat ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
rm -rf ${COUNT_DIR}

 

文章标签：
Shell
SQL
Perl
索引
关键词：
SQL查询
Shell脚本
查询SQL
脚本SQL
数据SQL
jeanron100
目录
相关文章
灵杰开发者
|
6月前
|
SQL 人工智能 JSON
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
简介：本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享，介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展，包括AI函数集成、Join优化及未来发展方向，助力构建高效实时AI管道。
灵杰开发者
982 43
云技术达人
|
6月前
|
SQL 人工智能 JSON
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
云技术达人
427 0
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
鱼的爱情看不出泪水
|
7月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
鱼的爱情看不出泪水
323 3
IvanCodes
|
5月前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了，把它们写进Shell脚本，就能一键搞定。脚本本质上就是个存着一堆命令的文本文件，但要让它“活”起来，有几个关键点：文件开头最好用#!/usr/bin/env bash来指定解释器，并用chmod +x给它执行权限。执行时也有讲究：./script.sh是在一个新“房间”（子Shell）里跑，不影响你；而source script.sh是在当前“房间”里跑，适合用来加载环境变量和配置文件。
IvanCodes
549 9
IvanCodes
|
5月前
|
存储 Shell Linux
八、Linux Shell 脚本：变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西（赋值）时，=两边千万不能有空格。用单引号''装进去的东西会原封不动，用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”（Shell进程）用，想让隔壁房间（子进程）也能看到，就得给箱子盖个export的“出口”戳。此外，Shell还自带了$?（上条命令的成绩单）和$1（别人递进来的第一个包裹）等许多特殊箱子，非常有用。
IvanCodes
538 2
路边两盏灯
|
11月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况：服务名对应多人拥有状态（1/0表示），以及服务名与人名重复列的情况，分别采用双层for循环和字典数据结构实现数据转换，最终生成Name对应的Services列表（逗号分隔）。此方法高效解决大量数据的人工处理难题，减少错误并提升效率。文中附带代码示例及执行结果截图，便于理解和实践。
路边两盏灯
296 4
蓝易云
|
8月前
|
Shell
Shell脚本循环控制：shift、continue、break、exit指令
使用这些命令可以让你的Shell脚本像有生命一样动起来。正确使用它们，你的脚本就能像一场精心编排的舞蹈剧目，既有旋律的起伏，也有节奏的跳跃，最终以一场惊艳的表演结束。每一个动作、每一个转折点，都准确、优雅地完成所需要表达的逻辑。如此，你的脚本不只是冰冷的代码，它透过终端的界面，跳着有节奏的舞蹈，走进观众——使用者的心中。
蓝易云
330 60
1786310562865821
|
11月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本：支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本，支持本地存储、远程服务器同步（SSH+rsync）、阿里云 OSS 备份，并自动清理过期备份。适用于数据库管理员和开发者，帮助确保数据安全。
1786310562865821
458 0
winx_19970108018
|
5月前
|
数据采集 监控 Shell
无需Python：Shell脚本如何成为你的自动化爬虫引擎？
Shell脚本利用curl/wget发起请求，结合文本处理工具构建轻量级爬虫，支持并行加速、定时任务、增量抓取及分布式部署。通过随机UA、异常重试等优化提升稳定性，适用于日志监控、价格追踪等场景。相比Python，具备启动快、资源占用低的优势，适合嵌入式或老旧服务器环境，复杂任务可结合Python实现混合编程。
winx_19970108018
235 0
盹猫
|
7月前
|
Web App开发 缓存 安全
Linux一键清理系统垃圾:释放30GB空间的Shell脚本实战​
这篇博客介绍了一个实用的Linux系统盘清理脚本，主要功能包括： 安全权限检查和旧内核清理，保留当前使用内核 7天以上日志文件清理和系统日志压缩 浏览器缓存(Chrome/Firefox)、APT缓存、临时文件清理 智能清理Snap旧版本和Docker无用数据 提供磁盘空间使用前后对比和大文件查找功能 脚本采用交互式设计确保安全性，适合定期维护开发环境、服务器和个人电脑。文章详细解析了脚本的关键功能代码，并给出了使用建议。完整脚本已开源，用户可根据需求自定义调整清理策略。
盹猫
927 1