AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

通过shell脚本生成查询表数据的sql

2014-08-13 939
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在工作中我们需要查询表的数据条数，一般来说就是使用select count(1)或者select count(*)之类的语句。 当然了对于不同的表来说，应该还是可以做一些细分，能够最大程度的提高效率，比如表中含有主键列，尝试走索引扫面可能会被全表扫描效率要高。
在工作中我们需要查询表的数据条数，一般来说就是使用select count(1)或者select count(*)之类的语句。
当然了对于不同的表来说，应该还是可以做一些细分，能够最大程度的提高效率，比如表中含有主键列，尝试走索引扫面可能会被全表扫描效率要高。如果表中的数据太多，而且没有一些相关的约束，可以考虑使用并行来提高等等。
以下就是使用shell脚本所做的查询数据条数的一个例子，看起来有些太不值得了，但是如果数据量很大的情况下这些分析就格外有用了。

比如表customer，数据量不是很大，可以直接走索引来做。

> ksh get_tab_cnt.sh prdappo customer
 
 
************************************************

CUSTOMER               .859375


CUSTOMER

select  /*+ index_ffs(CUSTOMER,CUSTOMER_pk ) parallel_index(CUSTOMER,CUSTOMER_pk,1) */  'CUSTOMER,', count(*) from CUSTOMER  ;

如果表比较大，可以同时开启并行。

 
************************************************

GREEMENT            10.359375


GREEMENT

select  /*+ index_ffs(GREEMENT,GREEMENT_pk ) parallel_index(GREEMENT,GREEMENT_pk,4) */  'GREEMENT,', count(*) from GREEMENT  ;

对应的脚本如下：

#!/bin/ksh
#get_tab_cnt_sql
DATE=`/bin/date '+%y%m%d_%H%M%S'`

constr1=$DB_CONN_STR@$SH_DB_SID
constr1=`echo ${constr1} | tr '[:lower:]' '[:upper:]'`
timestamp=$3
time_vs=""
if [ "${timestamp}" = "" ]
then
        echo " "
        echo " "
else
        if [ "${timestamp2}" = "" ]
        then
                exit;
        else
                time_vs=" As of timestamp to_date('${timestamp}','mm/dd/yyyy hh24:mi:ss') "
                time_vt=" As of timestamp to_date('${timestamp2}','mm/dd/yyyy hh24:mi:ss') "
        fi
fi

user1=`echo $constr1 | awk -F "/" '{print $1}'`
inst1=`echo $constr1 | awk -F "@" '{print $2}'`

if [[ -z ${inst1} ]];then
inst1=$ORACLE_SID
constr1=${constr1}@${inst1}
fi

function check_connectivity
{
  Num=`echo show user | $ORACLE_HOME/bin/sqlplus -s $1| grep -i 'USER ' | wc -l`
  if [ $Num -gt 0 ]
        then
                ## ok - instance is accessible
               echo '************************************************'
        else
                ## inst is Inaccessible
                echo Connection Details: `echo $1 ` is Inaccessible...
                echo '************************************************'
                exit;
        fi
}


check_connectivity $constr1
sleep 1;

sleep 1;


mkdir `pwd`/Get_tab_cnt_${user1}_${inst1}_${DATE}
mkdir `pwd`/Get_tab_cnt_${user1}_${inst1}_${DATE}/List

small2='1'
small='10'
medium='30'
big_par=8
medium_par=4
small_par=2
small2_par=1

COUNT_DIR=`pwd`/Get_tab_cnt_${user1}_${inst1}_${DATE}

 

exclude_tab=x
sqlplus -s ${constr1} set head off
set line 100
set pages 50000
set long 10000
col segment_name for a40
spool ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size_temp.lst
select distinct segment_name,to_number(to_char(sum(bytes/1024/1024/1024))) from dba_segments
where owner=upper('$1') and segment_name =upper('$2')  group by segment_name order by 2 desc;
spool off;
spool ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst
select table_name  from dba_tables where owner=upper('$1')  and table_name in ( select table_name from dba_constraints  where owner=upper('$1')  and table_name =upper('$2')
and constraint_type='P');
spool off;

EOF


################## Getting Big Tables ######################

sed  '/^$/d' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size_temp.lst | grep -v SQL | grep -v select | grep -v ERROR | grep -v ORA- | grep -v '*' > ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst


echo ${medium} | awk -v medium=${medium} ' $2 > medium { print $1 } ' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst > ${COUNT_DIR}/List/${user1}_${inst1}_big_tab.lst
echo ${medium} | echo ${small} | awk -v medium=${medium} -v small=${small} ' $2 small  { print $1 } ' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst > ${COUNT_DIR}/List/${user1}_${inst1}_medium_tab.lst
echo ${small} | echo ${small2} | awk -v small=${small} -v small2=${small2} ' $2 small2 { print $1 } ' ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_size.lst > ${COUNT_DIR}/List/${user1}_${inst1}_small_tab.lst
echo ${small2} | awk -v  small2=${small2} ' $2 ${COUNT_DIR}/List/${user1}_${inst1}_small2_tab.lst


###############################( Generating Count Files ( Big ) #############################################
while read table
do
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${big_par}) */  '${table},', count(*) from ${table} ${time_vs} ;"  >> ${COUNT_DIR}/sqls/${user1}_${inst1}_${table}_tab_count.sql
        else
                echo "select  /*+ PARALLEL(${table},${big_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/sqls/${user1}_${inst1}_${table}_tab_count.sql
        fi
done


################################ Generating Count Files ( Medium ) #############################################

while read table
do
        #echo " Table Name is : $table "
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${medium_par}) */  '${table},', count(*) from ${table} ${time_vt} ;"  >> ${COUNT_DIR}/List/${user1}_${inst1}_medium_tab_count.lst
        else
                echo "select   /*+ PARALLEL(${table},${medium_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/List/${user1}_${inst1}_medium_tab_count.lst
        fi

done

################################ Generating Count Files ( Small ) #############################################

while read table
do
        #echo " Table Name is : $table "
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${small_par}) */  '${table},', count(*) from ${table} ${time_vs} ;"  >> ${COUNT_DIR}/List/${user1}_${inst1}_small_tab_count.lst
        else
                echo "select   /*+ PARALLEL(${table},${small_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/List/${user1}_${inst1}_small_tab_count.lst
        fi
done

################################ Generating Count Files (Very Small ) #############################################

while read table
do
        #echo " Table Name is : $table "
        is_pk=`grep -i ${table} ${COUNT_DIR}/List/${user1}_${inst1}_all_tab_with_pk.lst | wc -l `
        is_pk=`echo $is_pk`
        if [ is_pk -ne 0 ]
        then
                echo "select  /*+ index_ffs(${table},${table}_pk ) parallel_index(${table},${table}_pk,${small2_par}) */  '${table},', count(*) from ${table} ${time_vs} ;"  >> ${COUNT_DIR}/List/${user1}_${inst1}_small2_tab_count.lst
        else
                echo "select   /*+ PARALLEL(${table},${small2_par}) */ '${table} ,' , count (1) from  ${table} ${time_vs} ;" >> ${COUNT_DIR}/List/${user1}_${inst1}_small2_tab_count.lst
        fi
done

 

 

rm  ${COUNT_DIR}/List/*temp.lst


#################### get table list from schemas ##########################
touch ${COUNT_DIR}/${user1}_${inst1}_final_tab_cnt_stats.sql
schema_con=${user1}_${inst1}
function get_final_tab_cnt_stats
{
schema_type=$1
if [ -s  ${COUNT_DIR}/List/${schema_con}_big_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_big_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
if  [ -s ${COUNT_DIR}/List/${schema_con}_medium_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_medium_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
if [ -s ${COUNT_DIR}/List/${schema_con}_small2_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_small2_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
if [ -s ${COUNT_DIR}/List/${schema_con}_small_tab_count.lst ];then
cat ${COUNT_DIR}/List/${schema_con}_small_tab_count.lst >> ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
fi
}

get_final_tab_cnt_stats $schema_con

cat ${COUNT_DIR}/${schema_con}_final_tab_cnt_stats.sql
rm -rf ${COUNT_DIR}

 

文章标签：
Shell
SQL
Perl
索引
关键词：
SQL查询
Shell脚本
查询SQL
脚本SQL
数据SQL
jeanron100
目录
相关文章
灵杰开发者
|
2月前
|
SQL 人工智能 JSON
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
简介：本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享，介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展，包括AI函数集成、Join优化及未来发展方向，助力构建高效实时AI管道。
灵杰开发者
574 43
云技术达人
|
2月前
|
SQL 人工智能 JSON
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
云技术达人
194 0
Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
学习数据库的小张
|
1月前
|
SQL 监控 关系型数据库
一键开启百倍加速！RDS DuckDB 黑科技让SQL查询速度最高提升200倍
RDS MySQL DuckDB分析实例结合事务处理与实时分析能力，显著提升SQL查询性能，最高可达200倍，兼容MySQL语法，无需额外学习成本。
学习数据库的小张
231 0
艾伦~耶格尔
|
1月前
|
SQL 存储 关系型数据库
MySQL体系结构详解：一条SQL查询的旅程
本文深入解析MySQL内部架构，从SQL查询的执行流程到性能优化技巧，涵盖连接建立、查询处理、执行阶段及存储引擎工作机制，帮助开发者理解MySQL运行原理并提升数据库性能。
艾伦~耶格尔
121 0
艾伦~耶格尔
|
1月前
|
SQL 监控 关系型数据库
SQL优化技巧：让MySQL查询快人一步
本文深入解析了MySQL查询优化的核心技巧，涵盖索引设计、查询重写、分页优化、批量操作、数据类型优化及性能监控等方面，帮助开发者显著提升数据库性能，解决慢查询问题，适用于高并发与大数据场景。
艾伦~耶格尔
129 2
凉凉心.
|
6天前
|
SQL 关系型数据库 MySQL
（SQL）SQL语言中的查询语句整理
查询语句在sql中占了挺大一部分篇幅，因为在数据库中使用查询语句的次数远多于更新与删除命令。而查询语句比起其他语句要更加的复杂，可因为sql是数据库不可或缺的一部分，所以即使不懂，也必须得弄懂，以上。
凉凉心.
73 0
蓝易云
|
2月前
|
SQL XML Java
通过MyBatis的XML配置实现灵活的动态SQL查询
总结而言，通过MyBatis的XML配置实现灵活的动态SQL查询，可以让开发者以声明式的方式构建SQL语句，既保证了SQL操作的灵活性，又简化了代码的复杂度。这种方式可以显著提高数据库操作的效率和代码的可维护性。
蓝易云
192 18
三桥君
|
2月前
|
SQL 人工智能 数据库
【三桥君】如何正确使用SQL查询语句：避免常见错误?
三桥君解析了SQL查询中的常见错误和正确用法。AI产品专家三桥君通过三个典型案例：1）属性重复比较错误，应使用IN而非AND；2）WHERE子句中非法使用聚合函数的错误，应改用HAVING；3）正确的分组查询示例。三桥君还介绍了学生、课程和选课三个关系模式，并分析了SQL查询中的属性比较、聚合函数使用和分组查询等关键概念。最后通过实战练习帮助读者巩固知识，强调掌握这些技巧对提升数据库查询效率的重要性。
三桥君
100 0
技术小胖子
|
存储 数据采集 Shell
<Power Shell>05解决powershell3.0收集数据时候数组生成
技术小胖子
1148 0
IvanCodes
|
19天前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了，把它们写进Shell脚本，就能一键搞定。脚本本质上就是个存着一堆命令的文本文件，但要让它“活”起来，有几个关键点：文件开头最好用#!/usr/bin/env bash来指定解释器，并用chmod +x给它执行权限。执行时也有讲究：./script.sh是在一个新“房间”（子Shell）里跑，不影响你；而source script.sh是在当前“房间”里跑，适合用来加载环境变量和配置文件。
IvanCodes
254 9

热门文章

最新文章

  • 1
    阿里云数据库RDS费用价格：MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
  • 2
    阿里云数据库收费价格：MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
  • 3
    SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
  • 4
    生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
  • 5
    通过 SQL 快速使用 OceanBase 向量检索学习笔记
  • 6
    MCP与PolarDB集成技术分析：降低SQL门槛与简化数据可视化流程的机制解析
  • 7
    生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
  • 8
    阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
  • 9
    SQL日志优化策略：提升数据库日志记录效率
  • 10
    SQL Server 2022 RTM 累积更新 #21 发布
  • 1
    确定Shell脚本在操作系统中的具体位置方法。
    123
  • 2
    Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
    286
  • 3
    Centos或Linux编写一键式Shell脚本删除用户、组指导手册
    140
  • 4
    shell_42：Linux参数移动
    107
  • 5
    在Linux、CentOS7中设置shell脚本开机自启动服务
    471
  • 6
    在MySQL Shell里 重启MySQL 8.4实例
    170
  • 7
    Shell 输出命令完全指南：echo 与 printf 的深度剖析
    306
  • 8
    MySQL 备份 Shell 脚本：支持远程同步与阿里云 OSS 备份
    271
  • 9
    微服务2——MongoDB单机部署2——Shell连接
    178
  • 10
    定期备份数据库：基于 Shell 脚本的自动化方案
    267

    • 相关课程

    更多
  • SQL完全自学手册
  • Shell 编程入门到精通
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server 2017
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
    • 下一篇
    阿里云无影云电脑免费使用_免费申请教程