shell脚本循环查询数据库实现数据输出到csv

简介: shell脚本循环查询数据库实现数据输出到csv

一、shell脚本和数据文件



1.shell脚本


cat data.txt|while read line
do
  mysql -h 10.4.8.133 -u master_data -p'**********' -P 33306 -e "
use sunacwy_mdm;
select * from tb_mdm_room;
"  -s |sed -e  "s/\t/,/g" -e "s/NULL/  /g" -e "s/\n/\r\n/g"  >> ./mdm_renche__`date +%F`.csv
done


2.数据文件


数据文件名为data.txt


161892490786579524
161892490786588117
161892490786625355
161892490786654523
161892490786657621
161892490786664153


二、执行过程解读



cat data.txt,查看数据,然后使用read 将文件进行读取操作,line则是变量名无任何要求,下面就是do … done的循环了,在循环里面处理数据。这里是将查询的数据不断拼接到指定文件中。

放这里希望可以帮助有需要的朋友。


相关文章
|
8月前
|
算法 Shell Linux
【Shell 命令集合 备份压缩 】⭐Linux 压缩 恢复bzip2损坏数据 bzip2recover命令 使用指南
【Shell 命令集合 备份压缩 】⭐Linux 压缩 恢复bzip2损坏数据 bzip2recover命令 使用指南
87 0
|
8天前
|
存储 数据采集 数据挖掘
CSV vs 数据库:数据存储的最佳选择是什么
本文介绍了爬虫数据存储中CSV和数据库的优缺点,分析了两者在不同场景下的适用性。CSV简单易用、资源消耗低,适合小量数据;数据库则在处理大量数据和复杂查询时表现出色,支持并发操作。通过Python代码示例,展示了如何使用多线程和爬虫代理IP技术将百度搜索数据存储到MySQL数据库中,适用于大型项目和复杂数据分析需求。
|
2月前
|
缓存 监控 Shell
如何使用 HBase Shell 进行数据的实时监控和备份?
如何使用 HBase Shell 进行数据的实时监控和备份?
|
2月前
|
Shell 分布式数据库 Hbase
如何使用 HBase Shell 进行数据的批量导入和导出?
如何使用 HBase Shell 进行数据的批量导入和导出?
103 5
|
6月前
|
缓存 监控 Shell
使用 HBase Shell 进行数据的实时监控和备份
使用 HBase Shell 进行数据的实时监控和备份
102 6
|
6月前
|
Shell 分布式数据库 Hbase
使用 HBase Shell 进行数据的批量导入和导出
使用 HBase Shell 进行数据的批量导入和导出
665 6
|
7月前
|
SQL 关系型数据库 MySQL
关系型数据库mysql的CSV
【6月更文挑战第18天】
53 6
|
7月前
|
Unix Shell Linux
Shell 重定向:控制数据流向的艺术
在Unix/Linux中,Shell提供输入输出重定向来灵活控制数据流。了解和运用重定向能提升Shell效率。标准输入(0)、输出(1)和错误输出(2)是基础。`>`用于覆盖输出,`>>`用于追加,而`<`用于改变输入源。错误输出可单独重定向,如`2>`或`2>>`。组合使用如`2>&1`可合并输出和错误到同一文件。输入重定向示例:`cat <<END`读取直到`END`。掌握这些,可高效管理命令输出。
69 0
|
7月前
|
存储 SQL 关系型数据库
MySQL数据库——存储过程-循环(while、repeat、loop)
MySQL数据库——存储过程-循环(while、repeat、loop)
1353 0
|
8月前
|
网络协议 Shell Linux
【Shell 命令集合 系统管理 】Linux 查询域名的注册信息 whois命令 使用指南
【Shell 命令集合 系统管理 】Linux 查询域名的注册信息 whois命令 使用指南
179 1