一、kafka
1.1 基础命令
#进入到fafka容器之后，通过kafka对应命令，去查看所有的topic和消费topic #查看所有的topic ./kafka-topics.sh --bootstrap-server kafka的IP地址:端口号 --list #删除对应的topic ./kafka-topics.sh --delete --topic 对应的topic --bootstrap-server kafka的IP地址:端口号 #对topic进行消费 ./kafka-console-consumer.sh --bootstrap-server kafka的IP地址:端口号 --topic topic名称（索引名） --from-beginning --property print.key=true --max-messages 10 --from-beginning 代表从头消费 --property print.key=true 代表把主键消费出来 --max-messages 代表消费几条 #查看所有的消费者组 ./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --list #查看对应消费者组详细信息 ./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --group 组名称（索引名） --describe
二、es
1.1 基础命令
#查看es中存储的所有索引 curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v' #查看es中存储的指定索引（第一条搜索功能更强大一些） curl 'es账号:es密码@es的IP地址:端口号/_cat/indices/索引名（可匹配正则表达式）?pretty' curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v' | grep 索引名 #查看es指定索引中的指定键下的值（相当于mysql中的select后加where进行筛选） curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=搜索条件 ' #举例（其中ID是es索引中的主键之一，size意思是控制搜索出数据的大小，导出到一个文件中可以查看） curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=ID:12345678&size=100' > test.txt
三、实用小脚本
3.1 判断文件中是否有某个对应的值
- 前提条件：为了判断某个目录下，所有文件中，是否含有某个值（一般为看日志有没有报错、找数据库中对应的字段）
#!/bin/bash lu=/opt/test/ for i in `ls $lu` do zhi=`tail -20 $lu$i |grep "a"` #-z：值为空则条件为真；-n：值为空则判断为假 if [ -z "$zhi" ] then echo "$i 没有a这个值" else echo "$i 有有有有有" fi done
3.2 awk实用技巧
3.2.1 筛选最后一列
awk '{print $NF}' • 1
3.2.2 指定列求和（一般用于topic数据量求和）
awk -F':' '{sum += $3} END {print sum}'
四、临时小故障
4.1 内存有空闲、swap用完了
- 前提：某日进行公司任务、执行某个计算命令、因脚本线程数开多了，资源使用预估错误，导致内存使用完，开始使用swap分区
- 处理：先杀进程–>将内存中的保存到磁盘（防止数据丢失）–>清空缓存（buffers/cache）–>关闭&&启动swap分区–>清理完毕
#过滤并清除正在运行的进程 ps -ef |grep 运行的脚本名 |awk '{print $2}'|xargs kill -9 #将内存的缓存写入到磁盘 sync #清空缓存 echo 3 >/proc/sys/vm/drop_caches #清理buffers/cache echo 0 >/proc/sys/vm/drop_caches #恢复默认值（3是清除） #清理swap分区 swapon -s #查看swap是挂载在哪个目录的 swapoff 对应目录 && swapon 对应目录 & #清理需要一定时间,因此放在后台执行（注意自己有没有后台执行的任务） jobs 查看后台任务是否在运行 free -h 查看是否清除完毕 #对于使用swap分区这块，有个配置文件可以调整参数，数值越小，表示尽量不去使用swap分区 echo 10 > /proc/sys/vm/swappiness #临时生效 echo “vm.swappiness=10″ >> /etc/sysctl.conf sysctl -p #永久生效
4.2 清除kill -9无法杀死的僵尸进程
#先找到僵尸进程 ps -ef |grep fau* cat /proc/僵尸进程的进程号/status kill -9 父进程的进程号 #此时要注意非经常的进程号是多少，若为1则杀死进程后，系统就会重启
五、个人配置小优化
#为主机名设置颜色（.bashrc配置文件） PS1='\[\e[1;31m\][\[\e[1;35m\]\u:\W\[\e[1;31m\]]\[\e[1;36m\]$ \[\e[0m\]' #修改用户配置，方便平时使用（.bashrc配置文件） alias grep='grep --colo=auto' #auto代表只有在输出到终端才会变色，导入到文件不会变色 #为vim自动添加行号（.vimrc配置文件） set nonu
