Linux Shell脚本之Atlassian confluence远程备份方法

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介:
原创作品,允许转载,转载时请务必以超链接形式标明文章  原始出处 、作者信息和本声明。否则将追究法律责任。 http://dgd2010.blog.51cto.com/1539422/1686013

注:Atlassian confluence是一个较专业的wiki程序,由java语言写成,其详细介绍可以Google it(一点美中不足,java占用内存还是比较大的)。

该脚本的设计思路是根据Atlassian confluence官方提供的文档说明写的,主要是备份一些配置文件,上传的一些附件之类的其他文件以及数据库,其数据库支持多种数据库,这次我采用的是PostgreSQL数据库,你可以使用自己熟悉的数据库,如MySQL。

问题释疑:

1.为什么不使用rsync而是使用scp作为远程文件传输方法?

虽然rsync的设计算法(具体算法可以参考陈皓的博文《rsync 的核心算法》)决定了它更适合作为备份过程中的文件传输,例如支持增量备份和压缩传输,但Atlassian confluence备份并不要求具有实时性,而且在脚本中也做了历史备份的处理(自动删除10天前的备份),脚本中使用的备份方式相当于全备,而是不是增量备份,其次备份多在夜间执行,并且多为内网传输,及时Atlassian confluence放在阿里云上,也是有内网IP地址的,因此不用过度担心流量问题。

2.为什么要在备份机上执行该脚本?

其实这个脚本在备机还是Atlassian confluence机器上运行都是可以的,但是为了减少ssh执行远程命令的次数,将其放在备份机器上执行比较好一些。

3.find后的TODO是为啥?

在实际测试过程中发现,即使find没有进行任何删除操作,也会返回0,即成功。因此后面的校验和提示信息并不能完整的体现find的执行结果。如果日后有了更好的方法,再添加进去。

备份脚本如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
#!/bin/bash
 
# touch confluence_backup.sh
# chmod +x confluence_backup.sh
# vim confluence_backup.sh
 
# crontabs -- configuration and scripts for running periodical jobs
# SHELL=/bin/bash
# PATH=/sbin:/bin:/usr/sbin:/usr/bin
# MAILTO=root
# HOME=/
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
# m h  dom mon dow   command
# execute on 11:59 per sunday
# 59 11 * * */0 $0 >/tmp/confluence_backup_$(date -d "yesterday" +"%Y%m%d%H%M%S").log
# or
# execute on 23:59 per day
# 59 23 * * * $0 >/tmp/confluence_backup_$(date -d "yesterday" +"%Y%m%d%H%M%S").log
 
#     xxx.xxx.xxx.xxx                xxx.xxx.xxx.xxx
#           |         ssh tunnel          |
#     xxx.xxx.xxx.xxx  <==========>  xxx.xxx.xxx.xxx
#           |                             |
# ----------+-----------------------------+-------
#           |                             |
#     +-----+-----+                +------+------+
#     |     A     |                |      B      |
#     +-----------+                +-------------+ 
#     gitlab server                backups clinet
#
# This shell script will execute on B Server
# A and B passed ssh Authentication
# A-->B: ssh lan_ip
# A-->B: ssh wan_ip
# B-->A: ssh lan_ip
# B-->A: ssh wan_ip
# A-->A: ssh lan_ip
# A-->A: ssh wan_ip
# B-->B: ssh lan_ip
# B-->B: ssh wan_ip
 
# run with root
# [ $(id -u) -eq 0 ] || exit 1
# Run as root, of course.
[ $UID - eq  0 ] || (  echo  "Must be root to run this script."  &&  exit  1 )
 
# save 10 days
save_days=10
 
# which directory to backup to
backup_path= /data/confluence_backup_directory
# make backups uniqure and backup per day
# backup_path_time_uniq=$(date -d "yesterday" +"%Y%m%d%H%M%S")
backup_path_time_uniq=$( date  -d  "yesterday"  + "%Y%m%d" )
confluence_home_directory= /data/var/atlassian/application-data/confluence
# if you have both wan ip and lan ip, you can fill it with all, if you have one ip, you can fill it just with lan ip
confluence_server_ipaddress_public=xxx.xxx.xxx.xxx
confluence_server_ipaddress_private=xxx.xxx.xxx.xxx
# select lan ip first for transmission speed
confluence_server_hostname=${confluence_server_ipaddress_private:-$confluence_server_ipaddress_public}
confluence_server_ssh_username=root
#confluence_server_ssh_port=$(awk '/Port/ {print $2}' /etc/ssh/sshd_config)
confluence_server_ssh_port=$( netstat  -anop |  awk  '/sshd/ && /LISTEN/ {print $4}'  awk  -F  ':'  '{print $2}' )
confluence_server_ssh_hostname=$confluence_server_hostname
 
# which files and directory backup
#backup_files=(confluence.cfg.xml attachments config index)
backup_files=(confluence.cfg.xml attachments index)
backup_files_num=${ #backup_files[@]}
[ -d $backup_path/$backup_path_time_uniq ] ||  mkdir  -p $backup_path/$backup_path_time_uniq
 
# do ssh copy
for  (( i = 0; i < $backup_files_num; i++ ));  do
     scp  -r -P$confluence_server_ssh_port $confluence_server_ssh_username@$confluence_server_ssh_hostname:$confluence_home_directory/${backup_files[i]} $backup_path/$backup_path_time_uniq > /dev/null  2>&1
     [ $? - ne  0 ] &&  echo  "$confluence_home_directory/${backup_files[i]} Backup failed! "  &&  exit  1; echo  "$confluence_home_directory/${backup_files[i]} Backup successfully! "
done
# excution postgresql dump
# PostgreSQL 9.3.9 Documentation::31.14. Environment Variables
# PGHOST=127.0.0.1
# PGHOSTADDR=127.0.0.1
# PGPORT=5432
# PGDATABASE=confluence
# PGUSER=confluence
# PGPASSWORD=yoursecret
# PostgreSQL 9.3.9 Documentation::31.15. The Password File
#cat > ~/.pgpass <<eof
#127.0.0.1:5432:confluence:confluence:yoursecret
#eof
# WARNING: password file "/root/.pgpass" has group or world access; permissions should be u=rw (0600) or less
#chmod 600 /root/.pgpass
#pg_dump -U confluence -d confluence -h 127.0.0.1 -o | head
# Important: If your database schema relies on OIDs (for instance, as foreign keys) you must instruct pg_dump to dump the OIDs as well. To do this, use the -o command-line option.
echo  "PostgreSQL is executing backup operation, please hold on! "
ssh  -P$confluence_server_ssh_port $confluence_server_ssh_username@$confluence_server_ssh_hostname  "pg_dump -U confluence -d confluence -h 127.0.0.1 -o >/tmp/tmp_confluence_postgresql.sql"
[ $? - ne  0 ] &&  echo  "PostgreSQL dump failed! "  &&  exit  1; echo  "PostgreSQL dump successfully! "
scp  -P$confluence_server_ssh_port $confluence_server_ssh_username@$confluence_server_ssh_hostname: /tmp/tmp_confluence_postgresql .sql $backup_path/$backup_path_time_uniq /confluence_postgresql_ $( date  -d  "yesterday"  + "%Y%m%d" ).sql > /dev/null  2>&1
[ $? - ne  0 ] &&  echo  "PostgreSQL file transmission failed! "  &&  exit  1; echo  "PostgreSQL file transmission successfully! "
# delete old backups
find  $backup_path -mtime +$save_days - exec  rm  -rf {} \;
# TODO
# returned code always is 0, from find or rm ???
# how to express real result?
[ $? - ne  0 ] &&  echo  "Local expired backups remove skipped! " ; echo  "Local expired backups remove successfully! "

参考:

Production Backup Strategy    https://confluence.atlassian.com/display/DOC/Production+Backup+Strategy   
Configuring Backups            https://confluence.atlassian.com/display/DOC/Configuring+Backups#ConfiguringBackups-EnablingBackupPathConfiguration    
Valid Backup File Date Patterns are based on the Java SimpleDateFormat class   http://docs.oracle.com/javase/7/docs/api/java/text/SimpleDateFormat.html

其他一些官方的建议和变量用词:

Perform_backups                     Enable   
BackupFilename(Sample)           backup-2015_08_17    
Backup File Prefix                     backup-    
Backup File Date Pattern           yyyy_MM_dd    
Backup Path                            /data/var/atlassian/application-data/confluence/backups    
Confluence Home directory        /data/var/atlassian/application-data/confluence/

tag:confluence备份脚本,confluence备份方法,如何备份confluence,远程备份confluence,远程备份脚本

--end--

本文出自 “通信,我的最爱” 博客,请务必保留此出处http://dgd2010.blog.51cto.com/1539422/1686013

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
2天前
|
Linux Python
在Linux下升级到Python3的两种方法
在Linux下升级到Python3的两种方法
16 0
|
3天前
|
Shell
shell脚本
shell脚本
10 2
|
4天前
|
Linux 编译器 C语言
编译Linux内核:基础、重要性和交叉编译方法
Linux内核作为操作系统的心脏,负责管理计算机的硬件资源,同时也是运行所有其他程序的基础。理解如何编译Linux内核对于系统管理员、开发者乃至高级用户来说都是一项极其宝贵的技能。本文将介绍编译Linux内核的基本知识、编译的重要性、具体步骤以及交叉编译的概念。
13 0
|
9天前
|
Linux Python
在 Linux 中查看目录文件数的方法
【6月更文挑战第7天】在 Linux 中查看目录文件数的方法包括:使用 `ls` 命令结合 `wc -l`,`find` 命令,`tree` 命令,以及编程方式(如 Python)。`ls` 和 `find` 命令通过管道传递给 `wc -l` 统计行数,而 `tree` 命令提供树状视图并显示文件数。编程方式则允许自定义实现,例如 Python 中的 `os.walk()`。注意权限、效率和场景适用性,选择合适的方法以提高 Linux 操作效率。
28 3
|
9天前
|
监控 Linux Perl
在 Linux 中显示文件指定行内容的方法和技巧
【6月更文挑战第7天】在 Linux 中查看文本文件指定行,可使用 head/tail 显示文件头/尾部行,sed 的行号指定功能或 awk 进行处理。在代码审查、日志分析和文本处理等场景下,这些命令能提升效率。注意文件编码、行号准确性,并组合使用命令以实现更多功能。通过练习,能更好地掌握这些工具。
34 0
|
10天前
|
Ubuntu Java Linux
Linux centos7 ubuntu 一键安装Java JDK 脚本 shell 脚本
Linux centos7 ubuntu 一键安装Java JDK 脚本 shell 脚本
|
11天前
|
存储 算法 Linux
【Linux】归档和备份
【Linux】归档和备份
11 1
|
11天前
|
Ubuntu Shell Linux
linux shell 后台执行脚本的方法 脚本后台运行 后台运行程
linux shell 后台执行脚本的方法 脚本后台运行 后台运行程
|
11天前
|
监控 Shell Linux
shell linux中用shell写一个占用CPU的脚本
shell linux中用shell写一个占用CPU的脚本
|
监控 Linux
linux服务器显卡监控脚本
linux服务器显卡监控脚本
109 0