通过rsync远程增量备份你的数据 (整理)

通过rsync远程增量备份你的数据                                                                                                                                                                                                                                                                                                                        备份是写代码的人必不可少的一项工作,传统的备份,一般就是copy所有数据到一个地方,然后贴上标签,表示是什么时候备份的,这种备份被称之为“整体备份”。

如果经常进行整体备份,对磁盘的空间占用需求就非常大,尤其当你备份大容量的数据的时候,有时候,比如一个星期,只对其中一小部分的内容进行了修改,不过还是 需要全部重新备份一次,非常显然,太浪费磁盘空间了;此时增量备份就派上用场了,增量备份,又叫做差异备份,意如其名,只备份修改过的部分。

好了,废话说完了,来看看怎么实际操作,我们用到的软件是大名鼎鼎的 rsync,非常多网站的映像就是用他来完成的。


====================
环境介绍:
====================

    备份服务器: 192.168.0.1
    需要备份的目录:/data 和 /home/work
    备份时验证用户名和密码: backup/secret

    备份客户机(备份数据存放地):192.168.0.11
   
    客户机和服务器均需安装 rsync 软件包


====================
服务器端设置:
====================

    创建 /etc/rsyncd.conf 主设置文件:

## file of /etc/rsyncd.conf

motd file=/var/rsync/welcome.msg

pid file = /var/rsync/rsyncd.pid

lock file = /var/rsync/rsync.lock

log file = /var/rsync/rsyncd.log



### 需要备份的模块

[data]

comment = our data for service

path = /data

use chroot = no

max connections = 4

read only = true

list = false

uid = nobody

gid = nogroup

secrets file = /etc/rsyncd.secrets

hosts allow = 192.168.0.11

hosts deny = 0.0.0.0/0

ignore errors = yes

transfer logging = yes

log format = "%a %f %l"

auth users = backup



### 需要备份的模块

[work]

comment = our work information

path = /home/work

use chroot = no

max connections = 4

read only = true

list = false

uid = nobody

gid = nogroup

secrets file = /etc/rsyncd.secrets

hosts allow = 192.168.0.11

hosts deny = 0.0.0.0/0

ignore errors = yes

transfer logging = yes

log format = "%a %f %l"

auth users = backup

上面定义了2个备份点,只允许 192.168.0.11 连接,需要验证的用户名为 backup

然后创建密码文件,每一行格式为: 用户名:密码,都是明文的
### file of /etc/rsyncd.secrets
backup:secret

创建日志或运行目录: mkdir /var/rsync

好了,服务器端的工作完成了,只需要运行 rsyn --daemon 启动 rsync 服务即可


====================
客户端的设置
====================
客户端就不用创建什么设置文件了,能直接运行命令来完成备份,不过为了方便操作,用脚本来完成似乎更最佳。

备份需求: 所有的数据统一放到一个根目录下,主备份用每个备份点名字命名,增量备份目录为 Increment,每个备份点的增量备份数据,全部放到这个目录下面,目录为当前日期,格式为 2007-08-11_11-22

文件目录树如下:
/backup/                备份根目录
   |------- work/       备份点1的主目录,这个目录里面的数据是备份完成后最新的
   |------- data/       备份点2的主目录,同上
   `------- Increment/  增量备份根目录
                |
                `----- work/  备份点1的差异/修改备份数据
                           |
                           |--- 2007-08-11_10-22  从最开始备份到08月11日10点22分,所修改的数据
                           `--- 2007-08-11_11-22  从10点22分到11点22分,所修改过的数据
         
准备工作:

创建备份根目录: mkdir /backup,其他的目录备份时会自动被创建
创建密码文件(这样能不用手动输入密码): echo "secret" > /backup/passwd

下面就是备份的脚本了

#****************************************************
#         Author: Muddyboot - toobyddum@gmail.com
#  Last modified: 2007-08-10 21:39
#       Filename: rsync.sh
#    Description: backup files via rsyn
#****************************************************

### 默认备份时没有所有输出
### 如果需要看到备份的周详信息或备份进度,加上 verb 和 progress
unset verb progress
for i in $*; do
    [ "$i" = "verb" ] && verb=v
    [ "$i" = "progress" ] && progress="--progress"
done

### 备份服务器地址
RSYNC_SERVER=192.168.1.26

### 备份时验证用户名
AUTH_USER=backup

### 备份根目录
BAKROOT=/backup
[ ! -e $BAKROOT ] && mkdir -p $BAKROOT

### 密码文件
PASSWD_FILE=$BAKROOT/passwd

### 检查密码文件的权限,因为是明文的,所以设为 0600 比较安全
PASSWD_PERM=`ls -l $PASSWD_FILE|awk ' {print $1}' `

if [ "$PASSWD_PERM" != "-rw-------" ]; then
    echo -e "\nWARNING: permission of passwd file changed to 0600 \n";
    chmod 0600 $PASSWD_FILE
fi

###  备份日志
LOGFILE=$BAKROOT/backup.log

### 备份时需要排除的文件
EXCLUDES=$BAKROOT/exclude_file


[ ! -e $EXCLUDES ] && touch $EXCLUDES

### 备份点
BACKUP_MODULES="data work"

### rsync 的参数
OPTIONS="--force --ignore-errors --delete --delete-excluded \
    --exclude-from=$EXCLUDES $progress \
    --password-file=$PASSWD_FILE --backup"

### 删除以前的临时日志文件
rm -f $BAKROOT/log.*

log_id=0
for bakdir in $BACKUP_MODULES; do
    log_id=`expr $log_id + 1`
    SUBOPTS="--backup-dir=$INC_DIR/$bakdir/$BAKTIME -az${verb}"
    rsync  $OPTIONS $SUBOPTS $AUTH_USER@$RSYNC_SERVER::$bakdir \
        $BAKROOT/$bakdir | tee $BAKROOT/log.$log_id
done

### 合并临时日志到备份日志中
cat $BAKROOT/log.* >> $LOGFILE
rm -f $BAKROOT/log.*

##### end of rsync.sh

OK,脚本完成了,chmod 755 rsync.sh

开始备份: ./rsync.sh verb progress 就能了,备份时,会自动从密码文件读取密码进行验证,备份的周详信息及进度会在当前终端输出,同时也记录到 backup.log 文件中。

两次备份后,如果数据在这段时间内有改动,会产生差异备份数据,用当前时间命名,便于以后查找

如果有些数据你不想备份,能加入到 exclude_file 文件中,每条记录占一行,支持通配符,比如
/tmp         ## 排除名为 tmp 的根目录   
.[a-z]*     ## 不备份以点开头的隐藏文件


====================
rsync 后记
====================

1. 备份时若需要考虑到传输数据的安全,能通过 rsync over ssh 来完成,加入一个 -e ssh 参数即可,适用于远程备份机密数据的场合;内网备份或对数据安全没有什么需求,就不必了,通过ssh后备份速度会有所减慢。

2. 备份参数中需要注意 --delete参数,意为:删除本地备份目录存在,不过远程备份服务器不存在的文件和目录,也就是说,如果备份点删除了某个文件,备份过后,备份目的地的该文件也将被删除。还好有增量备份的存在,这个文件会移到增量备份目录中,如果没有增量备份,那么这个文件就永久被删除了。

rsync error: error starting client-server protocol (code 5) at main.c(1504) [receiver=3.0.5]

是/etc/rsyncd.secrets文件权限问题,设为600就OK了

rsync中文手册之使用rsync实现网站镜像和备份linux

http://blog.mob100.cn/?p=741

利用Crontab为Linux定时备份Mysql数据库
http://blog.mob100.cn/?p=744

使用 rsync 同步
http://blog.mob100.cn/?p=738

rsync服务,镜像,rsync 同步
http://blog.mob100.cn/?p=735



rsync拷贝备份文件到远程机器
http://space.itpub.net/32939/viewspace-490946

rsync 服务器架设方法 v0.1b  (正在修订中)
http://www.linuxsir.org/main/?q=node/256

rsync 官网 http://rsync.samba.org/

上一篇: Ubuntu虚拟机更换host主机后开机无法加载网卡,提示:No such device   下一篇: ubuntu支持GBK编码

提交疑问

回顶部