OSSync:linux服务器增量备份工具-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

OSSync:linux服务器增量备份工具

lanbaba 2012-10-26 17:37:34 27337
OSSync是一款专为阿里云OSS开发的基于inotify机制的linux服务器增量备份工具,采用Python开发。

主要特色
  • 基于inotify机制 - Inotify 是一个 Linux 内核特性,它实时监控文件系统的变化,比如删除、读、写,移动等操作。利用这个机制可以实现文件及时、高效同步到阿里云,避免频繁轮询等低效操作文件方式,减轻系统负载。
  • 可以一次同步多个本地文件夹和多个bucket - 只要定义好本地文件夹和bucket的映射关系,可以同时将多个本地文件夹同步到多个bucket.
  • 基于消息队列的多线程快速同步 - 采用消息队列和多线程机制,实现快速同步。
  • 安全准确同步 - 文件上传校验和失败重传确保文件完整同步。

开发这个工具的想法是受到一个真实的需求启发,那时我们的服务器图片文件已经几百G了,每天通过rsync进行同步备份,每次备份至少要半个小时,因为rsync每次都需要检查源文件和备份文件是否一致,并且不能做到及时同步。我们开始寻找能及时备份的工具,后来找到一款金山公司牛人开发的sersync,这款工具能及时检测文件变化并立即同步到备份服务器。比rsync更高效。受到这款工具的启发我开发了OSSync。
主要功能如图:



但是,OSSync不仅仅作为备份工具,请看:



DISCUZ默认将图片保存在本地服务器,默认为./data/attachement。如果将这个目录用OSSync同步到阿里云的bucket,那么这个文件夹中的子文件夹和目录的任何变化都会及时反应到阿里云的bucket。只需要按下面图片所示修改附件url地址,即可以作为discuz的上传插件使用。图片还是先保留到本地硬盘,但很快就会默默同步到阿里云oss,本地硬盘相当于高速缓存。图片的访问可以通过阿里云oss。基于inotify机制,这个过程是很快的。
除了discuz,其他像phpwind,wordpress基本上都类似可以使用这种方式。



该软件已有幸入选阿里云开发大赛入围作品,欢迎大家下载测试,批评和指正。如果觉得有用,请投我一票
,作品是第153号名叫Ossync,不胜感谢。



消息中间件 监控 安全 Linux 对象存储 Python
分享到
取消 提交回答
全部回答(16)
  • 洋芋疙瘩
    2014-11-25 12:43:36
    ReOSSync:linux服务器增量备份工具
    日志文件报错了:bucket没有问题哇,安装和配置没有别的报错哇
    CRITICAL   2014-11-03 11:53:40,664 Bucket: xxx is not existed or create bucket failure, lease rename your bucket.
    0 0
  • licychen
    2014-02-22 15:13:43
    ReOSSync:linux服务器增量备份工具
    如何安装啊?
    0 0
  • 守侯
    2014-01-08 15:39:01
    ReOSSync:linux服务器增量备份工具
    不能同步呢。。
    0 0
  • asky8
    2013-08-02 02:37:15
    感觉功能很多变啊 。。。。楼主 插件在那?
    0 0
  • plbeast
    2013-07-25 08:29:27
    回14楼黑蜘蛛侠的帖子
    oss-internal.aliyuncs.com是用于阿里云云主机与阿里oss之间的同步。因为是内网这让速度更快,可以达到15MB/s,外网可以使用oss.aliyuncs.com.

    回答完毕。
    0 0
滑动查看更多
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题