OssImport系列之一——架构

相关文章：OssImport系列之二——单机部署
相关文章：OssImport系列之三——分布式部署

概述

OssImport工具可以将本地、其它云存储的数据迁移到OSS，它有以下特点：

• 支持的丰富的数据源，有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等，并可根据需要扩展；
• 支持断点续传；
• 支持流量控制；
• 支持迁移指定时间后的文件、特定前缀的文件；
• 支持并行数据下载、上传；
• 支持单机模式和分布式模式，单机模式部署简单使用方便，分布式模式适合大规模数据迁移。

架构

OssImport是基于 master-worker 的分布式架构，如下图：

Master --------- Job --------- Console
    |
    |
   TaskTracker
    |_____________________
    |Task     | Task      | Task
    |         |           |
Worker      Worker      Worker

其中：

• Job：用户通过提交的数据迁移任务，对用户来说一个任务对应一个配置文件job.cfg。
• Task：Job按照 数据大小 和 文件个数 可以分成多个 Task ，每个 Task 迁移部分文件。Job切分成Task的最小单位是文件，同一个文件不会切分到多个Task中。

OssImport各模块说明，如下表：

部署方式

OssImport有 单机模式 和 分布式模式 两种部署方式。对于小于 30TB 的小规模数据数据迁移，单机模式即可完成。对于大规模的数据迁移，请使用分布式模式。

单机

Master、Worker、Tracker、Console运行在一个机器上，系统中有且只有一个Worker。我们对单机模式的部署和执行进行了封装优化，单机部署和执行都很简单。点击模式下Master、Worker、TaskTracker、Console四个模块统一打包成ossimport2.jar。

单机模式下文件结构如下：

ossimport
├── bin
│   └── ossimport2.jar  # 包括Master、Worker、Tracker、Console四个模块的总jar
├── conf
│   ├── local_job.cfg   # 单机Job配置文件
│   └── sys.properties  # 系统运行参数配置文件
├── console.bat         # Windows命令行，可以分布执行调入任务
├── console.sh          # Linux命令行，可以分布执行调入任务
├── import.bat          # Windows一键导入，执行配置文件为conf/local_job.cfg配置的数据迁移任务，包括启动、迁移、校验、重试
├── import.sh           # Linux一键导入，执行配置文件为conf/local_job.cfg配置的数据迁移任务，包括启动、迁移、校验、重试
├── logs                # 日志目录
└── README.md           # 说明文档，强烈建议使用前仔细阅读

提示：

• import.bat/import.sh为一键导入脚本，修改完local_job.cfg后可以直接运行；
• console.bat/console.sh为命令行工具，可以用于分布执行命令；
• 脚本或命令时请在ossimport目录下执行，即 *.bat/*.sh 的同级目录。

分布式

分布式模式下可以启动多个Worker执行迁移数据，Task平均分配到Worker上执行，一个Worker执行多个Task。每一个机器上只能启动一个Worker。workers配置的第一个 Worker 上会同时启动 Master ， TaskTracker， Console 也要在该机器上运行。

分布式模式下文件结构如下：

ossimport
├── bin
│   ├── console.jar     # Console模块jar包
│   ├── master.jar      # Master模块jar包
│   ├── tracker.jar     # Tracker模块jar包
│   └── worker.jar      # Worker模块jar包
├── conf
│   ├── job.cfg         # Job配置文件模板
│   ├── sys.properties  # 系统运行参数配置文件
│   └── workers         # Worker列表
├── console.sh          # 命令行工具，目前支持只Linux
├── logs                # 日志目录
└── README.md           # 说明文档，强烈建议使用前仔细阅读

提示：

• 分布式命令行工具 console.sh 目前只支持Linux，Windowns暂不支持。

配置文件

单机模式下有两个配置文件sys.properties、local_job.cfg，分布式模式下有三个配置文件sys.properties、local_job.cfg、workers。其中local_job.cfg和job.cfg是完全一样的，只是名称不一样，workers是分布式环境先独有的。

sys.properties

系统运行参数。

job.cfg

数据迁移任务配置，local_job.cfg和job.cfg的配置项是完全一样的，只是名称不一样。

workers

workers是分布式模式先独有的，每个IP一行，如：

192.168.1.6
192.168.1.7
192.168.1.8

提示：

• 上述配置情况下，192.168.1.6上会启动 Master 、 Worker 、 TaskTracker ， Console 也需要在该机上执行。
• 多个 Worker 机器的用户名、登录方式、工作目录请确保相同。

运行环境

• Java 1.7及以上

相关文章：OssImport系列之二——单机部署
相关文章：OssImport系列之三——分布式部署