如何实现分布式部署？

下载


分布式部署目前只支持Linux，Windows暂不支持。
分布式版本下载地址 ossimport-2.2.3.tar.gz ，下载到本地后，使用命令 tar -zxvf ossimport-2.2.3.tar.gz -C $HOME/ossimport 解压，解压后的文件结构如下： ossimport
├── bin
│   ├── console.jar     # Console模块jar包
│   ├── master.jar      # Master模块jar包
│   ├── tracker.jar     # Tracker模块jar包
│   └── worker.jar      # Worker模块jar包
├── conf
│   ├── job.cfg         # Job配置文件模板
│   ├── sys.properties  # 系统运行参数配置文件
│   └── workers         # Worker列表
├── console.sh          # 命令行工具，目前支持只Linux
├── logs                # 日志目录
└── README.md           # 说明文档，使用前请仔细阅读

[backcolor=transparent]注意：

• OSS_IMPORT_HOME：OssImport的根目录，默认为解压命令中的目录 $HOME/ossimport ，也可以通过命令 export OSS_IMPORT_HOME=<dir> 或修改系统配置文件 $HOME/.bashrc 设置，推荐使用默认目录；
• OSS_IMPORT_WORK_DIR：OssImport的工作目录，通过 conf/sys.properties 的配置项 workingDir 指定，推荐为 $HOME/ossimport/workdir；
• OSS_IMPORT_HOME 或 OSS_IMPORT_WORK_DIR 请使用绝对路径配置，如 /home/<user>/ossimport 或 /home/<user>/ossimport/workdir。

• conf/job.cfg：分布式模式下任务的配置文件模板，数据迁移前请按照实际参数修改；
• conf/sys.properties：系统运行参数配置文件，如工作目录、Worker运行参数等请在该文件中配置；
• conf/workers：worker列表。

• 请在提交任务前确认 sys.properties 和 job.cfg 中的参数，任务提交后参数无法再修改；
• Worker 列表 workers 请启动服务前确定，启动后无法再增加或删除。

• 部署服务。执行Linux终端执行 bash console.sh deploy。[backcolor=transparent]部署前请保证配置文件 conf/job.cfg、conf/workers 已经修改完成。
• 清除同名任务。如果运行过同名任务，需要从新执行任务，请先清除同名任务。如果没有运行过，或需要重试失败任务，不需要执行清除命令。Linux终端中执行 bash console.sh clean job_name。
• 提交数据迁移任务。OssImport不能重复提交同名任务，如果有请请使用clean命令清除。提交任务需要指定任务的配置文件，任务的配置文件模板在 conf/job.cfg，建议在模板的基础上修改。Linux终端执行 bash console.sh submit [job_cfg_file]，提交配置文件为 job_cfg_file 的任务，job_cfg_file 为可选参数，不指定是默认为 $OSS_IMPORT_HOME/conf/job.cfg，$OSS_IMPORT_HOME 默认为 console.sh 所在的目录。
• 启动服务。Linux终端执行 bash console.sh start。
• 查看任务状态。Linux终端执行 bash console.sh stat。
• 失败Task重试。由于网络或其它原因，Task可能运行失败。失败重试只重试失败的Task，成功的Task不会重试。Linux下在终端执行 bash console.sh retry [job_name]， job_name 为可选参数，指定时重试任务job_name的失败子任务，不指定job_name时重试所有任务的失败子任务。
• 停止服务。Linux终端执行 bash console.sh stop。

• bash console.sh 在参数错误时，会自动提示命令格式；
• 配置文件和提交任务中的目录，推荐使用绝对目录；
• 任务的配置，即 job.cfg 中的配置项， [backcolor=transparent]提交后不能修改，请在提交前确定。

• 上传过程中源目录的文件发生了修改，log/audit.log里会提示SIZE_NOT_MATCH相关字样的错误，这种情况下老的文件已经上传成功，新的修改没有上传到OSS；
• 源文件在上传过程中被删除，导致下载的时候失败；
• 源文件名不符合OSS命名规范（不能以/开头，不能为空），导致上传到OSS失败；
• 下载数据源文件失败；
• 程序异常退出，任务状态为 Abort ，这种情况请联系我们。

• Job运行状态查看 logs/tracker.log ，Worker的运行日志查看 logs/worker.log，Master的运行日志查看 logs/master.log；
• Task的失败原因，可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log；
• Task的失败文件，可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list。