OssImport系列之二——单机部署

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 介绍了OssImport单机模式的部署、运行、常见问题排除等。

相关文章:OssImport系列之一——架构

下载

单机部署支持Linux、Windows。

单机版本下载地址 ossimport-2.2.1.zip ,下载到本地后,使用工具或命令unzip,解压后的文件结构如下:

ossimport
├── bin
│   └── ossimport2.jar  # 包括Master、Worker、TaskTracker、Console四个模块的总jar
├── conf
│   ├── local_job.cfg   # Job配置文件
│   └── sys.properties  # 系统运行参数配置文件
├── console.bat         # Windows命令行,可以分布执行调入任务
├── console.sh          # Linux命令行,可以分布执行调入任务
├── import.bat          # Windows一键导入,执行配置文件为conf/local_job.cfg配置的数据迁移任务,包括启动、迁移、校验、重试
├── import.sh           # Linux一键导入,执行配置文件为conf/local_job.cfg配置的数据迁移任务,包括启动、迁移、校验、重试
├── logs                # 日志目录
└── README.md           # 说明文档,强烈建议使用前仔细阅读

配置

单机版本有两个配置文件conf/sys.propertiesconf/local_job.cfg,配置项的含义请看 介绍 章节。
conf/sys.properties中的配置项 workingDirworkerUserNameworkerPasswordprivateKeyFile请不要修改。conf/local_job.cfg的名称和位置请不要修改,配置项 jobName请不要修改,其它配置项请按照实际需求配置。

注意

  • 请在提交任务前确认 sys.propertieslocal_job.cfg 中的参数,任务提交后参数无法再修改。

运行

单机模式下,数据迁移任务有两种执行方式 一键导入分步执行一键导入 ,是对所有步骤的封装,按照脚本提示执行即可完成数据迁移。 分步执行 ,执行启动服务、提交任务、重试失败子任务等步骤。 对于初级用户强烈建议使用一键导入

单机模式的配置文件是conf/local_job.cfg,数据迁移前请安装实际需求修改任务参数。默认任务名称为local_test,请不要修改。

一键导入

  • 执行一键导入,Window在 cmd.exe 中执行 import.bat,Linux终端中执行 bash import.sh
  • 如果之前执行过程序,会提示有是否从上次的断点处继续执行,或者重新执行同步任务。对新的数据迁移任务,或者修改了同步的源端/目的端,请选择重新执行;
  • Windows下任务开始后,会打开一个新的cmd窗口执行同步任务并显示日志,旧窗口会每隔10秒打一次任务状态,数据迁移期间不要关闭两个窗口;Linux下服务在后台执行;
  • Job 完成后,如果发现有任务失败了,会提示是否重试,输入 y 重试,输入 n 则跳过退出;
  • 上传失败的原因请打开文件master/jobs/local_test/failed_tasks/<tasktaskid>/audit.log,请查看,确定失败原因。

分步执行

  • 清除同名任务。如果以前运行过同名任务,需要从新执行任务,请先清除同名任务。如果没有运行过,或需要重试失败任务,不要执行清除命令。Window下在 cmd.exe 中执行 console.bat clean,Linux下在终端执行 bash console.sh clean
  • 提交数据迁移任务。OssImport不能提交同名任务,如果有请先清除。提交任务的配置文件为conf/local_job.cfg,默认任务名称为local_test。提交任务的命令,Window下在 cmd.exe 中执行 console.bat submit,Linux下在终端执行 bash console.sh submit
  • 启动服务。Windows下在 cmd.exe 中执行 console.bat start,Linux下在终端执行 bash console.sh start
  • 查看任务状态。Windows下在 cmd.exe 中执行 console.bat stat,Linux下在终端执行 bash console.sh stat
  • 失败Task重试。由于网络或其它原因,子任务可能失败。失败重试只重试失败的Task,不会重试成功的Task。Windows下在 cmd.exe 中执行 console.bat retry,Linux下在终端执行 bash console.sh retry
  • 停止服务。Windows下在关闭窗口 %JAVA_HOME%/bin/java.exe 即可,Linux下在终端执行 bash console.sh stop

注意

  • 没有特殊需要,请使用 一键导入 方式迁移数据。

常见失败原因

  • 上传过程中源目录的文件发生了修改,log/audit.log里会提示SIZE_NOT_MATCH相关字样的错误,这种情况下老的文件已经上传成功,新的修改没有上传到OSS;
  • 源文件在上传过程中被删除,导致下载的时候失败;
  • 源文件名不符合OSS命名规范(不能以/开头,不能为空),导致上传到OSS失败;
  • 下载数据源文件失败;
  • 程序异常退出,任务状态为 Abort ,这种情况请联系我们。

任务状态及日志

任务提交后,Master分解成Task,有Worker执行Task,Tracker收集Task状态。任务运行完成后ossimport目录内容如下:

ossimport
├── bin
│   └── ossimport2.jar    # 单机版jar
├── conf
│   ├── local_job.cfg     # Job配置文件
│   └── sys.properties    # 系统运行参数配置文件
├── console.sh            # 命令行工具
├── import.sh             # 一键导入脚本
├── logs
│   ├── import.log        # 归档日志
│   ├── job_stat.log      # 任务状态记录
│   ├── ossimport2.log    # 单机版运行日志
│   └── submit.log        # 任务提交记录
├── master
│   ├── jobqueue                # 存放尚未分解完成的任务
│   └── jobs                    # 存放任务运行状态
│       └── local_test          # 任务名称
│           ├── checkpoints     # Master分解Job到Task的checkpoint点记录
│           │   └── 0
│           │       └── 034DC9DD2860B0CFE884242BC6FF92E7.cpt
│           ├── dispatched      # 已经分配给Worker尚未运行完成的Task
│           │   └── localhost
│           ├── failed_tasks    # 运行失败的Task
│           ├── pending_tasks   # 尚未分配的Task
│           └── succeed_tasks   # 成功运行的Task
│               └── A41506C07BF1DF2A3EDB4CE31756B93F_1499744514501@localhost
│                   ├── audit.log   # Task运行日志,通过该日志可以查看错误原因
│                   ├── DONE        # Task运行成功标志
│                   ├── error.list  # Task错误列表,可以查看错误文件列表
│                   ├── STATUS      # 任务状态标志文件,内容为Failed或Completed,表示子任务失败或成功
│                   └── TASK        # Task描述信息
└── worker      # Worker正在运行的Task状态,运行完成后有Master管理
    └── jobs
        └── local_test
            └── tasks

提示

  • Job运行信息,可以查看log/ossimport2.log
  • Task的失败原因,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log
  • Task的失败文件,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list

常见错误及排除

请参看 常见错误及排除

相关文章:OssImport系列之一——架构
参数

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
人工智能 并行计算 openCL
魔搭+Xinference 平台:CPU,GPU,Mac-M1多端大模型部署
随着 Llama2 的开源,以及通义千问、百川、智谱等国内大模型的问世,很多用户有了本地部署去尝试大模型的需求,然而硬件的需求阻碍了很多人的尝试,并不是所有人都拥有一块英伟达显卡的,所以 Llama2 问世不久,大神 Andrej Karpathy 的一个 weekend project 爆火——llama2.c。
魔搭+Xinference 平台:CPU,GPU,Mac-M1多端大模型部署
|
存储 JavaScript Linux
OSS传输工具OSSutil使用介绍
本篇文章我们重点讲述一下传输工具Ossutil的使用: 若文件总量小于30T则建议使用ossutil,若大于30T建议使用
31276 1
|
4月前
|
存储 SQL 大数据
分布式存储三国杀:对象存储 vs HDFS vs 列式存储,到底该怎么选?
分布式存储三国杀:对象存储 vs HDFS vs 列式存储,到底该怎么选?
255 3
|
8月前
|
存储 监控 调度
如何在阿里云OSS之间进行数据迁移呢?
讲解如何在阿里云对象存储OSS之间进行跨账号、跨地域、以及同地域内的数据迁移,包括数据迁移之前的准备工作和实施数据迁移以及一些后续操作,使用在线迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储OSS,也可以在对象存储OSS之间进行灵活的数据迁移。
|
数据可视化 开发者
智能体工作流使用最佳实践
工作流(Workflow)通过可视化方式组合大语言模型、条件判断及插件等功能,实现复杂的业务流程编排,适用于多步骤且需高精度输出的场景,如新闻搜索、报告分析等。本文以构建搜索新闻的工作流为例,详细介绍从创建到发布的全流程,并演示如何在Bot中应用及测试该工作流。
992 4
|
JSON 前端开发 JavaScript
Java属性为什么不能是is开头的boolean
在Java实体类中,阿里规约要求boolean属性不应以is开头。文章通过实际案例分析了isUpdate字段在JSON序列化过程中变为update的问题,并提供了自定义get方法或使用@JSONField注解两种解决方案,建议遵循规约避免此类问题。
573 0
Java属性为什么不能是is开头的boolean
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
5174 7
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
监控 前端开发 Java
Agent 的使用-Spring Boot | 学习笔记
快速学习 Agent 的使用-Spring Boot
Agent 的使用-Spring Boot | 学习笔记
|
Java 网络安全 数据安全/隐私保护
【Java异常】Unrecognized SSL message, plaintext connection?https请求遇到异常分析
【Java异常】Unrecognized SSL message, plaintext connection?https请求遇到异常分析
3203 0
|
算法 Java 测试技术
java 访问ingress https报错javax.net.ssl.SSLHandshakeException: Received fatal alert: protocol_version
java 访问ingress https报错javax.net.ssl.SSLHandshakeException: Received fatal alert: protocol_version
2375 1