SpringBoot 集成 Apache Camel FTP 实现文件同步

简介: SpringBoot 集成 Apache Camel FTP 实现文件同步

1. 依赖

<dependency>
    <groupId>org.apache.camel.springboot</groupId>
    <artifactId>camel-spring-boot-starter</artifactId>
    <version>3.4.2</version>
</dependency>
<dependency>
    <groupId>org.apache.camel</groupId>
    <artifactId>camel-ftp</artifactId>
    <version>3.4.2</version>
</dependency>
版本保持一致,可用最新版。

2. 配置文件

camel:
  springboot:
    main-run-controller: true
management:
  endpoint:
    camelroutes:
      enabled: true
      read-only: true
# delay=5s 间隔多少 ms 轮询一次
# readLock 读锁
# noop 如果 noop = true,Camel 也将设置 idempotent = true 以避免一遍又一遍地使用相同的文件
# recursive 是否遍历文件夹处理文件
ftp:
  server:
    info: ftp://ftpuser@172.16.113.128:21?password=123456&delay=5s&readLock=rename&ftpClient.controlEncoding=UTF-8&noop=true&recursive=true
  local:
    dir: file:D:/temp/ftp/

2.1 配置文档#

名称 说明 默认值
username 登录用户名
password 登录密码
binary 指定文件传输模式,BINARY 或 ASCII false(ASCII)
charset 指定文件读取的编码格式,写出时也可配置
disconnect 使用后是否立即断开连接 false
passiveMode 是否启用被动模式 false
separator 设置路径分隔符,可选:UNIX,Windows,Auto UNIX
delete 是否在文件处理完成后删除源文件 false
noop 如果 noop = true,Camel 也将设置 idempotent = true 以避免一遍又一遍地使用相同的文件 false
recursive 是否遍历文件夹处理文件 false
download 是否下载文件,如果将此选项设置为 false,则消息正文将为 null
filter 设置过滤器
idempotent 选择使用幂等消费者 EIP 模式让 Camel 跳过已处理的文件。如果 noop = true,则将启用幂等,以避免重复使用相同的文件。
delay 间隔多少 ms 轮询一次
reconnectDelay 延迟 n 毫秒,然后再执行重新连接尝试

3. 编写一个Component

继承RouteBuilder,实现configure方法。

设置数据源、目标,并且可以根据需要额外设置 过滤器Predicate和处理器Processor。

package com.example.goodsync.ftpdemo;
import org.apache.camel.LoggingLevel;
import org.apache.camel.builder.RouteBuilder;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
/**
 * @className: DownloadRouteDemo
 * @description: DownloadRouteDemo
 */
@Component
public class DownloadRouteDemo extends RouteBuilder {
    private static Logger logger = LoggerFactory.getLogger(DownloadRouteDemo.class);
    @Value("${ftp.server.info}")
    private String ftpServer;
    @Value("${ftp.local.dir}")
    private String downloadLocation;
    @Autowired
    LocationFileProcessor locationFileProcessor;
    @Autowired
    FtpDownloadFileFilter ftpDownloadFileFilter;
    @Override
    public void configure() throws Exception {
        from(ftpServer)    //数据源
                .filter(ftpDownloadFileFilter) //过滤器
                .to(downloadLocation) //目标
                .log(LoggingLevel.INFO, logger, "Downloaded file ${file:name} complete.")
                .process(locationFileProcessor); //处理器
    }
}

4. 过滤器设置

过滤器设置,只处理.txt或者.json文件。上述代码中 filter 必须再to 前面才能生效。

package com.example.goodsync.ftpdemo;
import org.apache.camel.Exchange;
import org.apache.camel.Predicate;
import org.apache.camel.component.file.GenericFileMessage;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;
import java.io.RandomAccessFile;
/**
 * @className: FtpDownloadFileFilter
 * @description: FtpDownloadFileFilter
 */
@Component
public class FtpDownloadFileFilter implements Predicate {
    private static Logger logger = LoggerFactory.getLogger( FtpDownloadFileFilter.class );
    @Override
    public boolean matches(Exchange exchange) {
        boolean bMatches = true;
        GenericFileMessage<RandomAccessFile> inFileMessage = (GenericFileMessage<RandomAccessFile>) exchange.getIn();
        String fileName = inFileMessage.getGenericFile().getFileName();
        bMatches = fileName.endsWith(".txt") || fileName.endsWith(".json");
        logger.info("fileName:"+fileName+"matches:"+bMatches);
        return bMatches;
    }
}

5. 处理器

代码如下:

package com.example.goodsync.ftpdemo;
import org.apache.camel.Exchange;
import org.apache.camel.Processor;
import org.apache.camel.component.file.GenericFileMessage;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import java.io.RandomAccessFile;
/**
 * @className: LocationFileProcessor
 * @description: LocationFileProcessor
 */
@Component
public class LocationFileProcessor implements Processor {
    private static Logger logger = LoggerFactory.getLogger( LocationFileProcessor.class );
    @Value("${ftp.local.dir}")
    private String fileDir;
    @Autowired
    OrderService orderService;
    @Override
    public void process(Exchange exchange) throws Exception {
        GenericFileMessage<RandomAccessFile> inFileMessage = (GenericFileMessage<RandomAccessFile>) exchange.getIn();
        //文件名
        String fileName = inFileMessage.getGenericFile().getFileName();
        //文件的绝对路径
        logger.info(fileDir + fileName);
        //解析入库等操作
        orderService.process(fileDir + fileName);
    }
}

6. 定义一个OrderService

package com.example.goodsync.ftpdemo;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Service;
/**
 * @className: OrderService
 * @description: OrderService
 */
@Service
public class OrderService {
    private static Logger logger = LoggerFactory.getLogger( OrderService.class );
    public void process(String path){
        logger.info("path:"+path);
    }
}

7. 问题

7.1 更多的文档信息移步官方文档#

https://camel.apache.org/components/3.14.x/ftp-component.html#_endpoint_query_option_transferLoggingVerbose

7.2 出现“550 create directory operation failed”错误#

原因是SELinux(Security-Enhanced Linux----是美国国家安全局对于强制访问控制的实现, 是Linux 上最杰出的新安全子系统.)安装机制搞的鬼.只要disable SELinux就可以了.

解决办法: 关闭SELinux

# vim /etc/selinux/config

将 SELINUX=XXX -->XXX 代表级别 改为 SELINUX=disabled

重启系统

7.3 文件名出现乱码#

地址后面拼接 ftpClient.controlEncoding:配置 ftpClient 编码格式。 比如ftpClient.controlEncoding=UTF-8

相关文章
|
4天前
|
消息中间件 Java Kafka
集成Kafka到Spring Boot项目中的步骤和配置
集成Kafka到Spring Boot项目中的步骤和配置
25 7
|
4天前
|
监控 NoSQL Java
在Spring Boot中集成Redisson实现延迟队列
在Spring Boot中集成Redisson实现延迟队列
28 6
|
4天前
|
druid Java 关系型数据库
在Spring Boot中集成Druid实现多数据源有两种常用的方式:使用Spring Boot的自动配置和手动配置。
在Spring Boot中集成Druid实现多数据源有两种常用的方式:使用Spring Boot的自动配置和手动配置。
30 5
|
4天前
|
Java 数据库连接 mybatis
在Spring Boot应用中集成MyBatis与MyBatis-Plus
在Spring Boot应用中集成MyBatis与MyBatis-Plus
29 5
|
4天前
|
前端开发 JavaScript 安全
集成WebSocket在Spring Boot中可以用于实现实时的双向通信
集成WebSocket在Spring Boot中可以用于实现实时的双向通信
18 4
|
4天前
|
安全 Java Maven
在 Spring Boot 中实现邮件发送功能可以通过集成 Spring Boot 提供的邮件发送支持来完成
在 Spring Boot 中实现邮件发送功能可以通过集成 Spring Boot 提供的邮件发送支持来完成
11 2
|
4天前
|
XML 搜索推荐 Java
Elasticsearch集成到Spring Boot项目
将Elasticsearch集成到Spring Boot项目中,可以方便地实现数据的搜索、分析等功能。
22 2
|
4天前
|
监控 前端开发 Java
五分钟后,你将学会在SpringBoot项目中如何集成CAT调用链
五分钟后,你将学会在SpringBoot项目中如何集成CAT调用链
9 1
|
4天前
|
Java API Spring
集成EasyPoi(一个基于POI的Excel导入导出工具)到Spring Boot项目中
集成EasyPoi(一个基于POI的Excel导入导出工具)到Spring Boot项目中
24 1
|
5天前
|
easyexcel Java API
SpringBoot集成EasyExcel 3.x:高效实现Excel数据的优雅导入与导出
SpringBoot集成EasyExcel 3.x:高效实现Excel数据的优雅导入与导出
17 1

推荐镜像

更多