我去,Excel文件导入失败都搞不定么----记一次Excel文件导入失败--is not valid

简介: 昨晚8点左右,正准备下班走人,突然,产品小姐姐的在QQ上猛地抖动了我一下。产品小姐姐果然是无事不登三宝殿。线上出了问题!!!!!!!好几个版本没有变动过的文件导入怎么突然不行了。客户催运营,运营催产品,产品催我这个小开发。哎,苦逼的程序员。

前言

昨晚8点左右,正准备下班走人,突然,产品小姐姐的在QQ上猛地抖动了我一下。产品小姐姐果然是无事不登三宝殿。线上出了问题!!!!!!!好几个版本没有变动过的文件导入怎么突然不行了。客户催运营,运营催产品,产品催我这个小开发。哎,苦逼的程序员。

说明

本项目用的是 SpringBoot 2.x

问题重现

org.springframework.web.multipart.MultipartException: Failed to parse multipart servlet

我的脑门多了许多黑人问号??/tmp/tomcat.46678487236333023.8030/work/Tomcat/localhost/extend这是个啥文件夹?上传文件为啥会操作这个文件夹?这个文件夹是啥时候创建的呢?

带着这一连串的问题,我开始了面向google的开发。 根据The temporary upload location is not valid关键字,搜索到如下结果:

说的是,这个文件夹没有,需要手动在tmp下创建该文件夹。然后,我就在线上用我的common用户,创建了这个文件夹,文件夹创建好之后,我接着尝试去上传Excel。紧接着又报了一个:

Failed to parse multipart servlet request; nested exception is java.io.IOException: org.apache.tomcat.util.http.fileupload.FileUploadBase$IOFileUploadException: Processing of multipart/form-data request failed. /tmp/tomcat.46678487236333023.8030/work/Tomcat/localhost/extend/upload_2062a9c2_2ecf_4176_9622_6ae54d0fe80b_00000003.tmp (权限不够)

权限不够,然后一看我这个文件夹的默认权限drwxrwxr-x,而我们项目部署的时候用的是Tomcat用户,这个用户是没有权限在我新创建的文件夹下写临时文件。

而我小小的common用户又没有权限进行chmod。无奈只能请求我们的运维帮忙,用Tomcat用户在tmp下创建这个文件夹。创建好之后,我再一试就可以。看似这个问题已经完美的解决了。但是,我的疑问还是没有被解答。

解决疑问

1.上传文件为啥会操作这个文件呢?

2./tmp/tomcat.46678487236333023.8030/work/Tomcat/localhost/extend 是啥时候创建的呢?
带着这几个疑问,我继续google。

第一个问题 上传文件为啥会操作这个文件呢?

SpringBoot的文件上传处理是基于Servlet实现的,Content-type是multipart/form-data, boundary=“boundaryStr”,在Servlet2.5及早期版本之前,文件上传需要借助commons-fileupload组件来实现。从Servlet 3.0规范之后,提供了对文件上传的原生支持,进一步简化了应用程序的实现。

以Tomcat为例,在文件上传之后会通过将数据写入临时文件,最终将文件实体传参到应用层,如下:

Tomcat实现了Servlet3.0规范,通过ApplicationPart对文件上传流实现封装,其中,DiskFileItem描述了上传文件实体,在请求解析时生成该对象,需要关注的是,DiskFileItem声明了一个临时文件,用于临时存储上传文件的内容,SpringMVC对上层的请求实体再次封装,最终构造为MultipartFile传递给应用程序。

应用程序。

临时文件;

临时文件的路径定义:

{temp_dir}/upload_xx_xxx.tmp

temp_dir是临时目录,通过系统属性java.io.tmpdir指定,默认值为;

操作系统 路径
windows C:\Users{username}\AppData\Local\Temp\
Linux /tmp

第一个问题解决了,接着就是第二个问题,既然,上传需要用到这个文件夹,那么这个文件夹是啥时候生成的呢?

第二个问题 {temp_dir}/upload_xx_xxx.tmp 是啥时候创建的呢?

很显然,上传的时候没有生成文件夹,不然不会报is not valid那就只有可能是项目启动的时候生成的

为了验证我的想法:我在开发服务器进行了下模拟,首先,把tmp下所有tomcat为前缀的文件夹都删除了。然后重启应用。重启后查看。

重启之后我发现/tmp下新生成了tomcat.5195341930943680007.8030这个文件夹。跟原来的tomcat.46678487236333023.8030不一致。这么说每次项目启动之后就会生成一个新的tomcat.xxxx地址。为了验证我的猜想,我又把项目重启了一遍。再观察,果然如下,结果如下图所示:

解决问题

最终解决这个问题呢?一个保险的方法就是指定上传文件的临时文件夹。在SpringBoot下只需要如下配置:

spring:
   servlet:
  multipart:
    #开启swagger
    enabled: true
    #最大上传文件大小
    max-file-size: 5MB
    #临时文件夹
    location: /srv/www/extend

或者使用配置类,如下:

@Configuration
    public static class FileConfig {
        @Bean
    public MultipartConfigElement multipartConfigElement() {
        MultipartConfigFactory factory = new MultipartConfigFactory();
        factory.setMaxFileSize(DataSize.parse("5MB"));
        factory.setMaxRequestSize(DataSize.parse("5MB"));
        factory.setLocation("/srv/www/extend");
        return factory.createMultipartConfig();
    }
    }

linux 命令查缺补漏

命令 作用 举例
rm -rf 默默的删除文件,慎用 rm -rf tomcat.* 删除所有前缀为tomcat. 的文件夹
chmod 给文件赋予权限
ll 查看该目录下所有文件夹以及文件的属性
rz -be 用于上传大文件
sz 用于下载文件 sz log.text 下载log.text文件
adduser 用于创建新用户 adduser test
su 切换用户 su root 切换到root用户

chmod

我们先用 ll 查看文件,结果如下:

总用量 4
drwxr-xr-x 3 test test 4096 6月  11 15:06 work

PS: 用 ls -ld 文件夹名 例如:ls -ld work/ 可以指定查看work文件夹的属性。结果跟用ll一样的。

drwxr-xr-x 3 test test 4096 6月 11 15:06 work

用户权限

连接数

所有者 用户组 文件大小 修改日期 文件夹名

文件类型与权限

r:表示用户可以查看该目录下的内容,即可以使用"ls"命令

w:表示用户可以修改该目录下的内容,包括增加、删除、重命名等

x: 表示用户可以进入该目录,既可以使用"cd"命令

我们不仅可以用rwx表示文件的权限,还可以同数字表示,具体如下:

r:4

w:2

x:1

每种身份各自的三个权限(r、w、x)分数是需要累加的,例如当权限为[-rwxrwxr-x]分数则是:

owner=rwx=4+2+1=7

group=rwx=4+2+1=7

others=r-x=4+1=5

所以,该文件的权限数字就是 775。

总结

本文由一个线上问题,将自己的种种不足都暴露出来了。挺好的。

参考

补习系列(11)-springboot 文件上传原理


相关文章
|
11天前
|
存储 Java API
Java实现导出多个excel表打包到zip文件中,供客户端另存为窗口下载
Java实现导出多个excel表打包到zip文件中,供客户端另存为窗口下载
23 4
|
15天前
|
JavaScript 前端开发 数据处理
Vue导出el-table表格为Excel文件的两种方式
Vue导出el-table表格为Excel文件的两种方式
|
2月前
|
SQL C# 数据库
EPPlus库的安装和使用 C# 中 Excel的导入和导出
本文介绍了如何使用EPPlus库在C#中实现Excel的导入和导出功能。首先,通过NuGet包管理器安装EPPlus库,然后提供了将DataGridView数据导出到Excel的步骤和代码示例,包括将DataGridView转换为DataTable和使用EPPlus将DataTable导出为Excel文件。接着,介绍了如何将Excel数据导入到数据库中,包括读取Excel文件、解析数据、执行SQL插入操作。
EPPlus库的安装和使用 C# 中 Excel的导入和导出
|
1月前
|
easyexcel Java UED
SpringBoot中大量数据导出方案:使用EasyExcel并行导出多个excel文件并压缩zip后下载
在SpringBoot环境中,为了优化大量数据的Excel导出体验,可采用异步方式处理。具体做法是将数据拆分后利用`CompletableFuture`与`ThreadPoolTaskExecutor`并行导出,并使用EasyExcel生成多个Excel文件,最终将其压缩成ZIP文件供下载。此方案提升了导出效率,改善了用户体验。代码示例展示了如何实现这一过程,包括多线程处理、模板导出及资源清理等关键步骤。
|
1月前
|
数据处理 Python
Python 高级技巧:深入解析读取 Excel 文件的多种方法
在数据分析中,从 Excel 文件读取数据是常见需求。本文介绍了使用 Python 的三个库:`pandas`、`openpyxl` 和 `xlrd` 来高效处理 Excel 文件的方法。`pandas` 提供了简洁的接口,而 `openpyxl` 和 `xlrd` 则针对不同版本的 Excel 文件格式提供了详细的数据读取和处理功能。此外,还介绍了如何处理复杂格式(如合并单元格)和进行性能优化(如分块读取)。通过这些技巧,可以轻松应对各种 Excel 数据处理任务。
157 16
|
1月前
|
JSON 数据格式
LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式 后续可通过FAISS向量化 增强检索
LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式 后续可通过FAISS向量化 增强检索
63 2
|
1月前
|
IDE 开发工具 数据安全/隐私保护
Python编程--实现用户注册信息写入excel文件
Python编程--实现用户注册信息写入excel文件
|
2月前
R Excel 文件
Excel 格式的文件主要是 xls 或 xlsx,这两种文件可以在 R 语言中导入 xlsx 库来实现直接的读取。
59 23
|
24天前
|
前端开发 JavaScript API
前端基于XLSX实现数据导出到Excel表格,以及提示“文件已经被损坏,无法打开”的解决方法
前端基于XLSX实现数据导出到Excel表格,以及提示“文件已经被损坏,无法打开”的解决方法
110 0
|
1月前
|
iOS开发 MacOS Python
Python编程-macOS系统数学符号快捷键录入并生成csv文件转换为excel文件
Python编程-macOS系统数学符号快捷键录入并生成csv文件转换为excel文件