深入了解数据导入的一些解决方案

简介: 项目中除了有数据导出之外,也存在批量数据导入的场景。比如通过Execl电子表格进行批量开卡,批量导入用户或者部门信息等。今天探讨一下常见的数据导入方案。

项目中除了有数据导出之外,也存在批量数据导入的场景。比如通过Execl电子表格进行批量开卡,批量导入用户或者部门信息等。今天探讨一下常见的数据导入方案。


0x01:同步导入


如果批量导入的数据就是几十条到一两百条的数据量的话;而且每条数据导入时,所做的业务不是特别耗时的话,可以采用同步导入方案。该方案只需一个接口,该接口的主要功能是上传Execl电子表格数据,然后解析Execl电子表格里的数据,进行业务操作,导入到数据库里即可。


微信图片_20220502094844.png


如果有需要的话,可以在解析Execl电子表格的数据时,把对数据的验证记录按照同一个批次保存到数据库,然后返回一个批次号 batchNo 给客户端,然后在写一个接口导出导入的数据的各记录的导入情况。


微信图片_20220502094848.png


0x02:异步导入


如果数据量比较大的话,同步导入显然不合适,可以采用异步导入数据的方案。主要设计两个接口。


第一个接口:该接口负责上传Execl电子表格;然后在Redis设置一个未完成的标识,同时开启一个线程执行解析Execl电子表格数据;最后执行业务操作把数据导入到数据,完成后把在Redis设置的标识标志成完成;


第二个接口:用做轮询,获取导入数据完成的情况


微信图片_20220502094852.png


同理,如果需要记录记录行的验证情况,可以把验证的记录行情况记录到数据库,然后再设计一个接口导出记录行的导入情况。


0x03:导入服务


前面两种方案,都没有把上传的Execl电子表格文件、导入时间、导入人的相关信息记录下来。如果出现一些意向不到的问题的话,非常不方便排查错误。所以有时需要设计一个库表,把这些信息记录下来,方便在出现问题时,进行排查。设计的记录表的字段可以大致如下:


id:主键id
file_path:上传的文件的路径
file_type:文件类型
module:  所属业务模块
opr_state:导入的总体状态,0成功,1失败
upload_time:上传时间
upload_user:上传人


这个方案再结合第一种或者第二种方案,就可以完成一个导入服务功能。


总体来说设计一个比较好的导入功能需要两张表和三个接口


  • 两张表:导入信息记录表、Execl记录行数据验证状态及该行导入情况表


  • 三个接口:上传Execl电子表格与异步数据导入功能接口、轮询是否导入成功状态接口、下载导入Execl记录行数据验证状态及该行导入情况接口
相关文章
|
9月前
|
API 开发工具 Python
阿里云PAI部署DeepSeek及调用
本文介绍如何在阿里云PAI EAS上部署DeepSeek模型,涵盖7B模型的部署、SDK和API调用。7B模型只需一张A10显卡,部署时间约10分钟。文章详细展示了模型信息查看、在线调试及通过OpenAI SDK和Python Requests进行调用的步骤,并附有测试结果和参考文档链接。
3527 11
阿里云PAI部署DeepSeek及调用
|
安全 Java 关系型数据库
《阿里巴巴Java开发手册(终极版)》电子版下载地址
《阿里巴巴Java开发手册》(终极版)从Java开发者的视角出发,内容涵盖编程规约、异常日志、单元测试、安全规约、工程结构、MySQL数据库六个维度。 本手册自发布以来,多次迭代,阅读量数以百万计,可称为Java开发者的必读手册。通过阅读本书,开发者同学可以系统地学习到如何在编程过程中高效协作、提升程序的交付质量、以及提升代码内容的创造性和优雅性。
1401 0
《阿里巴巴Java开发手册(终极版)》电子版下载地址
|
负载均衡 前端开发 Cloud Native
API 网关选型及包含 BFF 的架构设计
在更通用的场景下我们会使用 NGINX 这样的软件做前置,用来处理SLB负载均衡过来的流量,作用是反向代理、集群负载均衡、转发、日志收集等功能。
API 网关选型及包含 BFF 的架构设计
|
8月前
|
JSON API 开发者
1688 快递费用 API 接口的技术剖析与应用
1688快递费用API接口为企业和开发者提供自动化、高效化的快递费用查询服务,打破人工查询的繁琐局面。通过输入寄件与收件地址、商品重量、体积及选择快递公司等信息,接口精准计算费用并返回结果,支持中通、圆通等主流快递。输出内容包括快递费用、预估时效及附加费说明,助力电商精细化运营。Python示例代码展示了如何使用requests库发起POST请求并解析响应数据,实现费用查询自动化。
406 10
|
11月前
|
供应链 搜索推荐 API
1688榜单商品详细信息API接口的开发、应用与收益
1688作为全球知名的B2B电商平台,为企业提供丰富的商品信息和交易机会。为满足企业对数据的需求,1688开发了榜单商品详细信息API接口,帮助企业批量获取商品详情,应用于信息采集、校验、同步与数据分析等领域,提升运营效率、优化库存管理、精准推荐、制定市场策略、降低采购成本并提高客户满意度。该接口通过HTTP请求调用,支持多种应用场景,助力企业在电商领域实现可持续发展。
225 4
|
消息中间件 存储 安全
RabbitMQ原理
描述了RabbitMQ的原理和使用方法
246 0
|
弹性计算 固态存储 大数据
阿里云服务器多少钱一年?2024年8月最新价格表连夜整理(收藏级)
阿里云服务器价格优惠,2024年最新租用费用显示轻量应用服务器2核2G3M带宽年费82元,2核4G4M带宽年费298元。新老用户共享99元一年的2核2G3M带宽ECS服务器,2核4G5M带宽ECS优惠价199元一年。游戏服务器方面,4核16G10M带宽每月70元,8核32G10M带宽每月160元。GPU服务器如gn6v、gn6i等也有相应折扣。此外,提供了不同配置的ECS实例,包括经济型e实例、通用算力型u1实例等,并附有按小时计费的价格表。公网带宽按固定带宽或流量计费,系统盘提供高效云盘、SSD云盘和ESSD云盘选项。详情及最新优惠请参见阿里云官方页面。
2506 0
|
12月前
|
Web App开发 存储 JavaScript
揭秘!Vue3.5响应式重构如何让内存占用减少56%
【11月更文挑战第9天】本文揭秘了 Vue3.5 响应式系统的优化,通过精细化的依赖收集、优化数据劫持方式和自动的观察者清理,使得内存占用减少了 56%。文章详细介绍了响应式系统的工作原理和传统内存占用因素,并通过性能测试和实际案例展示了优化效果。
354 3
|
机器学习/深度学习 人工智能 自然语言处理
深度剖析深度神经网络(DNN):原理、实现与应用
本文详细介绍了深度神经网络(DNN)的基本原理、核心算法及其具体操作步骤。DNN作为一种重要的人工智能工具,通过多层次的特征学习和权重调节,实现了复杂任务的高效解决。文章通过理论讲解与代码演示相结合的方式,帮助读者理解DNN的工作机制及实际应用。
|
存储 Docker 容器
ARM架构鲲鹏主机BClinux离线安装docker步骤
下载并安装适用于ARM架构的Docker CE二进制文件,解压后移动至/usr/bin目录。创建docker组,配置systemd服务脚本(docker.service、docker.socket、containerd.service),重载systemd配置,启动并启用docker服务。编辑daemon.json配置存储驱动、镜像加速地址等,最后拉取所需镜像。
515 0