大数据批量插入mysql

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 在后端处理批量插入数据时,使用状态表协调与前端交互。数据插入前,状态设为“处理中”。前端持续查询状态接口。后端通过循环将`EmpPerfCmpltValDO`列表分批(每批2000条)插入数据库,更新状态为“已完成”。前端接收到“已完成”状态,表明数据插入完成。以下是对应的MyBatis插入语句片段。

可以加个状态表,后端刚开始插入数据前先加到状态表(处理中),然后前端不断请求状态接口,后端插入完更改状态表,前端得到状态表为已完成
List> partitionList = Lists.partition(empPerfCmpltValDOTeamList, IndexConstants.BATCH_SIZE);
//IndexConstants.BATCH_SIZE=2000
for (List empPerfCmpltValDOS : partitionList) {
empPerfCmpltValMapper.insertList(empPerfCmpltValDOS);//insertList是自己写的insert values
}


insert into t_emp_perf_cmplt_val(year_months, assess_year, assess_pd_value, user_id, dept_id, index_code, index_value, index_valuestr, index_source, index_source_cn2, remark1, remark2, creator, create_time, updater, update_time)
values

(#{entity.yearMonths}, #{entity.assessYear}, #{entity.assessPdValue}, #{entity.userId}, #{entity.deptId}, #{entity.indexCode}, #{entity.indexValue}, #{entity.indexValuestr}, #{entity.indexSource}, #{entity.indexSourceCn2}, #{entity.remark1}, #{entity.remark2}, #{entity.creator}, #{entity.createTime}, #{entity.updater}, #{entity.updateTime})

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2天前
|
前端开发 关系型数据库 MySQL
大数据批量插入mysql
在后端处理批量插入数据时,使用状态表协调与前端交互。数据插入前,状态设为“处理中”。前端持续查询状态接口。后端通过循环将`EmpPerfCmpltValDO`列表分批(每批2000条)插入数据库,更新状态为“已完成”。前端接收到“已完成”状态,表明数据插入完成。以下是对应的MyBatis插入语句片段。
14 4
|
7天前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之如何查看数据离线同步每天从MySQL抽取的数据量
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7天前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之如何实现MySQL的实时增量同步
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
19天前
|
SQL 关系型数据库 MySQL
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
|
7天前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之mysql读取从mc里的每10分钟计算好的结果数据表,如何同步数据过去
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3天前
|
存储 关系型数据库 MySQL
|
3天前
|
存储 SQL 关系型数据库
|
4天前
|
存储 关系型数据库 MySQL
|
4天前
|
SQL 运维 关系型数据库
|
4天前
|
存储 关系型数据库 MySQL