如果jdbc批处理出现问题数据,可以产生问题数据的错误行及错误原因吗??报错-问答-阿里云开发者社区-阿里云

开发者社区> 爱吃鱼的程序员> 正文

如果jdbc批处理出现问题数据,可以产生问题数据的错误行及错误原因吗??报错

2020-06-12 14:14:57 166 1

这段时间一直在做批量数据更新插入的工作,一开始我理所当然地使用批处理的方式处理数据。

但后来发现,批处理速度虽然相对快不少,但一旦数据中出现问题数据,我完全不知道怎么调,console只会提示批处理出错,但到底哪儿错了却一声不吭,很是可恶。

最后我的做法是先进行批处理,如果有问题数据导致批处理报错,就回滚,然后进行单记录单事务提交。好处是可以记录所有错误数据的错误信息,坏处当然就是效率太…………

我希望可以从批处理阶段,jdbc就能告诉我哪些个数据有问题,并且各自的问题是什么。

所以,想问下大家,还有更好的处理办法兼顾效率和错误提示吗?或者请分享一下,大家平时是怎么处理这样的问题的?

ps: 

1. 数据本身我不可控制,难以从源头上消灭问题数据。

取消 提交回答
全部回答(1)
  • 爱吃鱼的程序员
    2020-06-12 14:15:16

    可以使用基于事务的批量insert,效率也会很好。我说的批量不是addBatch这些,而是先开启一个事务,然后一次insert只去插入一条,而插入很多条后去commit这个事务。为什么:默认情况下,一个insert是一个事务,每个事务都会写日志。通过减少写日志的次数,速度可以提升很多。

    伪代码:
    <preclass="brush:java;toolbar:true;auto-links:false;">starttransaction;foreachdata{try:insert(data)catch:printdata+"插入失败"}commit;





    请问问题数据是怎样导致问题的?使用的insertsql长什么样子?数据、以及问题数据长什么样子?问题数据是不是可以不要?可能我表达不够清晰,这里想向大家学习的是如何在兼顾效率的情况下获得详细的错误信息,而非如何解决问题数据。请问问题数据是怎样导致问题的?值长度过界(然后我会扩充长度)使用的insertsql长什么样子?insertintotb_name(...)values(...)数据、以及问题数据长什么样子?问题数据是不是可以不要?这两个问题没有关系,我想要的是错误提示而非如何解决数据问题。

    0 0
相关问答

40

回答

[@徐雷frank][¥20]什么是JAVA的平台无关性

大河人家 2018-10-29 23:55:20 144240浏览量 回答数 40

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 222929浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333776浏览量 回答数 8

13

回答

[@饭娱咖啡][¥20]我想知道 Java 关于引用那一块的知识

心意乱 2018-10-31 18:44:12 142117浏览量 回答数 13

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292216浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146738浏览量 回答数 22

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 643003浏览量 回答数 18

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 145578浏览量 回答数 31

41

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 135448浏览量 回答数 41

10

回答

[@墨玖tao][¥20]为什么流式处理框架都是 java 写成的,JVM 是不是在流和批存在着特殊优势。还有分布式资源调度,感觉Mesos 的成长速度跟不上 Yarn。这是为什么?

管理贝贝 2018-10-23 13:18:03 136110浏览量 回答数 10
+关注
爱吃鱼的程序员
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB
2
文章
21569
问答
问答排行榜
最热
最新
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载