开发者社区 问答 正文

关于java数据同步:报错

要求10秒钟处理50W条数据,从一边的数据库中读取,然后读入到另一个数据库中。
硬件设施是,4核cpu,8个G内存。

看些什么资料比较好,新手,完全不知道该如何入手

展开
收起
kun坤 2020-06-08 18:53:08 415 分享 版权
1 条回答
写回答
取消 提交回答
  • 不如按自己的思路先写一个试试需要多长时间:)######回复 @养~ : 那就把你程序贴出来吧######回复 @红薯 : 20秒是完全没优化过的结果,就从数据库中读取了一下,刚接触到这东西,不知如何入手######回复 @养~ : 20秒离10秒已经很近了,这个时候把你的20秒的程序思路说出来大家听听看有没有优化的地方,有源码就更好######试过了,50W条光读取就20秒了######外加用光纤互连。。。######哪怕你的程序50万数据处理的多么快,只要你的IO瓶颈存在(即读写50万条数据时间大于10秒),那任何处理都是白搭。######如果使用内存表存储数据,io问题应该好些吧###### 用开源ETL试一下, kettle, 他可以做并行、集群等, 也可以自己写! ###### 自己写个小程序试试,尽量减少数据库的访问,10s完成50W条读写。。。很锻炼人嘛 ######估计我们经理也是想锻炼我们一下。小菜鸟还得慢慢研究

    2020-06-08 18:53:13
    赞同 展开评论