要求10秒钟处理50W条数据,从一边的数据库中读取,然后读入到另一个数据库中。
硬件设施是,4核cpu,8个G内存。
看些什么资料比较好,新手,完全不知道该如何入手
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
不如按自己的思路先写一个试试需要多长时间:)######回复 @养~ : 那就把你程序贴出来吧######回复 @红薯 : 20秒是完全没优化过的结果,就从数据库中读取了一下,刚接触到这东西,不知如何入手######回复 @养~ : 20秒离10秒已经很近了,这个时候把你的20秒的程序思路说出来大家听听看有没有优化的地方,有源码就更好######试过了,50W条光读取就20秒了######外加用光纤互连。。。######哪怕你的程序50万数据处理的多么快,只要你的IO瓶颈存在(即读写50万条数据时间大于10秒),那任何处理都是白搭。######如果使用内存表存储数据,io问题应该好些吧###### 用开源ETL试一下, kettle, 他可以做并行、集群等, 也可以自己写! ###### 自己写个小程序试试,尽量减少数据库的访问,10s完成50W条读写。。。很锻炼人嘛 ######估计我们经理也是想锻炼我们一下。小菜鸟还得慢慢研究