开发者社区> 问答> 正文

java 多线程访问mongodb速度和单线程差不多

我现在基于probalistic latent semantic indexing(plsa)做图像检索,我的方法和这篇论文很像,需要计算一个条件概率p(z|w,v,d),我直接定义成了“double pzdwtwv[][][][];”简单地说,z是主题,w是英文单词,v是视觉单词,d是文档,大小分别为12100500*7000,就是12个主题,100个英文单词,500个视觉单词,7000个文档,double型的话算下来大概32G,其中z和d的数目是确定的,每个d的w和v的数目是不确定的。

因为数组不能全部放进内存,所以把它放进数据库中,我的数据库是这样设计的,把四维数组拆成二维数组,每次读或写一个二维数组。

我使用了40个线程跑算法,数据库中在collection中每个键对应的值是一个二维数组,每次计算完这个二维数组后就写入数据库,我的方法是这样的:

public synchronized void update(int d, int t, double[][][] topic_pro )
    {
        if(ifTrainset)
            mongo.update(true, (d+1)*100 + t, topic_pro[t]);
        else
            mongo.update(false, (d+1)*100 + t, topic_pro[t]);
    }
pzdwtwv和pzdwtwv_test是不同的collection。

mongo.update方法是这样的:

public void update(boolean ifTrainset, int key, double[][] new_value)
    {
        BasicDBObject query = new BasicDBObject().append("key", key);

        BasicDBObject updated_element = new BasicDBObject();
        updated_element.append("$set", new BasicDBObject().append("value", new_value));

        if (ifTrainset)
        {
            p_z_d_wt_wv.update(query, updated_element, true, false);
        }else{
            p_z_d_wt_wv_test.update(query, updated_element, true, false);
        }
    }

另外,运行程序的时候,cpu利用率很低,大概7%~8%左右,但是内存几乎达到100%。 请问这个怎么解决

展开
收起
a123456678 2016-06-29 10:22:15 4237 0
1 条回答
写回答
取消 提交回答
  • 对于题主的问题,简单分析一下:

    synchronized是不必要的,mongodb本身是线程安全的,而你的update方法只是一个简单的切换;
    从你的问题描述上看,应该是计算密集型的任务,对与计算密集型的任务,一般ThreadNums=CpuNums+1,过多的线程数导致上下文频繁的切换,反而会影响效率;
    没有给出mongodb的版本信息,在2.2版本之前,mongodb的lock粒度是server级别,在2.2级别之后,lock粒度是db级别,对于粗粒度的锁,除非你的数据库进行了sharing,否则尽管两个collection是不同的,单次每次写(更新)操作时,仍然会等待锁,这也是与单线程性能差不多的主要原因;
    benchmark测试,尽量需要减少硬件、软件等外部因素的影响。对于你的问题描述,无法看出这些,只有一个简单的多线程与单线程的区别,这在JVM层面的影响因素就有很多了,所以无法简单的给出性能的优劣评价。

    2019-07-17 19:48:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Spring Cloud Alibaba - 重新定义 Java Cloud-Native 立即下载
The Reactive Cloud Native Arch 立即下载
多IO线程优化版 立即下载