开发者社区> 问答> 正文

如何解决多线程下Pymongo连接过多的问题?

最近调整原来的py爬虫时发现一个问题
在多线程下pymongo会报一个危险

/usr/lib64/python2.6/site-packages/pymongo/topology.py:75: 
UserWarning: MongoClient opened before fork. Create MongoClient with connect=False, 
or create client after forking. See PyMongo's documentation for details: 
http://api.mongodb.org/python/current/faq.html#using-pymongo-with-multiprocessing>
  "MongoClient opened before fork. Create MongoClient "

大意是多进程下要加上connect=False参数防止死锁?
然后加上这个参数程序依旧报这个危险,所以问下多进程下 pymongo的要在哪里初始化?
目前是这样

class mongo():
    def __init__(self):
        try:
            client = MongoClient(host="127.0.0.1", port=27017, connect=False)
            db = client.db
            print "mogodb successful connection~^_^"
        except Exception, e:
            print "mogodb Error", e
    def in():

展开
收起
蛮大人123 2016-06-15 15:09:03 5155 0
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    提示是mongo连接在fork之前就被创建了,希望你加connect=False参数或者在fork以后再建立连接。
    这个错误我以前碰到过,如果pymongo版本比较老的话是不支持connect=False这个参数的,升级一下就好了,或者你把初始化数据库连接的代码放到fork以后,就是在线程里面需要的时候再初始化。

    2019-07-17 19:39:20
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
多IO线程优化版 立即下载
Redis多线程性能优化 立即下载
低代码开发师(初级)实战教程 立即下载

相关实验场景

更多