mongodb 存入了pymongo传入的多个数据之后怎么提取有用的数据-问答-阿里云开发者社区-阿里云

开发者社区> 蛮大人123> 正文

mongodb 存入了pymongo传入的多个数据之后怎么提取有用的数据

2016-06-15 14:06:49 3424 1

有多条这样类似的数据

{ "_id" : ObjectId("56d06f01c3666e08d0f0c844"),
 "http://tieba.baidu.com/p/4345287300" : "【关于更新】作者原话", 
 "http://tieba.baidu.com/p/4328978430" : "服务。", 
 "http://tieba.baidu.com/p/4372502982" : "『诛魂记』第331章:圣东王府", 
 "http://tieba.baidu.com/p/4355241530" : "『诛魂记』第322章:麒麟之威", 
 "http://tieba.baidu.com/p/4329505585" : "『诛魂记』第313章:泣血跪求", 
 "http://tieba.baidu.com/p/4343824178" : "新年快乐啦啦啦", 
 "http://tieba.baidu.com/p/4328603018" : "写小说好看吗", 
 "http://tieba.baidu.com/p/4333008061" : "来吧,你我君臣一场", 
 "http://tieba.baidu.com/p/4315565196" : "『诛魂记』第305章:临危受命", 
 "http://tieba.baidu.com/p/4340906961" : "『诛魂记』第320章:擒贼擒王", 
 "http://tieba.baidu.com/p/4337476352" : "新年到了,是不是发红包了"
 }

我想在上面的数据当中获得能够匹配:『诛魂记』 的连接以及后面的文本数据,例如
"http://tieba.baidu.com/p/4329505585" : "『诛魂记』第313章:泣血跪求"
下面是python里面的代码

 def craw(self, root_urls):
        for new_url in root_urls:
            html_cont = self.downloader.download(new_url)
            new_chapter_urls, new_linkdatas = self.parser.parselink(root_chapter_url, html_cont)
            mid_data = zip(new_chapter_urls,new_linkdatas)
            mid_mid_datas = dict((new_chapter_urls,new_linkdatas) for new_chapter_urls,new_linkdatas in mid_data)
            c = pymongo.MongoClient(host='127.0.0.1', port=27017)
            db = c.spider
            db.chapter_datas.insert(mid_mid_datas, check_keys=False)
取消 提交回答
全部回答(1)
  • 蛮大人123
    2019-07-17 19:39:08

    为什么不在抓取的时候直接根据data里面的内容是否包含“『诛魂记』”来过滤一下呢?

    >>> s = "『诛魂记』第331章:圣东王府"
    >>> "『诛魂记』" in s
    True
    >>> s = "新年快乐啦啦啦"
    >>> "『诛魂记』" in s
    False
    0 0
相关问答

19

回答

[@倚贤][¥20]学习Java后端的疑惑

小江同志 2018-10-24 16:11:21 132218浏览量 回答数 19

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146750浏览量 回答数 22

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 135468浏览量 回答数 42

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256838浏览量 回答数 38

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302566浏览量 回答数 249

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471222浏览量 回答数 24

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126250浏览量 回答数 23

9

回答

HaoSQL,好用的SQL等数据库一键包发布!

梦丫头 2017-11-14 15:20:55 70742浏览量 回答数 9

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 120852浏览量 回答数 11

13

回答

【精品问答合集】Java热门问答

李博 bluemind 2019-05-29 16:00:45 124768浏览量 回答数 13
+关注
蛮大人123
我说我不帅他们就打我,还说我虚伪
0
文章
7733
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载