scrapy+mongodb 插入文档的数目不够的原因?-问答-阿里云开发者社区-阿里云

开发者社区> 落地花开啦> 正文

scrapy+mongodb 插入文档的数目不够的原因?

2016-02-27 16:20:41 3498 1

我使用mongo储存scrapy爬下来的页面数据,在管道中为同时向db和txt中写入结果,结果发现txt有8000多条记录,而db中count才831条,百思不得其解。后来将db中数据导出,发现似乎是item['content'](文章内容)字段内容比较多的就没有成功插入db。后来想了下,似乎是db的单个文档大小有限制,但是这些文本写到txt最多不过几十kb,这到底是什么问题?
附上管道process_item的代码
`def process_item(self, item, spider):
self.file1.write(item['url']+'n'+item['content']+"n")
word_list = list(jieba.cut(item['content']))
for word in word_list:
if len(word)>1:
self.file.write(word+'/')
self.file.write('n1111111111111111111n')
self.collection.insert(dict(item))
log.msg('Item written to MongoDB database %s/%s' % (self.db, self.col),
level=log.DEBUG, spider=spider)
return item`

取消 提交回答
全部回答(1)
  • 小六码奴
    2019-07-17 18:49:02

    对于failIndexKeyTooLong ERROR在shell中使用如下命令可以修改活动中的db设置db.getSiblingDB('admin').runCommand( { setParameter: 1, failIndexKeyTooLong: false } )

    0 0
相关问答

19

回答

[@倚贤][¥20]学习Java后端的疑惑

小江同志 2018-10-24 16:11:21 132218浏览量 回答数 19

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146750浏览量 回答数 22

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 135468浏览量 回答数 42

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256838浏览量 回答数 38

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302566浏览量 回答数 249

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471222浏览量 回答数 24

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126250浏览量 回答数 23

9

回答

HaoSQL,好用的SQL等数据库一键包发布!

梦丫头 2017-11-14 15:20:55 70742浏览量 回答数 9

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 120852浏览量 回答数 11

13

回答

【精品问答合集】Java热门问答

李博 bluemind 2019-05-29 16:00:45 124768浏览量 回答数 13
+关注
落地花开啦
喜欢技术,喜欢努力的人
0
文章
7824
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载