scrapy+mongodb insert的文档数目不够-问答-阿里云开发者社区-阿里云

我使用mongo储存scrapy爬下来的页面数据，在管道中为同时向db和txt中写入结果，结果发现txt有8000多条记录，而db中count才831条，百思不得其解。后来将db中数据导出，发现似乎是item['content']（文章内容）字段内容比较多的就没有成功插入db。后来想了下，似乎是db的单个文档大小有限制，但是这些文本写到txt最多不过几十kb，这到底是什么问题？附上管道process_item的代码
`def process_item(self, item, spider):
self.file1.write(item['url']+'n'+item['content']+"n")
word_list = list(jieba.cut(item['content']))
for word in word_list:
if len(word)>1:
self.file.write(word+'/')
self.file.write('n1111111111111111111n')
self.collection.insert(dict(item))
log.msg('Item written to MongoDB database %s/%s' % (self.db, self.col),
level=log.DEBUG, spider=spider)
return item
`