从600万个句子里移除符合要求的句子，最高效的办法是什么
在Python里面，用1万个正则表达式从600万个句子里面移除所有符合要求的句子。请问最高效的办法是什么？ 类似于敏感词句子剔除
这样的敏感词pattern有一万个。要从600万条句子里面把符合所有pattern的句子全部去掉，我现在用8个进程跑，半个小时还不到100万条。太慢了
来源：云原生后端社区
https://www.yuque.com/server_mind/answer
展开
收起
1
条回答
写回答
写回答
-
倒排索引非常有效。现在76秒就能把整个流程走完，速度提高了100万倍
来源：云原生后端社区
https://www.yuque.com/server_mind/answer2020-04-25 15:56:01赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
