数据库中一张表,要按查询条件并时间为第一要素给分页显示,
可是爬虫在爬取的时候都是某天同个时间段去爬一家网站,这就导致按时间排出的结果,同一家网站数据联在一起,现在要求是按时间排序要出现不同的网站内容,而且该链接的内容可重现。。
我的方法是:时间精确到天,并给随机值,按时间 随机值排序。。
`select id,domain, a,b
from (select id, domain, date_format(time,'%Y-%m-%d') a ,rand(3) b from open_product
where thumbnail is not null) xxx
where a is not null order by a desc, b limit 100;`
1390442 rows in set (1 min 47.76 sec) ----- = =|| 太慢
而且django rawsql 无法使用queryset的方法count,本身连__len__也木有,无法用django的pagination进行分页
各位有没有什么好方法?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。