您好,我目前在用分布式爬虫爬取海量数据,数据约100亿条,目前是sql server做存储,数据量太大了,sql server优化实在很累,不经常优化,查询数据时很慢,我想问一下表格存储适用存储并且查询海量数据吗? 我爬取的数据就以下6个字段:
网站关键词,网站标题,网站描述,网址URL, 采集时间,采集IP
对数据只做3个操作:增加数据,删除数据,和查询数据,不涉及到修改数据的, 做了个网站,每天有3000-5000 人通过网站连接该数据库,做查询数据的操作。每3个月定期删除一次以往的数据。分布式爬虫又会不停的采集新的数据写入数据库。
请问我这种场景适合用OTS表格存储吗?主要是考虑到成本,不想用阿里云的sql server,实在太贵了。
OTS表格存储,100亿条数据,我知道存储肯定没有问题,主要是担心查询速度如何?
另外问一下,我这种情况又如何购买OTS表格存储?看到,有写实例,读实例,还有存储实例? 看的都晕啊。还有容量型,高性能型?是不是只要买存储实例就可以了?存储实例,应该包括了读,写吧? 还是说,要买写实例和读实例就够了?
ots 性能指标可以参考官方文档中的性能白皮书:https://help.aliyun.com/document_detail/64993.html 计费方式可以参考产品定价 https://help.aliyun.com/document_detail/27291.html 来进行预估。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。