开发者社区> 问答> 正文

OTS表格存储适用于爬虫采集大数据的存储查询吗?又如何购买OTS表格存储?

您好,我目前在用分布式爬虫爬取海量数据,数据约100亿条,目前是sql server做存储,数据量太大了,sql server优化实在很累,不经常优化,查询数据时很慢,我想问一下表格存储适用存储并且查询海量数据吗? 我爬取的数据就以下6个字段:
网站关键词,网站标题,网站描述,网址URL, 采集时间,采集IP

对数据只做3个操作:增加数据,删除数据,和查询数据,不涉及到修改数据的, 做了个网站,每天有3000-5000 人通过网站连接该数据库,做查询数据的操作。每3个月定期删除一次以往的数据。分布式爬虫又会不停的采集新的数据写入数据库。
请问我这种场景适合用OTS表格存储吗?主要是考虑到成本,不想用阿里云的sql server,实在太贵了。
OTS表格存储,100亿条数据,我知道存储肯定没有问题,主要是担心查询速度如何?

另外问一下,我这种情况又如何购买OTS表格存储?看到,有写实例,读实例,还有存储实例? 看的都晕啊。还有容量型,高性能型?是不是只要买存储实例就可以了?存储实例,应该包括了读,写吧? 还是说,要买写实例和读实例就够了?

展开
收起
小熊熊2009 2018-12-10 10:11:51 4543 0
1 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
Data+AI时代大数据平台应该如何建设 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载