OTS表格存储适用于爬虫采集大数据的存储查询吗?又如何购买OTS表格存储?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

OTS表格存储适用于爬虫采集大数据的存储查询吗?又如何购买OTS表格存储?

小熊熊2009 2018-12-10 10:11:51 1728

您好,我目前在用分布式爬虫爬取海量数据,数据约100亿条,目前是sql server做存储,数据量太大了,sql server优化实在很累,不经常优化,查询数据时很慢,我想问一下表格存储适用存储并且查询海量数据吗? 我爬取的数据就以下6个字段:
网站关键词,网站标题,网站描述,网址URL, 采集时间,采集IP

对数据只做3个操作:增加数据,删除数据,和查询数据,不涉及到修改数据的, 做了个网站,每天有3000-5000 人通过网站连接该数据库,做查询数据的操作。每3个月定期删除一次以往的数据。分布式爬虫又会不停的采集新的数据写入数据库。
请问我这种场景适合用OTS表格存储吗?主要是考虑到成本,不想用阿里云的sql server,实在太贵了。
OTS表格存储,100亿条数据,我知道存储肯定没有问题,主要是担心查询速度如何?

另外问一下,我这种情况又如何购买OTS表格存储?看到,有写实例,读实例,还有存储实例? 看的都晕啊。还有容量型,高性能型?是不是只要买存储实例就可以了?存储实例,应该包括了读,写吧? 还是说,要买写实例和读实例就够了?

存储 数据采集 SQL 大数据 数据库
分享到
取消 提交回答
全部回答(1)
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题