还在为搭建TB级日志数据分析集群而苦脑吗?
小编为各位开发者朋友提供两种大规模数据存储的解决方案,希望能够解决各位开发者朋友的问题:
解决方案一:
开通阿里云的ODPS服务
产品特点:
1、不需要搭建服务器环境,也不用做繁琐的数据关系建立,就可以安全、稳定的使用服务。
2、无需维护和对数据做处理,通过SQL语句即可实现查询和调用,简单、方便。
3、按量付费,节约成本。
4、采用分布式机群架构,机群规模可以根据需要灵活扩展
产品功能:
1、自动存储容错机制,保障数据高可靠性
2、所有计算在沙箱中运行,保障数据高安全性
3、以RESTful API的方式提供服务
4、支持高并发、高吞吐量的数据上传下载
5、支持基于SQL的数据处理,支持窗口函数等高级分析功能
6、支持多租户,多个用户可以协同分析数据
7、支持基于ACL和policy的用户权限管理,可以配置灵活的数据访问控制策略,防止数据越权访问
如需要了解更多ODPS信息,可以
[点这里]
进行查看或开通服务。
解决方案二:
可以在多台ECS上部署hadoop的环境,从而解决这个问题
特点:自主性强、灵活度高、成本相对较高。
大致部署步骤如下:
1.
开通适量ECS
[购买ECS]
2.
安装JRE
3.
下载Hadoop
4.
安装并配置Hadoop Master
(至少一台)
5.
安装并配置Hadoop Slaves
(若干台)
在这里给大家介绍一篇关于hadoop的配置文章
[Mesos上安装Hadoop超详细部署攻略]
以便大家方便部署hadoop环境
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。