开发者社区> 问答> 正文

海量日志分析解决方案!

还在为搭建TB级日志数据分析集群而苦脑吗?
小编为各位开发者朋友提供两种大规模数据存储的解决方案,希望能够解决各位开发者朋友的问题:

解决方案一:
开通阿里云的ODPS服务
产品特点:
1、不需要搭建服务器环境,也不用做繁琐的数据关系建立,就可以安全、稳定的使用服务。
2、无需维护和对数据做处理,通过SQL语句即可实现查询和调用,简单、方便。
3、按量付费,节约成本。
4、采用分布式机群架构,机群规模可以根据需要灵活扩展
产品功能:
1、自动存储容错机制,保障数据高可靠性
2、所有计算在沙箱中运行,保障数据高安全性
3、以RESTful API的方式提供服务
4、支持高并发、高吞吐量的数据上传下载
5、支持基于SQL的数据处理,支持窗口函数等高级分析功能
6、支持多租户,多个用户可以协同分析数据
7、支持基于ACL和policy的用户权限管理,可以配置灵活的数据访问控制策略,防止数据越权访问


如需要了解更多ODPS信息,可以 [点这里] 进行查看或开通服务。


解决方案二:
可以在多台ECS上部署hadoop的环境,从而解决这个问题
特点:自主性强、灵活度高、成本相对较高。

大致部署步骤如下:

1. 开通适量ECS     [购买ECS]
2. 安装JRE
3. 下载Hadoop  
4. 安装并配置Hadoop Master (至少一台)
5. 安装并配置Hadoop Slaves (若干台)
在这里给大家介绍一篇关于hadoop的配置文章
[Mesos上安装Hadoop超详细部署攻略]
以便大家方便部署hadoop环境



展开
收起
nono20011908 2014-06-11 14:23:30 14221 0
3 条回答
写回答
取消 提交回答
  • Re海量日志分析解决方案!
    挺方便
    2015-12-22 18:02:25
    赞同 展开评论 打赏
  • 回 1楼(啊里新人) 的帖子
    2014-09-23 10:31:37
    赞同 展开评论 打赏
  •      说的好

    -------------------------

    回 2楼(nono20011908) 的帖子
    借我海量数据吧
    2014-09-22 13:26:17
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载