[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合

你好,徐老师,我说在的公司是游戏公司。现在目前使用的是社区版最新mongodb,我们使用mongodb主要用于游戏玩家行为的一些日志记录,例如玩家的留存率,登陆信息,还有一些关卡的相关埋点统计数据等都会插入到mongodb中,然后我们现在是通过mongo语句进行查询过滤后由JAVA进行计算BI报表的形式前端展示。我想问问这样会不会对数据库有性能问题?因为目前数据量比较少还不能察觉出来,估计游戏正式上线后 以10W人为单位, 每日mongo产生大约50G数据 很快数据量就会上来 如果使用这种方式的查询,效率是不是会很低(毕竟是通过SQL查询),如果要改进,我们是否需要将这个系统改造为大数据进行计算,目前我们看到mongo官方有提供连接器可以和spark进行连接,如果系统需要改进,请问徐老师有什么建议?谢谢

展开
收起
Java大咖说 2018-11-14 09:47:04 2288 0
2 条回答
写回答
取消 提交回答
  • 徐雷frank
    1.阿里云大学讲师,主讲《微服务Spring Cloud设计与开发实战》《MongoDB高级实战》等课程 2.MongoDB中文社区专家 3.《MongoDB实战》第2版译者 5.吉林大学计算机科学学士、上海交通大学硕士

    1.考虑后期上线后的 MongoDB数据库压力,建议做主从MongoDB,查询分析压力在从服务器处理。
    2.如果做分析,可以使用Spark +MongoDB,然后计算的结果可以写入新的MongoDB数据库中,避免对原有数据库的影响
    3.如果考虑数据库的扩容问题,可以尽可能在成本允许的情况下,提升服务器硬件配置,MongoDB服务器有优先使用内存缓存数据。提升性能

    2019-07-17 23:14:05
    赞同 展开评论 打赏
  • Java大咖说
    微信公众号:Java大咖说

    没人回答的....

    2019-07-17 23:14:05
    赞同 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
基于Spark的流式处理引擎在Pandora大数据产品中的应用
立即下载
基于Spark的大规模机器学习在微博的应用
立即下载
基于Spark的大规模机器学习在微博的应用
立即下载