开发者社区> 问答> 正文

[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合

红警专家czy 2018-11-14 09:47:04 615

你好,徐老师,我说在的公司是游戏公司。现在目前使用的是社区版最新mongodb,我们使用mongodb主要用于游戏玩家行为的一些日志记录,例如玩家的留存率,登陆信息,还有一些关卡的相关埋点统计数据等都会插入到mongodb中,然后我们现在是通过mongo语句进行查询过滤后由JAVA进行计算BI报表的形式前端展示。我想问问这样会不会对数据库有性能问题?因为目前数据量比较少还不能察觉出来,估计游戏正式上线后 以10W人为单位, 每日mongo产生大约50G数据 很快数据量就会上来 如果使用这种方式的查询,效率是不是会很低(毕竟是通过SQL查询),如果要改进,我们是否需要将这个系统改造为大数据进行计算,目前我们看到mongo官方有提供连接器可以和spark进行连接,如果系统需要改进,请问徐老师有什么建议?谢谢

分享到
取消 提交回答
全部回答(2)
  • 徐雷frank
    2019-07-17 23:14:05

    1.考虑后期上线后的 MongoDB数据库压力,建议做主从MongoDB,查询分析压力在从服务器处理。
    2.如果做分析,可以使用Spark +MongoDB,然后计算的结果可以写入新的MongoDB数据库中,避免对原有数据库的影响
    3.如果考虑数据库的扩容问题,可以尽可能在成本允许的情况下,提升服务器硬件配置,MongoDB服务器有优先使用内存缓存数据。提升性能

    0 0
  • 红警专家czy
    2019-07-17 23:14:05

    没人回答的....

    0 0
添加回答
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题