Spark如何统计多个MySQL的数据?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Spark如何统计多个MySQL的数据?

吃馒头黑洞 2018-01-29 11:20:08 3197

1、日志数据分布在多个MySQL上,每台物理主机承载一个或多个MySQL。
2、每个MySQL的username、password不一样。
3、每个MySQL承载日志数据的数据库名称也不一样。
4、每个MySQL所承载的日志数据,各不相同,合起来才是总集。
5、唯一相同的就是数据库的格式一样,表格一样。
QQ_20180129111253

在这种情况下,如何执行一个查询任务?比如:select sum(x) from xxx where .....

spa数据 mysql统计数据 mysql计数 mysql数据统计 mysql数据多个
分享到
取消 提交回答
全部回答(2)
  • 5679620557985193
    2019-07-17 21:56:49

    分别取出全部数据的DataFrame,然后用union方法union到一个DataFrame. 然后把这个DataFrame注册临时表。最后就是用SQL按一般方法检索了。

    0 0
  • 弘锐66
    2019-07-17 21:56:49

    从数据仓库的角度来看,建议将mysql数据全部同步到hdfs中后,统计做计算。
    否则单就mysql分布在不同机器来说,计算时的网络io成本太大。

    0 0
添加回答
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

相似问题
最新问题
推荐课程