Hive架构优点及使用场景
先阅读初识hive
Hive在大数据生态环境中的位置
Hive架构图
client 三种访问方式
1、CLI(hive shell)、command line interface(命令行接口)
2、JDBC/ODBC(ja.
最佳实践 | RDS & POLARDB归档到X-Pack Spark计算
部分RDS和POLARDB For MySQL的用户曾遇到如下场景:当一张表的数据达到几千万时,你查询一次所花的时间会变多。
这时候采取水平分表的策略,水平拆分是将同一个表的数据进行分块保存到不同的数据库中,这些数据库中的表结构完全相同。
本文将介绍如何把这些水平分表的表归档到X-Pack Spark数仓,做统一的大数据计算。
通过可视化更好的了解你的Spark应用
图的最大价值是它会推动我们去注意到那些我们从未预料到的东西。
– John Tukey
Spark 1.4中对Spark UI进行改进,更加突出可视化的效果。我们来看一下他的主要的改动,主要包含三个方面:
Spark事件的时间线视图
执行的DAG图
Spark Streaming 的可视化