Databricks如何集群管理？

对于数据分析师来说，最后还是要进行计算，就牵涉计算资源的管理，那么YipitData是怎么做的呢？我们知道，搭建一个Spark集群并不是很难，但是如何搭建一个能够最优化地解决问题的Spark集群并不是那么容易，因为Spark集群有非常多的配置，而这项工作如果交给数据分析师来做的话就更不简单了。为了解决易用性的问题，YipitData的工程师参照T-Shirt的Size划分巧妙地将集群划分成SMALL、MEDIUM、LARGE三类，如下图所示，数据分析师在使用的时候虽然少了灵活性，但是节省了很多集群配置的时间，大大的提高了工作效率。背后的原理也是进行更深层次的封装，将众多参数设置隐藏起来，数据分析师只需要像选择T-Shirt的尺寸一样做选择即可，而无需关心背后的复杂配置如何实现。