Spark在不同集群中的运行架构
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。
Yarn 调度器Scheduler详解
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。
一、调度器的选
Hadoop 版本问题
<p>最近一直再看《hadoop in action》这本书，这本书整体讲的不错，就是hadoop不同版本之间的区别比较大，大家学习时一定要用统一版本，否则事倍功半。</p>
<p>书上第4章第四节讲的是版本间的区别，我这里简单整理一下：</p>
<p>去hadoop的官网可以找到如下信息：</p>
<p></p>
<ul style="">
<li style="margin-t
限定项目的 Node.js 版本
限定项目的 Node.js 版本限定项目运行所需的 Node.js 版本可保证项目在一个稳定可预期的环境中运行，减少不必要的故障。甚至有些依赖库只能工作于某些版本下。同时，不加以限制的话，在多人合作的项目中恐怕会引起环境不一致带来的兼容性问题，部署上也会存在相同的问题。
图像处理------图像加噪
<p style="color: rgb(51, 51, 51); font-family: Arial; font-size: 14px; line-height: 26px;">图像噪声源于现实世界中数字信号总会受到各种各样的干扰，最终接受的图像和源于的数字信号之间总</p>
<p style="color: rgb(51, 51, 51); font-family: Arial; fon