NNI 简介
NNI (Neural Network Intelligence) 是一个轻量级但功能强大的自动机器学习（AutoML）工具包，可帮助用户自动化特征工程、神经架构搜索、超参数调优和模型压缩，并支持单机、本地多机、云等不同的运行环境。
NNI 的主要特性
NNI 的特性主要包括：易于使用，可扩展，灵活，高效。
- 易于使用：NNI 可通过
pip安装。 只需要在代码中添加几行，就可以利用 NNI 来调优参数。可使用命令行工具或 Web 界面来查看Experiment。 - 可扩展：调优超参或网络结构通常需要大量的计算资源。NNI 在设计时就支持了多种不同的计算资源，如远程服务器组，训练平台（如：OpenPAI，Kubernetes）等等。 根据您配置的训练平台的能力，可以并行运行数百个
Trial。 - 灵活：除了内置的算法，NNI 中还可以轻松集成自定义的超参调优算法，神经网络架构搜索算法，提前终止算法等等。 还可以将 NNI 连接到更多的训练平台上，如云环境中的虚拟机集群，Kubernetes 服务等等。 此外，NNI 还可以连接到外部环境中的特殊应用和模型上。
- 高效：NNI 在系统及算法级别上不断地进行优化。 例如：通过早期的反馈来加速调优过程。
NNI 的主要概念
- Experiment（实验）： 表示一次任务，例如，寻找模型的最佳超参组合，或最好的神经网络架构等。它由
Trial和自动机器学习算法所组成。 - Search Space（搜索空间）：是模型调优的范围。 例如，超参的取值范围。
- Configuration（配置）：配置是
搜索空间的实例化，从搜索空间中固定下来一定的超参数，每个超参都会有特定的值。 - Trial（尝试）：是一次独立的尝试，它会使用某组配置（例如，一组超参值，或者特定的神经网络架构）。 Trial 会基于提供的
配置来运行。 - Tuner（调优器）：一种自动机器学习算法，会为下一个
Trial生成新的配置。 新的Trial会使用这组配置来运行。 - Assessor（评估器）：分析
Trial的中间结果（例如，定期评估数据集上的精度），来确定Trial是否应该被提前终止。 - 训练平台：是
Trial的执行环境。 根据Experiment的配置，可以是本机，远程服务器组，或其它大规模训练平台（如OpenPAI，Kubernetes等）。
NNI 体系结构
NNI体系结构如上图所示，其中包括：
- NNI Controller（nnictl）: 这是个命令行工具，用于控制 Web 服务器，和其他管理功能，用户可以使用这个命令来进行管理。比如，启动 Experiment。
- NNI Core: 这是 NNI 的核心，实现了
Web UI,nnimanager，训练服务等核心功能。当 Experiment 出现严重错误时，从它的日志中才能找到原因。（例如，Web 界面无法打开，或者训练平台失败） - Advisor: Advisor是 NNI 的超参数调整系统，包括
Tuner和Assessor，分别负责生成下一个trial和评估该trial。 - 训练平台：右侧的训练平台可以是
本机/远程服务器/OpenPAI/Kubernetes等，可以将许多trial进行分配到各个平台中，完成一次尝试（trial）。
从上图中，我们也看到了 NNI Experiment 的运行过程如下：
- Tuner 接收搜索空间并生成配置。
- 这些配置将被提交到训练平台，如本机，远程服务器组或训练集群。
- 执行的性能结果会被返回给 Tuner。
- 然后，再生成并提交新的配置。
每次 Experiment 执行时，用户只需要定义搜索空间，改动几行代码，就能利用 NNI 内置的 Tuner/Assessor 和训练平台来搜索最好的超参组合以及神经网络结构。 基本上分为三步：
- 步骤一：定义搜索空间
- 步骤二：改动模型代码
- 步骤三：定义实验配置
NNI 的核心功能
NNI 提供了并行运行多个实例以查找最佳参数组合的能力。此功能可用于各种领域，例如，为深度学习模型查找最佳超参数，或查找具有真实数据的数据库和其他复杂系统的最佳配置。
NNI 还希望提供用于机器学习和深度学习的算法工具包，尤其是神经体系结构搜索（NAS）算法，模型压缩算法和特征工程算法。
超参数调优
这是 NNI 最核心、最基本的功能，其中提供了许多流行的自动调优算法（即 Tuner) 以及提前终止算法（即 Assessor）。
NNI 内置的 Tuner
NNI 能用简单快速的方法来配置超参调优算法，称之为 Tuner。
Tuner 从 Trial 中接收指标结果，来评估一组超参或网络结构的性能。 然后 Tuner 会将下一组超参或网络结构的配置发送给新的 Trial。
NNI 内置的自动调优算法如下表格所示：
| 概述 | 算法简介 |
| TPE | Tree-structured Parzen Estimator (TPE) 是一种 sequential model-based optimization（SMBO，即基于序列模型优化）的方法。 SMBO 方法根据历史指标数据来按顺序构造模型，来估算超参的性能，随后基于此模型来选择新的超参。 参考论文 |
| Random Search（随机搜索） | 在超参优化时，随机搜索算法展示了其惊人的简单和效果。 建议当不清楚超参的先验分布时，采用随机搜索作为基准。 参考论文 |
| Anneal（退火） | 这种简单的退火算法从先前的采样开始，会越来越靠近发现的最佳点取样。 此算法是随机搜索的简单变体，利用了反应曲面的平滑性。 退火率不是自适应的。 |
| Naïve Evolution（朴素进化） | Naïve Evolution（朴素进化算法）来自于 Large-Scale Evolution of Image Classifiers。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 朴素进化算法需要很多次的 Trial 才能有效，但它也非常简单，也很容易扩展新功能。 参考论文 |
| SMAC | SMAC 基于 Sequential Model-Based Optimization (SMBO，即序列的基于模型优化方法)。 它会利用使用过的突出的模型（高斯随机过程模型），并将随机森林引入到SMBO中，来处理分类参数。 SMAC 算法包装了 Github 的 SMAC3。 注意：SMAC 需要通过 pip install nni[SMAC] 命令来安装。 参考论文代码仓库 |
| Batch tuner（批处理） | Batch Tuner 能让用户简单的提供几组配置（如，超参选项的组合）。 当所有配置都完成后，Experiment 即结束。 Batch Tuner 仅支持 choice 类型。 |
| Grid Search（遍历） | 网格搜索会穷举定义在搜索空间文件中的所有超参组合。 遍历搜索可以使用的类型有 choice, quniform, randint。 |
| Hyperband | Hyperband 试图用有限的资源来探索尽可能多的组合，并发现最好的结果。 基本思想是生成许多配置，并通过少量的 Trial 来运行一部分。 一半性能不好的配置会被抛弃，剩下的部分与新选择出的配置会进行下一步的训练。 数量的多少对资源约束非常敏感（例如，分配的搜索时间）。 参考论文 |
| Network Morphism | 网络模态（Network Morphism）提供自动搜索深度学习体系结构的功能。 它会继承父网络的知识，来生成变形的子网络。 包括深度、宽度、跳连接等变化。 然后使用历史的架构和指标，来估计子网络的值。 然后会选择最有希望的模型进行训练。 参考论文 |
| Metis Tuner | 大多数调参工具仅仅预测最优配置，而 Metis 的优势在于有两个输出：(a) 最优配置的当前预测结果， 以及 (b) 下一次 Trial 的建议。 它不进行随机取样。 大多数工具假设训练集没有噪声数据，但 Metis 会知道是否需要对某个超参重新采样。 参考论文 |
| BOHB | BOHB 是 Hyperband 算法的后续工作。 Hyperband 在生成新的配置时，没有利用已有的 Trial 结果，而本算法利用了 Trial 结果。 BOHB 中，HB 表示 Hyperband，BO 表示贝叶斯优化（Byesian Optimization）。 BOHB 会建立多个 TPE 模型，从而利用已完成的 Trial 生成新的配置。 参考论文 |
| GP Tuner | Gaussian Process（高斯过程） Tuner 是序列化的基于模型优化（SMBO）的方法，并使用了高斯过程来替代。 参考论文, Github 仓库 |
| PPO Tuner | PPO Tuner 是基于 PPO 算法的强化学习 Tuner。 参考论文 |
| PBT Tuner | PBT Tuner 是一种简单的异步优化算法，在固定的计算资源下，它能有效的联合优化一组模型及其超参来最大化性能。 参考论文 |
NNI 内置的 Assessor
为了节省计算资源，NNI 支持提前终止策略，并且通过叫做 Assessor 的接口来执行此操作。
Assessor 从 Trial 中接收中间结果，并通过指定的算法决定此 Trial 是否应该终止。 一旦 Trial 满足了提前终止策略（这表示 Assessor 认为最终结果不会太好），Assessor 会终止此 Trial，并将其状态标志为 ==EARLY_STOPPED==。
NNI 当前支持的提前终止算法如下表格：
| Assessor | 算法简介 |
| Medianstop | Medianstop 是一个简单的提前终止算法。 如果尝试 X 的在步骤 S 的最好目标值比所有已完成尝试的步骤 S 的中位数值明显低，就会停止运行尝试 X。 参考论文 |
| Curvefitting | Curve Fitting Assessor 是一个 LPA (learning, predicting, assessing，即学习、预测、评估) 的算法。 如果预测的 Trial X 在 step S 比性能最好的 Trial 要差，就会提前终止它。 此算法中采用了 12 种曲线来拟合精度曲线。 参考论文 |
通用 NAS 框架
此 NAS 框架可供用户轻松指定候选的神经体系结构，例如，可以为单个层指定多个候选操作（例如，可分离的 conv、扩张 conv），并指定可能的跳过连接。 NNI 将自动找到最佳候选。 另一方面，NAS 框架为其他类型的用户（如，NAS 算法研究人员）提供了简单的接口，以实现新的 NAS 算法。
NNI 通过 Trial SDK 支持多种 one-shot（一次性） NAS 算法，如：ENAS、DARTS。 使用这些算法时，不需要启动 NNI Experiment。 在 Trial 代码中加入算法，直接运行即可。 如果要调整算法中的超参数，或运行多个实例，可以使用 Tuner 并启动 NNI Experiment。
除了 one-shot NAS 外，NAS 还能以 NNI 模式运行，其中每个候选的网络结构都作为独立 Trial 任务运行。 在此模式下，与超参调优类似，必须启动 NNI Experiment 并为 NAS 选择 Tuner。
模型压缩
NNI 提供了一个易于使用的模型压缩框架来压缩深度神经网络，压缩后的网络通常具有更小的模型尺寸和更快的推理速度，模型性能也不会有明显的下降。 NNI 上的模型压缩包括剪枝和量化算法。 这些算法通过 NNI Trial SDK 提供 。 可以直接在 Trial 代码中使用，并在不启动 NNI Experiment 的情况下运行 Trial 代码。 用户还可以使用 NNI 模型压缩框架集成自定义的剪枝和量化算法。
自动特征工程
自动特征工程，可以为下游任务找到最有效的特征。 自动特征工程通过 NNI Trial SDK 支持，不必创建 NNI Experiment， 只需在 Trial 代码中加入内置的自动特征工程算法，然后直接运行 Trial 代码。
自动特征工程算法通常有一些超参。 如果要自动调整这些超参，可以利用 NNI 的超参数调优，即选择调优算法（即 Tuner）并启动 NNI Experiment。
安装
通过pip安装
python3 -m pip install --upgrade nni 复制代码
通过源码构建
# 拉取NNI源码并指定分支 git clone -b v2.0 https://github.com/Microsoft/nni.git cd nni # 设置环境变量 export NNI_RELEASE=2.0 # 构建 python3 -m pip install --upgrade pip setuptools wheel python3 setup.py clean --all python3 setup.py build_ts python3 setup.py bdist_wheel -p manylinux1_x86_64 python3 -m pip install dist/nni-2.0-py3-none-manylinux1_x86_64.whl 复制代码
Docker安装
# 拉取NNI镜像 docker pull msranni/nni:v2.2 # 启动NNI容器 docker run -i -t -p 9090:8080 msranni/nni:v2.0 复制代码
备注：
在Docer中运行NNI的时候
如果直接使用 NNI 的官方镜像
msranni/nni来启动 Experiment，可以直接使用nnictl命令。 NNI 官方镜像有最基础的 Python 环境和深度学习框架。如果使用自己的 Docker 镜像，需要首先安装 NNI， 如
python3 -m pip install --upgrade nni。
