NNI 超参数调优实验的简单示例
NNI 用来帮助超参调优的伪代码如下：
- 输入: 搜索空间, Trial 代码, 配置文件
- 输出: 一组最优的参数配置
1: For t = 0, 1, 2, ..., maxTrialNum, 2: hyperparameter = 从搜索空间选择一组参数 3: final result = run_trial_and_evaluate(hyperparameter) 4: 返回最终结果给 NNI 5: If 时间达到上限, 6: 停止实验 7: 返回最好的实验结果 复制代码
开发并启动一个 NNI 实验
启动 Experiment 的包含如下三个步骤：
第一步 ：编写 JSON 格式的 搜索空间 文件，包括所有需要搜索的超参的 名称 和 分布 （离散和连续值均可）。
search_space.json
{ "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]}, "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]}, "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]}, "momentum":{"_type":"uniform","_value":[0, 1]} } 复制代码
第二步 ：修改 Trial 代码来从 NNI 获取超参，并返回 NNI 最终结果。
mnist.py
import nni def main(args): # 下载数据 train_loader = torch.utils.data.DataLoader(datasets.MNIST(...), batch_size=args['batch_size'], shuffle=True) test_loader = torch.tuils.data.DataLoader(datasets.MNIST(...), batch_size=1000, shuffle=True) # 构造模型 model = Net(hidden_size=args['hidden_size']) optimizer = optim.SGD(model.parameters(), lr=args['lr'], momentum=args['momentum']) # 训练 for epoch in range(10): train(args, model, device, train_loader, optimizer, epoch) test_acc = test(args, model, device, test_loader) print(test_acc) nni.report_intermeidate_result(test_acc) print('final accuracy:', test_acc) # 报告评估指标 nni.report_final_result(test_acc) if __name__ == '__main__': # 设置超参数默认值 params = {'batch_size': 32, 'hidden_size': 128, 'lr': 0.001, 'momentum': 0.5} # 获取一次Trail的超参数 params = nni.get_next_parameter() main(params) 复制代码
第三步: 定义 YAML 格式的 配置 文件，声明搜索空间和 Trail 文件的 路径 。 它还提供其他信息，例如调整算法，最大 Trial 运行次数和最大持续时间的参数。
config.yml
authorName: default experimentName: example_mnist trialConcurrency: 1 maxExecDuration: 1h maxTrialNum: 10 trainingServicePlatform: local # 搜索空间文件路径 searchSpacePath: search_space.json useAnnotation: false tuner: builtinTunerName: TPE # 运行的命令，以及 Trial 代码的路径 trial: command: python3 mnist.py codeDir: . gpuNum: 0 复制代码
最后，从命令行使用 config.yml 文件启动 MNIST Experiment 。
nnictl create --config config.yml 复制代码
注意
如果要使用远程服务器或集群作为训练平台，为了避免产生过大的网络压力，NNI 限制了文件的最大数量为 2000，大小为 300 MB。 如果 codeDir 中包含了过多的文件，可添加
.nniignore文件来排除部分，与.gitignore文件用法类似。
在命令行中等待输出 INFO: Successfully started experiment! 。 此消息表明实验已成功启动。 期望的输出如下：
INFO: Starting restful server... INFO: Successfully started Restful server! INFO: Setting local config... INFO: Successfully set local config! INFO: Starting experiment... INFO: Successfully started experiment! ----------------------------------------------------------------------- The experiment id is egchD4qy The Web UI urls are: [Your IP]:8080 ----------------------------------------------------------------------- You can use these commands to get more information about the experiment ----------------------------------------------------------------------- commands description 1. nnictl experiment show show the information of experiments 2. nnictl trial ls list all of trial jobs 3. nnictl top monitor the status of running experiments 4. nnictl log stderr show stderr log content 5. nnictl log stdout show stdout log content 6. nnictl stop stop an experiment 7. nnictl trial kill kill a trial job by id 8. nnictl --help get help information about nnictl ----------------------------------------------------------------------- 复制代码
如果根据上述步骤准备好了相应 Trial，搜索空间 和 配置 ，并成功创建的 NNI 任务。NNI 会自动开始通过配置的搜索空间来运行不同的超参集合，搜索最好的超参。 通过 Web 界面可看到 NNI 的进度。
通过Web UI 可视化实验过程
启动 Experiment 后，可以在命令行界面找到如下的 Web 界面地址 ：
The Web UI urls are: [Your IP]:8080 复制代码
在浏览器中打开 Web 界面地址 （即：[IP地址]:8080 ），就可以看到 Experiment 的详细信息，以及所有的 Trial 任务。
查看概要页面
Experiment 相关信息会显示在界面上，如配置和搜索空间等。 NNI 还支持通过 Experiment summary 按钮下载这些信息和参数。
查看 Trial 详情页面
可以在此页面中看到最佳的尝试指标和超参数图。 当您单击按钮 Add/Remove columns 时，表格内容包括更多列。 当您单击按钮 Add/Remove columns 时，表格内容包括更多列。
查看 Experiment 管理页面
All experiments 页面可以查看计算机上的所有实验。
到处为止，一次AutoML超参数调优的实验运行就已经完成。
总结
本文简单介绍了自动机器学习工具NNI的基本概念、主要功能特点以及如何使用NNI进行一个超参调优实验，希望能够帮助到你。
