1. Neptune
Neptune 是为运行大量实验的研究和生产团队构建的 MLOps 元数据存储。
您可以使用 Neptune 跟踪运行中生成的所有元数据（即超参数、损失、指标等），然后可视化和比较结果。 自动将跟踪数据转换为知识库，然后与同事分享和讨论您的工作。
Neptune 总结：
- 轻松跟踪指标、超参数
- 在模型训练时可视化损失和指标（监控学习曲线）
- 比较各种模型/实验的学习曲线
- 使用交互式比较表，自动显示实验之间的差异
- 获取实验数据并在笔记本中可视化参数和指标
- 它具有与参数度量无关的其他可视化功能
2. WandB
Weights & Biases（WandB）专注于深度学习。 用户可以使用 Python 库跟踪应用程序的实验，并且，一个团队可以看到彼此的实验。
该工具可让您记录和可视化研究的每个细节，并与队友轻松协作。 您可以轻松地从脚本中记录指标，以便在模型训练时实时可视化结果。 您还可以查看模型在每个时间步骤（step）生成的内容。
WandB 总结：
- 监控训练运行信息，如损失、准确率（学习曲线）
- 将显示自动差异的仪表板表进行比较
- 通过平行坐标图可视化参数和指标
- 通过特征（参数）重要性可视化探索参数如何影响指标
- 它具有与参数-指标无关的其他可视化功能
3. Comet
Comet 是一个元机器学习平台，用于跟踪、比较、解释和优化实验和模型。 它允许您在一个地方查看和比较您的所有实验。 无论您使用任何机器学习库运行代码，它都适用于任何机器学习任务。
Comet 适用于团队、个人、学者、组织以及任何想要轻松可视化实验并促进工作的人。
Comet 总结：
- 您可以自定义和组合您的可视化
- 您可以监控您的学习曲线
- Comet 灵活的实验和可视化套件允许您记录、比较和可视化许多工件类型
- 它具有与参数-指标无关的其他可视化功能
4. TensorBoard
TensorBoard 是 TensorFlow 的可视化工具包，可让您分析模型训练运行。 它是开源的，并提供了一套用于机器学习模型可视化和调试的工具。
更重要的是，它拥有广泛的工程师，他们使用该软件并分享他们的经验和想法。 这使得强大的社区随时准备解决任何问题。 然而，该软件本身最适合个人用户。
TensorBoard 总结：
- 跟踪和可视化指标，例如：损失和准确率
- 比较各种运行的学习曲线
- 平行坐标图以可视化参数-指标交互
- 它具有与参数指标无关的其他可视化功能
5. Optuna
Optuna 是一个自动超参数优化软件框架，专为机器学习而设计。
此外，Optuna 还与 LightGBM、Keras、TensorFlow、FastAI、PyTorch Ignite 等库集成。
Optuna 总结：
- Optuna 中的可视化让您可以放大超参数交互并帮助您决定如何运行下一个参数
- plot_contour：在交互式图表上绘制参数交互。 您可以选择要探索的超参数
- plot_optimization_history：显示所有试验的分数以及迄今为止每个点的最佳分数
- plot_parallel_coordinate：以交互方式可视化超参数和分数
- plot_slice：显示搜索的演变。 您可以看到您的搜索在超参数空间中的哪个位置以及空间的哪些部分被探索得更多
6. HiPlot
Hiplot 是一个简单的交互式可视化工具，可帮助 AI 研究人员发现高维数据中的相关性和模式。 它使用平行图和其他图形方式更清楚地表示信息。
HiPlot 可以从 Jupyter notebook 快速运行，无需设置。 该工具使机器学习 (ML) 研究人员能够更轻松地评估其超参数的影响，例如：学习率、正则化和结构。 它也可以被其他领域的研究人员使用，这样他们就可以观察和分析与他们的工作相关的数据的相关性。
HiPlot 总结：
- 创建交互式并行绘图可视化，以轻松探索各种超参数-指标交互
- 根据平行图上的选择，实验表会自动更新
- 它超轻量级，可以在 Notebooks 内使用或作为独立的 web 服务器使用
总结
现在您已经拥有了所有最佳工具的列表，您可以可视化 ML 实验的指标和超参数。 自己测试一下，看看哪一个最适合你。 我们当然推荐Neptune（这是它们中最轻量级的）。
