“每个模型都是错误的，但有些模型是有用的”，这句话在机器学习中尤其适用。在开发机器学习模型时，您应该始终了解它在哪里按预期工作以及在哪里失败。
您可以使用许多方法来获得这种理解：
- 查看评估指标（您也应该知道如何为您的问题选择评估指标）
- 查看 ROC、Lift Curve、Confusion Matrix 等性能图表
- 查看学习曲线以评估过拟合
- 查看模型对最佳/最坏情况的预测
- 看看模型训练和推理是如何耗费资源的（它们将转化为严重的成本，对事情的业务方面至关重要）
一旦你对一个模型有了一些不错的理解，你感觉令人满意的，对吗？事实不是这样的。
通常，您需要对模型改进想法进行一些或大量实验，并且可视化各种实验之间的差异变得至关重要。
您可以自己完成所有这些（或大部分）工作，但今天有一些工具可供您使用。如果您正在寻找可以帮助您可视化、组织和收集数据的最佳工具，那么您来对地方了。
1. Neptune
Neptune 是 MLOps 生态系统的元数据存储工具，适用于运行大量实验的研究和生产团队。它提供了一个开源库，让用户可以记录模型开发过程中生成的元数据，无论是通过执行脚本（Python、R 等）还是notebooks（本地、Google Colab、AWS SageMaker）。
Neptune 中的项目可以有多个具有不同角色（查看者、贡献者、管理员）的成员，因此每个团队成员都可以查看、共享和讨论 Neptune 中的所有机器学习实验。
Neptune 旨在提供一种简单的方法来存储、组织、显示和比较模型开发过程中生成的所有元数据。
Neptune 总结：
- 记录模型预测
- 记录损失（losses）和指标
- 记录工件（数据版本、模型二进制文件）
- 记录 git 信息、代码或 notebook checkpoints
- 记录硬件利用率
- 训练完成后，在 notebook 中记录错误分析
- 记录模型表现的可视化，如 ROC 曲线或混淆矩阵（在训练期间或之后）或其他任何东西
- 记录来自 Altair、Bokeh、Plotly 或其他 HTML 对象的交互式可视化
- 使用智能比较表比较多次运行的超参数和指标，突出显示不同之处。
2. WandB
WandB，亦成称为权重和偏差（Weights & Biases），专注于深度学习。用户可以使用 Python 库跟踪应用程序的实验；并且，作为一个团队，可以看到彼此的实验。
WandB 是一项托管服务，可让您在一个地方备份所有实验并与团队一起开展项目（工作共享功能可供使用）。
在 WandB 中，用户可以记录和分析多种数据类型。
权重和偏差总结：
- 监控训练运行信息，如损失、准确率（学习曲线）
- 查看权重和偏差或梯度的直方图
- 在训练期间记录丰富的对象，例如图表、视频、音频或交互式图表
- 使用各种比较工具，例如：显示自动差异的表格、平行坐标图等
- 对象检测模型的交互式预测边界框可视化
- 语义分割模型的交互式预测掩码可视化
3. Comet.ml
Comet 是一个元机器学习平台，用于跟踪、比较、解释和优化实验和模型。
与 Neptune 或 WandB 等许多其他工具一样，Comet 为您提供了一个开源 Python 库，允许数据科学家将他们的代码与 Comet 集成并开始跟踪应用程序中的工作。
由于它同时提供云托管和自托管，用户可以拥有团队项目并保存实验历史的备份。
Comet 通过预测性提前停止（该软件的免费版本不提供）和神经架构搜索（未来），正在向更自动化的 ML 方法靠近。
Comet.ml 总结：
- 使用视觉、音频、文本和表格数据的专用模块可视化样本，以检测过度拟合并轻松识别数据集的问题
- 您可以自定义和组合您的可视化
- 您可以监控您的学习曲线
- Comet 灵活的实验和可视化套件允许您记录、比较和可视化许多工件类型
4. TensorBoard
TensorBoard 提供机器学习实验所需的可视化和工具。 它是开源的，并提供了一套用于机器学习模型可视化和调试的工具。 TensorBoard 是市场上最受欢迎的解决方案，因此它与许多其他工具和应用程序广泛集成。
更重要的是，它拥有大量的工程师关系网，他们使用该软件并分享他们的经验和想法。 这使得一个强大的社区随时准备解决任何问题。 然而，该软件本身最适合个人用户。
TensorBoard 总结：
- 跟踪和可视化指标，例如损失和准确率
- 可视化模型图
- 查看权重、偏差或其他张量随时间变化的直方图
- 将embeddings投影到低维空间
- 显示图像、文本和音频数据
- 分析 TensorFlow 程序
请参阅 Neptune 和 TensorBoard 之间的深入比较。
5. Visdom
Visdom 是一个灵活地创建、组织、共享实时可视化、丰富数据的工具。它支持 Torch 和 Numpy。
Visdom 促进了远程数据的可视化，重点是支持科学实验，并具有一组简单的功能，可以针对各种用例进行组合。
Visdom 允许您反映统计计算的结果并与他人共享，方便测试、查看和实验，因为您的所有结果都以交互式形式呈现。
一个轻微的缺点可能是没有简单的方法来访问数据和比较连续运行。
Visdom 总结：
- 它有助于以交互方式可视化任何数据（包括远程机器进行模型训练）
- 它包含大量的可视化原子。在机器学习模型的上下文中，最有用的是：线图、直方图、散点图、图像、matplotlib 图形、音频、视频、html 对象，但有很多可供选择
- 可以将各种可视化元素组合成可视化仪表板
- 它可以轻松地与您的团队或合作者共享
- 由于您具有完全的可定制性，您可以创建自己喜欢的深度学习仪表板 -> 如此处所述
6. HiPlot
Hiplot 是一个简单的交互式可视化工具，可帮助 AI 研究人员发现高维数据中的相关性和模式。 它使用平行图和其他图形方式更清楚地表示信息。
HiPlot 可以从 Jupyter notebook快速运行，无需设置。 该工具使机器学习 (ML) 研究人员能够更轻松地评估其超参数的影响，例如：学习率、正则化和架构。 它也可以被其他领域的研究人员使用，这样他们就可以观察和分析与他们的工作相关的数据的相关性。
HiPlot 总结：
- 创建一个交互式平行图可视化，以轻松探索各种超参数-指标交互
- 根据平行图上的选择，实验表会自动更新
- 它超轻量级，可以在 notebooks 内使用或作为独立的网络服务器使用
总结
机器学习模型可视化工具非常重要，因为您的 ML 或深度学习模型的可视化概要可以更轻松地识别趋势和模式、理解关系以及与数据交互。
