分布式深度学习依赖 NCCL 实现快速可靠的 GPU 间通信。当训练变慢时，问题可能涉及计算、通信、特定节点或底层硬件。NVIDIA NCCL Inspector 通过轻量级持续报告加速问题排查，现在新增 Prometheus 实时监控模式。

Prometheus 模式是 NCCL 2.30 的重大增强，将 NCCL Inspector 指标与 Prometheus 集成，转换为适合 Grafana 可视化的时间序列数据。相比传统 JSON 模式需要大量存储空间，Prometheus 模式通过节点导出器将指标数据直接发送到 Prometheus，无需在磁盘上保留大量 JSON 文件。

开发者可通过配置环境变量启用 Prometheus 模式，设置 NCCL 分析器插件和导出间隔，即可在基础设施仪表板中实时查看 NCCL 通信性能的时间序列可视化。