FP8 在大模型训练中的应用、挑战及实践

越来越多的技术团队开始使用 FP8 进行大模型训练，这主要因为 FP8 有很多技术优势，比如在新一代的 GPU 上，FP8 相对于 BF16 对矩阵乘算子这样的计算密集型算子...

NVIDIA Blackwell 在 MLPerf 训练 v4.1 中将 LLM 训练性能提高一倍

随着模型规模的扩大以及使用更多数据进行训练，它们的能力也随之提升，实用性也随之提升。...

探索采用自主 AI 和 NVIDIA 机密计算的超级协议案例

机密和自主的 AI 是一种新的 AI 开发、训练和推理方法，其中用户的数据是去中心化的、私有的，并由用户自己控制。本文将探讨如何通过使用区块链技术的去中心化来扩展 Confidential Compu...

深度学习模型提高远程天气和气候预测的准确性

华盛顿大学大气科学系教授 Dale Durran 介绍了一种突破性的深度学习模型，该模型结合了大气和海洋数据来设定新的气候和天气预报准确性标准。...

NVIDIA RAPIDS 加速大型数据集的因果关系推理

随着消费者应用生成的数据比以前更多，企业开始采用观察数据的因果关系推理方法，以帮助阐明应用的各个组件的更改如何影响关键业务指标。...

NVIDIA DOCA 2.9 借助新性能和安全功能强化人工智能和云计算基础设施

NVIDIA DOCA 通过为开发者提供全面的软件框架来利用硬件加速来增强 NVIDIA 网络平台的功能，从而提高性能、安全性和效率。...

NVIDIA NIM 1.4 现已部署可用，推理速度提升 2.4 倍

随着 生成式 AI 重塑各行各业，对可立即部署的高性能推理的需求也在不断增长。 NVIDIA NIM 为 AI 模型推理提供生产就绪型微服务容器，不断提高企业级生成式 AI 性能。...

借助 NVIDIA TensorRT-LLM 分块预填充提高 AI 推理效率和简化部署

在本 博文 中，我们详细介绍了分块预填充，这是 NVIDIA TensorRT-LLM 的一项功能，可提高 GPU 利用率并简化开发者的部署体验。...