分离式 LLM 推理部署：在 Kubernetes 上拆分 Prefill 与解码阶段

随着 LLM 推理工作负载日益复杂，单一的推理服务进程开始触及瓶颈Prefill 和解码阶段具有截然不同的计算特征，但传统部署方式强制它们在相同硬件上运行，导致 GPU 利用率低下且扩缩容缺乏灵活性。...

NVIDIA NIXL 开源发布：统一的 AI 推理分布式数据移动库

部署大语言模型需要大规模分布式推理，将模型计算和请求处理分散到多个 GPU 和节点上在此过程中，KV 缓存传输、激活值调度和存储访问等数据移动操作成为关键瓶颈。...

NVIDIA Dynamo 全栈优化：为智能体推理实现 97% KV 缓存命中率

编程智能体正在大规模编写生产代码Stripe 的智能体每周生成 1300+ 个 PR，Ramp 30% 的合入 PR 由智能体完成。...

NVIDIA Run:ai + NIM：智能调度实现 GPU 利用率翻倍

部署 LLM 的企业面临推理工作负载多样化的挑战一个小型嵌入模型可能只需几 GB 显存，而 70B+ 参数的大模型则需要多块 GPU这种差异往往导致 GPU 平均利用率低下、计算成本高昂且延迟不可预测...

NVIDIA TensorRT LLM AutoDeploy 发布：自动编译 PyTorch 模型为优化推理引擎

NVIDIA TensorRT LLM 让开发者能够为大型语言模型构建高性能推理引擎，但传统上部署新架构需要大量手动工作。...

NVIDIA Dynamo Snapshot：将 Kubernetes 推理冷启动从分钟级降至秒级

在生产推理部署中，请求量随时间波动，需要推理副本弹性扩缩容。...

NVIDIA Model Optimizer 模型量化实战：FP8 训练后量化降低显存占用

模型量化是一种高效降低显存占用并提升推理性能的方法，尤其适合在资源受限的环境中运行 AI 模型通过降低计算和内存需求的同时保持模型质量，量化技术帮助 AI 模型在消费级 GPU 上更高效地运...

Step 3.7 Flash 登陆 NVIDIA GPU：198B 参数企业级多模态 AI 模型

AI 应用正在超越纯文本生成，迈向能够实时感知、搜索和推理图像、文档、视频和语言的多模态系统。...