4006605680

迈络思交换机,mellanox交换机,迈络思IB网卡,迈络思IB交换机,迈络思线缆,迈络思网卡,无线ap,英伟达,NVIDIA, Mellanox交换机, Mellanox 高速以太网交换机, 低延迟 Mellanox 交换机, 数据中心, Mellanox 交换机, 高性能计算, Mellanox 交换机, 云计算用 Mellanox 交换机, Mellanox 交换机网络带宽
目前位置:首页>>新闻中心

NVIDIA BioNeMo Recipes 发布:用 LoRA 高效微调生物基础模型

发布时间:2026-06-26 13:41:34

基础模型正在重塑计算生物学。在大量蛋白质或基因组序列上预训练的 ESM2 和 Evo 2 等模型,能够捕捉生物序列的统计规律。然而,将这些模型适配到特定任务面临挑战——全参数微调在数十亿参数规模下计算和存储开销巨大。

LoRA 直接解决了这一难题:通过保持预训练骨干网络冻结,仅训练一小套低秩适配器矩阵,LoRA 可在训练约 1% 参数的情况下匹配全参数微调的质量,在单台工作站 GPU 上即可容纳十亿级模型及其适配器状态。

NVIDIA BioNeMo Recipes 提供了基于 PyTorch、Hugging Face 和 Megatron-Bridge 模式构建的逐步训练指南。文章展示了两个案例:ESM2-3B 加 LoRA 进行蛋白质二级结构预测,以及 Evo2-1B 加 LoRA 进行 DNA 剪接位点分类。所有代码均可在 NVIDIA BioNeMo Recipes 开源仓库中找到。