每颗现代电子设备的核心都有一块硅芯片，其制造过程精度极高，即使微观缺陷也可能决定成败。传统基于 CNN 的自动缺陷分类正在触及极限。NVIDIA 展示了利用生成式 AI 和视觉基础模型革新半导体缺陷分类的方案。

CNN 方法面临三大挑战：需要数千张标注图像、缺乏语义理解能力、因工艺变化需要频繁重新训练。NVIDIA 采用视觉语言模型和视觉基础模型来解决这些问题，将传统 ADC 升级为更智能的系统。

VLM 可对晶圆图图像进行分类，VFM 可对芯片级图像进行分类。相比 CNN，VLM 无需大量标注数据即可理解缺陷的上下文语义，并能进行根本原因分析和多模态数据整合。这些方案已应用于前道工艺和后道封装的多个制造环节。