大语言模型正在改变金融交易领域的面貌。通过分析海量非结构化数据生成可执行的交易洞察，这些先进的 AI 系统能够处理财经新闻、社交媒体情绪、财报数据和市场行情，以前所未有的精度预测股价走势并自动化投资策略。

STAC（Strategic Technology Analysis Center）过去 15 年来一直为金融行业开发关键工作负载基准测试。其 STAC-AI 基准旨在帮助评估企业端到端 RAG 和 LLM 推理管线性能。最新测试结果显示，NVIDIA Blackwell 平台在 STAC-AI LANG6 推理基准上创下了新的纪录。

STAC-AI LANG6 基准聚焦 LLM 推理性能，测试基于 Llama 3.1 8B Instruct 和 Llama 3.1 70B Instruct 模型，使用基于 EDGAR 财报文件的金融数据集。其中 EDGAR4 模拟中等长度请求的企业关系总结场景，EDGAR5 则针对长上下文的完整 10-K 财报分析场景。

基准测试涵盖批处理（离线）和交互（在线）两种推理模式。批处理模式下所有请求同时输入并收集响应；交互模式则模拟请求以伪随机时间到达的真实场景，测量反应时间、每秒词汇量和输出速率等关键指标。与其他基准不同，STAC-AI 要求在推理过程中实时应用对话模板和分词处理，更贴近生产部署的真实负载。

测试涉及多个硬件平台，包括基于 NVIDIA Hopper 架构的服务器、NVIDIA RTX PRO 6000 Blackwell 服务器版系统以及 NVIDIA HGX B200 平台，均搭载 TensorRT LLM 推理引擎。Blackwell 平台在多项测试中取得了领先的吞吐和响应时间表现，展示了新一代 GPU 架构在金融 AI 推理场景中的优势。

对于量化交易公司、投资银行和对冲基金而言，这意味着更快的模型推理速度可以实现更及时的交易信号生成和更大规模的市场分析覆盖。随着金融行业对实时 AI 推理需求的持续增长，Blackwell 在 STAC-AI 上的表现表明，GPU 架构的持续迭代正在为金融科技带来可量化的性能提升。