AMD 对 NVIDIA 的 H100 TensorRT-LLM 数据做出回应，MI300X 在运行优化时再次在 AI 基准测试中处于领先地位软件。

AMD 与NVIDIA 与两家 GPU 制造商展开了激烈的战斗，两家 GPU 制造商都声称使用 H100 和 H100 的优化软件堆栈在 AI 方面具有优势。 MI300X芯片

两天前，NVIDIA 发布了其 Hopper H100 GPU 的新基准，以展示他们的芯片性能比 AMD 展示的要好得多在“推进人工智能”期间 红队将其全新的 Instinct MI300X GPU 与 Hopper H100 芯片进行了比较，后者已经推出一年多了，但仍然是人工智能行业最受欢迎的选择。 AMD 使用的基准测试并未使用 TensorRT-LLM 等优化库，而 TensorRT-LLM 为 NVIDIA 的 AI 芯片提供了巨大的提升。

使用 TensorRT-LLM 使 Hopper H100 GPU 的性能比 AMD 的 Instinct MI300X GPU 提高了近 50%。现在，AMD 正全力反击 NVIDIA，展示 MI300X 如何在 Hopper H100 运行其优化的软件堆栈时仍然保持比 H100 更快的性能。根据 AMD 的说法，NVIDIA 公布的数字：

在 H100 上使用 TensorRT-LLM，而不是 AMD 基准测试中使用的 vLLM

AMD Instinct MI300X GPU 上的 FP16 数据类型与 H100 上的 FP8 数据类型的性能比较

将 AMD 发布的性能数据从相对延迟数转换为绝对吞吐量

因此，AMD 决定进行更公平的比较，根据最新数据，我们发现在 vLLM 上运行的 Instinct MI300X 比在 TensorRT-LLM 上运行的 Hopper H100 性能提高了 30%。