今日，MLCommons 公布針對 60 億參數大語言模型及計算機視覺與自然語言處理模型 GPT-J 的 MLPerf 推理 v3.1 性能基準測試結果，其中包括英特爾所提交的基于 Habana^? Gaudi^?2 加速器、第四代英特爾 ^? 至強 ^? 可擴展處理器，以及英特爾 ^? 至強 ^? CPU Max 系列的測試結果。該結果顯示了英特爾在 AI 推理方面極具競爭力的表現，并進一步加強了其對加速從云到網絡到邊緣再到端的工作負載中大規模部署 AI 的承諾。

英特爾執行副總裁兼數據中心與人工智能事業部總經理 Sandra Rivera 表示：“正如最新的 MLCommons 結果顯示，我們擁有強大的、具有競爭力的人工智能產品組合以滿足客戶對高性能、高效率的深度學習推理及訓練的需求，同時，針對各種規模的人工智能模型，英特爾產品組合均具有領先的性價比優勢。”

根據 6 月披露的 MLCommons AI 訓練結果和 Hugging Face 性能基準測試驗證，Gaudi2 在先進的視覺語言模型上，性能可以超越英偉達的 H100 處理器，而今天的結果進一步證明了英特爾能夠提供滿足 AI 計算需求的、英偉達 H100 和 A100 的唯一可行的替代方案。

考慮到客戶的個性化需求，英特爾正在通過能夠幫助解決 AI 工作負載中推理與訓練問題的產品，讓 AI 無處不在。英特爾的 AI 產品為客戶提供了可根據各自性能、效率及目標成本進行靈活匹配以獲取最佳 AI 解決方案的理想選擇，同時亦幫助客戶開放生態系統。

關于 Habana Gaudi2 的測試結果：

Habana Gaudi2 在 GPT-J 模型上的推理結果強有力地驗證了其具有競爭力的性能。

?Gaudi2 在 GPT-J-99 和 GPT-J-99.9 上的服務器查詢和離線樣本的推理性能分別為 78.58 次 / 秒和 84.08 次 / 秒。

?與英偉達 H100 相比，Gaudi2 提供了令人信服的卓越性能，H100 相對于 Gaudi2 僅表現出 1.09 倍（服務器）和 1.28 倍（離線）的輕微性能優勢。

?Gaudi2 擁有高于英偉達 A100 2.4 倍（服務器）、 2 倍（離線）的性能。

?Gaudi2 提交的結果采用 FP8 數據類型，并在這種新數據類型上達到了 99.9% 的準確率。

隨著每 6-8 周公布的 Gaudi2 軟件更新，英特爾將繼續在 MLPerf 基準測試中展現其產品的性能提升，以及持續擴大的模型覆蓋范圍。

Habana Gaudi2 在 GPT-J 模型上的推理結果驗證了其具有競爭力的性能

關于第四代至強可擴展處理器的測試結果：

英特爾提交了基于第四代英特爾至強可擴展處理器的 7 個推理基準測試，其中包括 GPT-J 模型。結果顯示，包括視覺、語言處理、語音和音頻翻譯模型，以及更大的 DLRM v2 深度學習推薦模型及 ChatGPT-J 模型在內，第四代至強處理器對于通用 AI 工作負載擁有出色的性能。此外，截至目前，英特爾仍是唯一一家使用行業標準的深度學習生態系統軟件提交公開 CPU 結果的廠商。

?第四代英特爾至強可擴展處理器是通過流行的 AI 框架與庫構建及部署通用 AI 工作負載的理想選擇。對于 GPT-J 對約 1000-1500 字新聞稿進行 100 字總結的任務，第四代至強可擴展處理器可在離線模式下完成每秒兩段的總結提要，在實時服務器模式下完成每秒一段的總結提要。

?英特爾首次提交了英特爾至強 CPU Max 系列的 MLPerf 結果，該系列可提供高達 64 GB 的高帶寬內存。對于 GPT-J 而言，它是僅有的能夠達到 99.9% 準確度的 CPU，這對于對精度要求極高的應用來說至關重要。

?英特爾與 OEM 廠商合作提交了測試結果，進一步展示了其 AI 性能的可擴展性，以及基于英特爾至強處理器的通用服務器的可獲取性，充分滿足客戶服務水平協議 (SLA)。

第四代至強可擴展處理器是構建及部署通用 AI 工作負載的理想選擇

MLPerf 是業內享有盛名的 AI 性能基準測試，旨在實現公平、可重復的產品性能比較。英特爾計劃為下一個 MLPerf 測試提交新的 AI 訓練性能結果。持續的性能更新彰顯了英特爾致力于幫助客戶、助力 AI 技術演進所邁出的每一步，無論是低成本的 AI 處理器，還是面向網絡、云和企業用戶的高性能 AI 硬件加速器或是 GPU。

更多內容：基于 MLPerf v.31 推理的性能指標（基準結果）| MLCommons 公告

說明：相關配置說明，請查看 MLCommons 網頁。結果可能不同。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，早報網所有文章均包含本聲明。