最新基準測試顯示配備NVIDIAB200的Supermicro系統效能勝於上一代系統，每秒令牌生成量是上一代系統的3倍加州聖何西2025年4月3日--SuperMicroComputer,Inc.(SMCI)是人工智能/機器學習(AI/ML)、高效運算、雲端、儲存和5G/Edge的全面IT解決方案供應商，宣佈率先上市領先業界效能的系統。該系統使用NVIDIAHGX™B2008-GPU，在多個MLPerfInferencev5.0基準上領先業界。這些4U液體冷卻和10U風冷系統，已於多個選擇基準中，取得了最佳效能。在Llama2-70B和Llama3.1-405B基準測試中，Supermicro展示每秒令牌生成量(Token/s)為H2008-GPU系統3倍以上。NvidiaHGXB200系統Supermicro主席兼行政總裁CharlesLiang表示：「MLCommons於2025年已發佈的首批新基準測試證明，Supermicro仍然是人工智能行業領導者。我們的構建塊架構協助我們為各種工作負載，率先上市多個最佳化系統。我們將繼續與NVIDIA密切合作，微調我們多個系統和確保人工智能工作負載領導地位。」如欲更多最新MLPerfv5.0Inference基準資料，請瀏覽：https://mlcommons.org/benchmarks/inference-datacenter/Supermicro是唯一為多個風冷和液冷NVIDIAHGX™B2008-GPU系統，發佈MLPerfInference效能（在選定的基準上）的系統供應商。MLCommons基準測試開始日期前，多個風冷和液冷系統均已投入運作。Supermicro工程師們已最佳化多個系統和軟件，展示與眾不同的效能。在經營利潤範圍內，Supermicro風冷B200系統表現與液冷B200系統相同效能水準。Supermicro向客戶提供這些系統期間，我們同時進行基準測試。MLCommons強調全部結果都是可重複的，而該等產品的供應及結果可由其他MLCommons成員審核。Supermicro工程師們根據MLCommons規則，已最佳化多個系統和軟件。SYS-421GE-NBRT-LCC（8個NVIDIAB200-SXM-180GB）和SYS-A21GE-NBRT（8個NVIDIAB200-SXM-180GB）顯示運行Mixtral8x7BInference的效能領先地位，混合專家模型測試基準為每秒129,000個令牌。Supermicro風冷和液冷NVIDIAB200為本的系統，為大型Llama3.1-405b型號提供每秒超過1,000個令牌的推論，而前幾代GPU系統則較小很多。Supermicro系統配備NVIDIAB200SXM-180GB，並為了較小型推理任務而使用LLAMA2-70b基準，展現第1級系統供應商的最高效能。具體：StableDiffusionXL（伺服器）SYS-A21GE-NBRT（8個B200-SXM-180GB）#1每秒28.92個查詢llama2-70b-interactive-99（伺服器）SYS-A21GE-NBRT（8個B200-SXM-180GB）#1每秒62,265.70個令牌Llama3.1-405b（離線）SYS-421GE-NBRT-LCC(8個B200-SXM-180GB)#1每秒1521.74個令牌Llama3.1-405b（伺服器）SYS-A21GE-NBRT（8個B200-SXNM-180GB）#1每秒1080.31個令牌（適用於8個GPU節點）mixtral-8x7b（伺服器）SYS-421GE-NBRT-LCC（8個B200-SXM-180GB）#1每秒129,047.00個令牌mixtral-8x7b（離線）SYS-421GE-NBRT-LCC（8個B200-SXM-180GB）#1每秒128,795.00個令牌MLCommons的MLPerf主管DavidKanter表示：「MLCommons恭喜Supermicro提交MLPerfInferencev5.0基準測試結果。我們很高興得悉他們的結果較前幾代系統，顯著提升效能。客戶將對所實現的效能提升，感到滿意。這些提升已透過中立、具代表性兼可重複的MLPerf結果，獲得驗證。」Supermicro提供全面人工智能產品組合，當中包括超過100個GPU最佳化系統。這提供包括風冷和液冷選擇，並配備多種（從單插槽最佳化系統到8路多處理器系統）CPU選擇。Supermicro機架式系統包括運算、儲存和網路元件，減少送往到客戶地點後的安裝所需時間。Supermicro的NVIDIAHGXB2008-GPU系統，採用新一代液體冷卻和空氣冷卻技術。在相同4U外形尺寸內，最新開發的冷板和最新250kW冷卻液分配裝置(CDU)的冷卻能力，較上一代產品提升一倍以上。這提供42U、48U或52U配置選擇，附設最新垂直冷卻液分配歧管(CDM)機架級設計，不再佔用寶貴機架單位。這樣便可實現八個系統，包括42U機架內有64個NVIDIABlackwellGPU，以及最多12個配備52U機架內有96個NVIDIABlackwellGPU的系統。全新風冷式10UNVIDIAHGXB200系統，採用重新設計機架。這機架擴大散熱空間，並可容納八個1000WTDPBlackwellGPU。單一機架最多可安裝和完全整合4個新型10U風冷系統。這密度與上一代相同，同時提供高達15倍推理效能和3倍訓練效能。關於SuperMicroComputer,Inc.Supermicro（納斯達克股票代碼：SMCI）是應用程式最佳化全面IT解決方案的全球領導者。Supermicro在美國加州聖何西成立及營運，致力為企業、雲端、人工智能和5GTelco/EdgeIT基礎設施，帶來率先上市的創新。我們是伺服器、人工智能、儲存、物聯網、交換系統、軟件和支援服務的全面IT解決方案供應商。Supermicro的主機板、電源和機架設計專業知識，進一步協助我們的研發與生產，並為全球客戶提供從雲端至邊緣的新一代創新。我們的產品均由公司內部（在美國、亞洲和荷蘭）設計及製造，利用全球營運實現規模、效率和最佳化，從而改善TCO和降低對環境的影響（綠色運算）。屢獲殊榮的ServerBuildingBlockSolutions®產品組合，允許客戶透過從廣泛系統系列中作出選擇，而最佳化他們的實際工作負載和應用程式。這些系列均建基於我們的靈活兼可重複使用構建塊，而這些構建塊支援各種尺寸、處理器、記憶體、GPU、儲存、網絡、電源和冷卻解決方案（空調、自由風冷或液體冷卻）。Supermicro、ServerBuildingBlockSolutions和WeKeepITGreen，均為SuperMicroComputer,Inc.的商標和/或註冊商標。全部其他品牌、名稱和商標，均為它們各自擁有者的財產。
最新基準測試顯示配備 NVIDIA B200 的 Supermicro
系統效能勝於上一代系統，每秒令牌生成量是上一代系統的 3 倍
加州聖何西2025年4月3日 -- Super Micro Computer, Inc. (SMCI) 是人工智能/機器學習 (AI/ML)、高效運算、雲端、儲存和 5G/Edge 的全面 IT 解決方案供應商，宣佈率先上市領先業界效能的系統。該系統使用 NVIDIA HGX™ B200 8-GPU，在多個 MLPerf Inference v5.0 基準上領先業界。這些 4U 液體冷卻和 10U 風冷系統，已於多個選擇基準中，取得了最佳效能。在 Llama2-70B 和 Llama3.1-405B 基準測試中，Supermicro 展示每秒令牌生成量 (Token/s) 為 H200 8-GPU 系統 3 倍以上。
Nvidia HGX B200 系統
【請點我，AI告訴你更多和這新聞有關的資訊】
基於這篇文章，我可以提供一些相關的延伸知識：
MLPerf是機器學習性能評估的行業標準基準測試，由MLCommons這個非營利組織創建和維護。這些基準測試旨在提供客觀的比較方式，用於評估不同硬件和軟件解決方案在執行各種機器學習任務時的性能。MLPerf Inference v5.0是專門測試推理(inference)性能的最新版本，評估AI模型在部署後處理新數據的速度。
NVIDIA Blackwell GPU架構是NVIDIA的最新一代GPU架構，B200是其中的代表產品。相比前一代的Hopper架構(H100)，Blackwell架構帶來了顯著的性能提升和能效改進。B200-SXM-180GB指的是具有180GB HBM3E高帶寬內存的B200 GPU，採用SXM接口形式。
每秒令牌生成量(Token/s)是衡量大型語言模型(LLM)性能的關鍵指標。"令牌"可以是單詞的一部分、完整單詞或標點符號，LLM處理和生成這些令牌的速度直接影響用戶體驗和系統吞吐量。
文中提到的Llama2-70B、Llama3.1-405B和Mixtral-8x7B都是目前業界領先的大型語言模型。Llama系列由Meta開發，數字表示模型的參數數量（70B代表700億參數，405B代表4050億參數）。Mixtral-8x7B是由Mistral AI開發的MoE(Mixture of Experts)架構模型，它不是單一的模型，而是8個專家模型的組合，每個有70億參數。
液體冷卻技術在高性能計算領域越來越重要，特別是對於高功耗的GPU系統。相比傳統的風冷系統，液冷能更有效地散熱，允許系統在更高的性能水平運行，同時減少能源消耗。冷板(cold plate)是液冷系統中直接接觸CPU或GPU的金屬部件，用於從處理器傳導熱量到冷卻液中。
冷卻液分配裝置(CDU, Cooling Distribution Unit)和冷卻液分配歧管(CDM, Cooling Distribution Manifold)是數據中心液冷系統的關鍵組件。CDU負責循環和調節冷卻液的溫度，而CDM則分配冷卻液到各個服務器機架或系統。
TDP(Thermal Design Power)是指處理器或GPU在最大負載下產生的熱量，以瓦特(W)為單位。文中提到的1000W TDP Blackwell GPU表示在最大負載下，每個B200 GPU可能產生高達1000瓦特的熱量，需要強大的冷卻系統來維持正常運行溫度。
Supermicro 主席兼行政總裁 Charles Liang 表示：「MLCommons 於 2025 年已發佈的首批新基準測試證明，Supermicro 仍然是人工智能行業領導者。我們的構建塊架構協助我們為各種工作負載，率先上市多個最佳化系統。我們將繼續與 NVIDIA 密切合作，微調我們多個系統和確保人工智能工作負載領導地位。 」
如欲更多最新 MLPerf v5.0 Inference 基準資料，請瀏覽：https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro 是唯一為多個風冷和液冷 NVIDIA HGX™ B200 8-GPU 系統，發佈 MLPerf Inference 效能（在選定的基準上）的系統供應商。MLCommons 基準測試開始日期前，多個風冷和液冷系統均已投入運作。Supermicro 工程師們已最佳化多個系統和軟件，展示與眾不同的效能。在經營利潤範圍內，Supermicro 風冷 B200 系統表現與液冷 B200 系統相同效能水準。Supermicro 向客戶提供這些系統期間，我們同時進行基準測試。
MLCommons 強調全部結果都是可重複的，而該等產品的供應及結果可由其他 MLCommons 成員審核。Supermicro 工程師們根據 MLCommons 規則，已最佳化多個系統和軟件。
SYS-421GE-NBRT-LCC（8 個 NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8 個 NVIDIA B200-SXM-180GB）顯示運行 Mixtral 8x7B Inference 的效能領先地位，混合專家模型測試基準為每秒 129,000 個令牌。Supermicro 風冷和液冷 NVIDIA B200 為本的系統，為大型 Llama3.1-405b 型號提供每秒超過 1,000 個令牌的推論，而前幾代 GPU 系統則較小很多。Supermicro 系統配備 NVIDIA B200 SXM-180GB，並為了較小型推理任務而使用 LLAMA2-70b 基準，展現第 1 級系統供應商的最高效能。
具體：
- Stable Diffusion XL（伺服器）
SYS-A21GE-NBRT（8 個 B200-SXM-180 GB）
#1 每秒 28.92 個查詢
- llama2-70b-interactive-99（伺服器）
SYS-A21GE-NBRT（8 個 B200-SXM-180 GB）
#1 每秒 62,265.70 個令牌
- Llama3.1-405b（離線）
SYS-421GE-NBRT-LCC (8 個 B200-SXM-180GB)
#1 每秒 1521.74 個令牌
- Llama3.1-405b（伺服器）
SYS-A21GE-NBRT（8 個 B200-SXNM-180 GB）
#1 每秒 1080.31 個令牌（適用於 8 個 GPU 節點）
- mixtral-8x7b（伺服器）
SYS-421GE-NBRT-LCC（8 個 B200-SXM-180 GB）
#1 每秒 129,047.00 個令牌
- mixtral-8x7b（離線）
SYS-421GE-NBRT-LCC（8 個 B200-SXM-180 GB）
#1 每秒 128,795.00 個令牌
MLCommons 的 MLPerf 主管 David Kanter 表示：「MLCommons 恭喜 Supermicro 提交 MLPerf Inference v5.0 基準測試結果。我們很高興得悉他們的結果較前幾代系統，顯著提升效能。客戶將對所實現的效能提升，感到滿意。這些提升已透過中立、具代表性兼可重複的 MLPerf 結果，獲得驗證。」
Supermicro 提供全面人工智能產品組合，當中包括超過 100 個 GPU 最佳化系統。這提供包括風冷和液冷選擇，並配備多種（從單插槽最佳化系統到 8 路多處理器系統）CPU 選擇。Supermicro 機架式系統包括運算、儲存和網路元件，減少送往到客戶地點後的安裝所需時間。
Supermicro 的 NVIDIA HGX B200 8-GPU 系統，採用新一代液體冷卻和空氣冷卻技術。在相同 4U 外形尺寸內，最新開發的冷板和最新 250kW 冷卻液分配裝置 (CDU) 的冷卻能力，較上一代產品提升一倍以上。這提供 42U、48U 或 52U 配置選擇，附設最新垂直冷卻液分配歧管 (CDM) 機架級設計，不再佔用寶貴機架單位。這樣便可實現八個系統，包括 42U 機架內有 64 個 NVIDIA Blackwell GPU，以及最多 12 個配備 52U 機架內有 96 個 NVIDIA Blackwell GPU 的系統。
全新風冷式 10U NVIDIA HGX B200 系統，採用重新設計機架。這機架擴大散熱空間，並可容納八個 1000W TDP Blackwell GPU。單一機架最多可安裝和完全整合 4 個新型 10U 風冷系統。這密度與上一代相同，同時提供高達 15 倍推理效能和 3 倍訓練效能。
關於 Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）是應用程式最佳化全面 IT 解決方案的全球領導者。Supermicro 在美國加州聖何西成立及營運，致力為企業、雲端、人工智能和 5G Telco/Edge IT 基礎設施，帶來率先上市的創新。我們是伺服器、人工智能、儲存、物聯網、交換系統、軟件和支援服務的全面 IT 解決方案供應商。Supermicro 的主機板、電源和機架設計專業知識，進一步協助我們的研發與生產，並為全球客戶提供從雲端至邊緣的新一代創新。我們的產品均由公司內部（在美國、亞洲和荷蘭）設計及製造，利用全球營運實現規模、效率和最佳化，從而改善 TCO 和降低對環境的影響（綠色運算）。屢獲殊榮的 Server Building Block Solutions® 產品組合，允許客戶透過從廣泛系統系列中作出選擇，而最佳化他們的實際工作負載和應用程式。這些系列均建基於我們的靈活兼可重複使用構建塊，而這些構建塊支援各種尺寸、處理器、記憶體、GPU、儲存、網絡、電源和冷卻解決方案（空調、自由風冷或液體冷卻）。
Supermicro、Server Building Block Solutions 和 We Keep IT Green，均為 Super Micro Computer, Inc. 的商標和/或註冊商標。
全部其他品牌、名稱和商標，均為它們各自擁有者的財產。
【請點我，AI告訴你更多和這新聞有關的資訊】
現正直播
台灣第一 人民最大
