2024 我們很興奮地宣布，Meta 已在其最新的乙太網路 AI 叢集中部署了 Arista 7700R4 分散式 Etherlink 交換機 (DES)1。回顧我們如何達到這一點以及與 Meta 合作關係的實力是很有意義的。

當 ChatGPT 問世時，AI 市場發生了變化，它引起了前所未有的轟動，關於認知 AI 的力量、影響和益處開始引起更廣泛世界的共鳴。Arista 與 Meta 在合作開發方面的夥伴關係可以追溯到 2018 年發布的「7368X4」迷你封裝 100G 系統，隨後是廣泛部署的 OCP 啟發系統的連續迭代。

AI 網路的持續演進

然而，Arista 在高效能運算 (HPC)、AI 和機器學習方面的經驗可以追溯到公司創立之初，當時許多首批客戶正在建立大型運算網路來處理工作負載，例如石油和天然氣、研究、醫療、金融 (HFT) 等領域。2008 年的網路需求與 2024 年的需求並沒有太大不同，包括非阻塞效能、高速介面、流量管理工具、監控和可見性。

改變的是規模

2010 年的典型 HPC 叢集以 10G 乙太網路運行，數百個節點連接到由模組化 7500E 系列系統組成的網路。到 2024 年，事實上的速度是 400G 乙太網路，互連速度達到 800G，AI 叢集的規模已增加到數千個運算節點，每個節點包含多個 XPU。

隨著大型 AI 語言模型 (LLM) 的擴展，更高的頻寬和更具挑戰性的工作負載最適合乙太網路——關於 IB 的爭論已解決！ 嚴苛的 AI 應用程式需要最佳的網路單一系統不可能滿足整個資料中心網路的網路需求。任何單一系統都會受到單一網路封包處理器，或在多晶片系統中，網路機架大小和計算節點之間距離的物理和邏輯容量限制。因此，我們建立了多層級的「網路」以擴展來滿足總體需求。

Arista 7800R4 是一種高效能多晶片系統，可擴展至超過 1,000 個 400G 埠，是許多大型資料中心網路的骨幹。對於需要連接數萬個 400G XPU 的 AI 網路，我們很快就達到了單一 7800R4 的限制，需要多個網路層級。現今，許多大型 AI 設計已在後端網路中部署了兩層甚至三層的葉脊架構系統，並提供固定和模組化系統的選擇。在這些設計中，每個平台都是一個獨立節點，獨立做出轉發決策，沒有自動或協調的節點間通訊以實現無損傳輸。雖然這提供了最大的自主性並具有廣泛的多供應商互通性，但它也透過強制明確配置節點之間支援 AI 的擁塞管理、效能調整和負載平衡機制來增加複雜性。

供應商和客戶正在共同努力，作為 Ultra Ethernet Consortium (UEC) 的一部分，提出改進方案，以解決在具有密集 AI 工作負載的大型多層級網路中與無損傳輸、高效封包分發、擁塞和流量管理相關的一些挑戰。 理想情況下，在一個完美的世界中，單一系統將能夠擴展並提供足夠的容量，從而避免需要構建兩層網路，但目前市面上常見的模組化資料中心交換機系統都圍繞單一機架的容量和其他限制進行設計。

是時候改變採用分散式 AI 平台了 7700R4 DES 平台非常不同。雖然它在物理上可能看起來並像兩層葉脊網路一樣佈線，但相似之處僅止於此。DES 提供單跳轉發，具有高效能的結構脊骨層，該層是一個獨立、自主的系統，具有本地轉發查詢和獨立路徑選擇決策。 7700R4 DES 結合了 Arista R 系列架構的最佳優勢，包括專用的 VoQ 用於緩衝密集流、內部 100% 高效能負載平衡，無需調校，以及快速故障轉移。

Arista 7700R4 DES 是根據我們長期客戶 Meta 的意見開發的。Meta 根據他們使用 7800R3 的經驗，了解 R 系列架構對於 AI 工作負載的優勢，但他們希望有一個更大規模的解決方案，提供所有相同的優勢並能順利過渡到 800G。 7700R4 表現得像一個單一系統，配備專用深緩衝區，以確保整個乙太網路 AI 網路的系統級無損傳輸。DES 具有拓撲無關性、支援 UEC、針對訓練和推論工作負載進行了優化，擁有 100% 高效架構，並提供現代 AI 中心所需的豐富遙測和智慧功能。