Arista gibt Antworten auf den Druck, den KI auf Netzwerke ausübt

Wenn Netze die Möglichkeiten der KI voll ausschöpfen sollen, müssen sie hochleistungsfähige Konnektivität ohne Paketverluste bieten

Martin Hull, Vice President of Product Management for Cloud Titans and Platforms bei Arista Networks, erklärte, dass die heutigen traditionellen Netzwerkverbindungen nicht die Skalierung und Bandbreite bieten können, die für die Erfüllung der KI-Anforderungen erforderlich sind. In der Vergangenheit waren die einzigen Optionen für die Verbindung von Prozessorkernen und Speicher proprietäre Interconnects wie InfiniBand, PCI Express und andere Protokolle für die Verbindung von Rechenclustern und deren Auslagerung, die jedoch in den meisten Fällen nicht für KI und ihre Arbeitslastanforderungen geeignet sind.

Arista Artificial Intelligence Wirbelsäule

Um diese Probleme zu lösen, entwickelt Arista eine Technologie namens AI Spine, für die Rechenzentrums-Switches mit tiefen Paketpuffern und Netzwerksoftware erforderlich sind, die eine Echtzeitüberwachung bietet, um die Puffer zu verwalten und den Datenverkehr effizient zu steuern.

"Wir sehen eine Welle von KI-, natürlichsprachlichen und auf maschinellem Lernen basierenden Anwendungen, bei denen riesige Datenmengen auf Hunderte oder Tausende von Prozessoren (CPUs, GPUs) verteilt werden, die alle mit der Aufgabe belastet sind, die Aufgabe zu berechnen, sie in Teile zu zerlegen, jeden Teil zu verarbeiten und ihn dann zurückzuschicken", so Hull.

"Wenn Ihr Netzwerk einen Fehler macht und der Datenverkehr abbricht, bedeutet dies, dass die KI-Workloads verspätet starten, weil sie erneut übertragen werden müssen. Wenn bei der Verarbeitung dieser KI-Workloads der Datenverkehr wieder hin- und hergeschoben wird, verlangsamt sich die KI-Arbeitsgeschwindigkeit, und es kann sogar zu Ausfällen kommen."

AI-Wirbelsäulenarchitektur

Aristas AI Spine basiert auf den Rechenzentrums-Switches der 7800R3-Serie, die eine Switching-Kapazität von 460 TBit/s und Hunderte von 40-GBit/s-, 50-GBit/s-, 100-GBit/s- oder 400-GBit/s-Schnittstellen sowie 384 GB tiefe Puffer am oberen Ende unterstützen.

"Der Tiefenpuffer ist der Schlüssel, um den Datenfluss aufrechtzuerhalten und keine Daten zu verlieren", so Hull. "Einige Leute sind besorgt über Latenzzeiten bei großen Puffern, aber unsere Analyse zeigt nicht, dass dies hier der Fall ist.

Das AI Spine-System wird von Aristas zentraler Netzwerksoftware Extensible Operating System (EOS) gesteuert, die verlustfreie, Ethernet-basierte Netzwerke mit hoher Bandbreite und niedriger Latenz unterstützt, die Tausende von GPUs mit Geschwindigkeiten von 100Gbps, 400Gbps und 100Gbps miteinander verbinden können, so das White Paper von AI Spine.

Um dies zu unterstützen, schaffen Switches und EOS-Pakete eine Fabric, die Pakete zerlegt und in einheitlich große Einheiten umformatiert, um sie gleichmäßig in der Fabric zu "versprühen", so Arista. Damit soll sichergestellt werden, dass alle verfügbaren Pfade innerhalb der Fabric gleichmäßig genutzt werden und keine Pakete verloren gehen.

"Die zellbasierte Architektur kümmert sich nicht um die Verbindungsgeschwindigkeiten auf der Vorderseite, und das Mischen und Anpassen von 100G, 200G und 400G erfordert nur geringe Bedenken", schreibt Arista. "Darüber hinaus macht die Zellstruktur immun gegen das 'Flow Collision'-Problem von Ethernet-Fabrics. Ein verteilter Scheduling-Mechanismus wird innerhalb des Switches verwendet, um Fairness für den Datenverkehr zu gewährleisten, der um den Zugang zu überlasteten Ausgangsports konkurriert."

Da jeder Datenfluss jeden verfügbaren Pfad nutzt, um sein Ziel zu erreichen, eignet sich die Struktur gut für die Handhabung von "Elefantenflüssen" mit hohem Datenverkehr, wie sie bei KI/ML-Anwendungen üblich sind, so dass "es keine internen Hotspots im Netzwerk gibt", schreibt Arista.

Wirbelsäulenmodell mit künstlicher Intelligenz

Um die Funktionsweise von AI Spine zu erläutern, werden im Whitepaper von Arista zwei Beispiele angeführt.

Erstens: Das dedizierte Leaf- und Spine-Design des Arista 7800 ermöglicht den Anschluss von etwa Hunderten von Server-Racks, und die intelligenten Load-Balancing-Funktionen von EOS steuern den Datenverkehr zwischen den Servern, um Konflikte zu vermeiden.

QoS-Klassifizierung, Explicit Congestion Notification (ECN) und Priority Flow Control (PFC) Schwellenwerte werden auf allen Switches konfiguriert, um Paketverluste zu vermeiden. Der Latency Analyzer (LANZ) von Arista EOS bestimmt geeignete Schwellenwerte, um Paketverluste zu vermeiden und gleichzeitig einen hohen Durchsatz aufrechtzuerhalten, und ermöglicht die Skalierung des Netzwerks, während die Latenz vorhersehbar und niedrig bleibt.

Der zweite Anwendungsfall kann auf Hunderte von Endpunkten skaliert werden, indem alle GPU-Modi direkt mit dem 7800R3-Switch in AI Spine verbunden werden. Das Ergebnis ist eine Fabric, die einen einzigen Hop zwischen allen Endpunkten bietet, die Latenz reduziert und ein einziges, großes, verlustfreies Netzwerk ermöglicht, das keine Konfiguration oder Abstimmung erfordert, schreibt Arista.

Herausforderungen der vernetzten künstlichen Intelligenz

Die Nachfrage nach der AI Spine-Architektur wird vor allem durch Technologien und Anwendungen wie Servervirtualisierung, Anwendungscontainerisierung, Multi-Cloud-Computing, Web 2.0, Big Data und HPC getrieben. "Um die Leistung dieser neuen Technologien zu optimieren und zu verbessern, haben sich verteilte, skalierbare und tief gepufferte IP-Fabrics bewährt, die eine konsistente Leistung liefern und extreme 'Ost-West'-Verkehrsmuster unterstützen können", schreibt Arista.

Auch wenn es für die meisten Unternehmen noch zu früh ist, sich Gedanken über die Bewältigung großer KI-Cluster-Workloads zu machen, bereiten sich einige größere Umgebungen sowie Hyperscale-, Finanz-, Virtual-Reality-, Spiele- und Automobilentwicklungsnetzwerke bereits auf die Störungen vor, die sie verursachen könnten. . traditionelles Netzwerk.

Jayshree Ullal, CEO von Arista, erklärte kürzlich gegenüber Goldman Sachs, dass mit dem Wachstum von KI-Workloads der Druck auf die Skalierung und Bandbreite von Netzwerken sowie auf die richtige Speicher- und Puffertiefe mit vorhersehbaren Latenzzeiten zunimmt. und die Verarbeitung von Elefantenströmen kleiner Pakete übt zunehmenden Druck aus. Technologiekonvergenz. "Es wird eine Menge Technik erfordern, um Legacy-Ethernet als Back-End-Netzwerk zu nutzen, um diese Technologie in Zukunft zu unterstützen, und die zunehmende Nutzung von 400G wird dieser Entwicklung zusätzlichen Schwung verleihen", so Ullal.