Whitepaper Architektur der Cisco Nexus Switches der Serie 9500 Whitepaper November 2013 © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 1 von 18 Inhalt Nexus Switches der Serie 9500: Einführung ......................................................................................................... 3 Skalierbare Kontrollebene bei Cisco Nexus Switches der Serie 9500 ................................................................ 5 Supervisor Engine ................................................................................................................................................. 5 System-Controller ................................................................................................................................................. 6 Blockierungsfreie Datenebene der Cisco Nexus Switches der Serie 9500......................................................... 7 Fabric-Modul der Nexus Serie 9500 ..................................................................................................................... 8 Linecard-Architektur der Switches der Nexus Serie 9500 ..................................................................................... 9 36 x 40GE-QSFP-Linecard (N9K-X9636PQ) ...................................................................................................... 10 48 x 1/10G-SFP+-Linecard (N9K-X9564PX) ....................................................................................................... 10 48 x 1/10GBaseT-Linecard (N9K-X9564TX) ....................................................................................................... 11 Unicast-Paketweiterleitung bei der Nexus Serie 9500 ........................................................................................ 12 1. Pipeline für die Eingangsverarbeitung ............................................................................................................ 13 2. LPM-Suche im Fabric-Modul........................................................................................................................... 14 3. Pipeline für die Ausgangsverarbeitung ........................................................................................................... 14 Multicast-Paketweiterleitung bei der Nexus Serie 9500 ..................................................................................... 15 QSFP-BiDi-Technologie von Cisco für die Migration zu 40 Gbit/s .................................................................... 16 Fazit......................................................................................................................................................................... 17 Anhang ................................................................................................................................................................... 18 © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 2 von 18 Nexus Switches der Serie 9500: Einführung Die Cisco Nexus Serie 9500 ist eine Produktfamilie modularer Switches, die branchenweit führend eine hohe Leistung, hohe Dichte und niedrige Latenz bei 1-, 10-, 40- und zukünftig auch 100-Gigabit-Ethernet-Anbindung liefern. Die Nexus Switches der Serie 9500 können sowohl im ACI-Modus (Application Centric Infrastructure) als auch im klassischen NX-OS-Modus betrieben werden. Im ACI-Modus bilden die Nexus Switches der Serie 9500 die Grundlage der neuen ACI-Architektur für die vollständig integrierte und automatisierte Netzwerkstrukturlösung auf Basis des anwendungsspezifischen Netzwerkprofils. Im klassischen NX-OS-Modus bieten die Nexus Switches der Serie 9500 als erste ihrer Art hochskalierbare und leistungsstarke Access und Aggregation Layers sowie erweiterte Funktionen zur Automatisierung und Programmierbarkeit. Der Schwerpunkt dieses Whitepapers liegt auf der gemeinsamen Hardwarearchitektur der Nexus Serie 9500 sowie auf der Implementierung der Paketweiterleitung im klassischen NX-OS-Modus. Der Nexus 9508-Switch mit 8 Steckplätzen (Abbildung 1) ist als erste Plattform der Produktfamilie erhältlich und wird durch Plattformen mit 4 und 16 Steckplätzen ergänzt. Der Cisco Nexus 9508-Switch unterstützt bis zu 1.152 10GE-Ports oder 288 40GE-Ports. Beim Cisco Nexus 9516-Switch werden diese Portdichten verdoppelt. Die Nexus 9500-Switches bieten außerdem eine hohe Portdichte für 1G-SFP/1GBase-T- und 10G-SFP+/10GBaseTVerbindungen. Durch verschiedene Chassis-Formfaktoren und Linecard-Typen sowie flexible Geschwindigkeiten der Ports an der Vorderseite bietet die Cisco Nexus Serie 9500 hervorragende Netzwerklösungen für kleine, mittlere und große geschäftskritische Rechenzentren. Abbildung 1. Tabelle 1. Cisco Nexus Switch der Serie 9508 Chassis und Weiterleitungseigenschaften der Cisco Nexus Serie 9500 Kennzahl NEXUS 9504 NEXUS 9508 NEXUS 9516 Höhe 7 HE 13 HE 20 HE Supervisor-Steckplätze 2 2 2 Fabric-Modulsteckplätze 6 6 6 Linecard-Steckplätze 4 8 16 Max. Fabric-Bandbreite pro Steckplatz (Tbit/s) 3,84 Tbit/s 3,84 Tbit/s 3,84 Tbit/s Max. Fabric-Bandbreite pro System (Tbit/s) 15 Tbit/s 30 Tbit/s 60 Tbit/s Max. 1/10/40-Ports 192/576/144 384/1152/288 768/2304/576 Max. Weiterleitungsdurchsatz pro Linecard (Tbit/s) 2,88 Tbit/s 2,88 Tbit/s 2,88 Tbit/s Max. Weiterleitungsdurchsatz pro System (Tbit/s) 11,52 Tbit/s 23,04 Tbit/s 46,08 Tbit/s © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 3 von 18 Kennzahl NEXUS 9504 NEXUS 9508 NEXUS 9516 Lüfter Von der Vorder- zur Rückseite Von der Vorder- zur Rückseite Von der Vorder- zur Rückseite Netzteile 4 x 3-kW-Netzteile 8 x 3-kW-Netzteile 8 x 3-kW-Netzteile Lüftereinschübe 3 3 3 Die Switches der Cisco Nexus Serie 9500 verfügen über eine modulare Architektur, die aus Switch-Chassis, Supervisors, System-Controllern, Fabric-Modulen, Linecards, Netzteilen und Lüftereinschüben besteht. Dabei bilden Supervisors, System-Controller, Linecards und Netzteile gemeinsame Komponenten, die von der gesamten Nexus 9500-Produktfamilie genutzt werden können. Das Chassis der Cisco Nexus Serie 9500 verfügt über ein innovatives Design ohne Midplane (Abbildung 2). Eine Midplane kommt in der Regel bei modularen Plattformen zum Einsatz, um eine Verbindung zwischen Linecards und Fabric-Modulen zu ermöglichen. Als zusätzliche Hardwarekomponente innerhalb des Switch-Chassis behindert sie jedoch den Luftstrom. Aus diesem Grund sind zusätzliche Überlegungen notwendig, um den Luftstrom zu erleichtern, z. B. Aussparungen an der Midplane oder eine Umleitung des Luftstroms, wodurch jedoch die Effizienz der Kühlung sinkt. Die Nexus Serie 9500 ist die erste Switch-Plattform der Branche, bei der keine Chassis-Midplane erforderlich ist. Dank eines präzisen Ausrichtungsmechanismus können die Linecards und die Fabric-Module der Nexus Serie 9500 über Pins direkt miteinander verbunden werden. Linecards und FabricModule sind im Chassis rechtwinklig ausgerichtet, sodass alle Fabric-Module mit allen Linecards verbunden werden können und umgekehrt. Da der Luftstrom nicht durch eine Midplane behindert wird, bietet das ChassisDesign eine maximale Kühlungseffizienz. So kann auch das Design des Chassis kompakt gehalten werden, da keine großen Lüfter erforderlich sind. Abbildung 2. Chassis-Design der Nexus Serie 9500 ohne Midplane Das Chassis-Design ohne Midplane vereinfacht neben der Bereitstellung der Switch-Plattform auch HardwareUpgrades erheblich. In einigen Fällen, wenn neue Komponenten wie Linecards oder Fabric-Module hinzugefügt werden, ist jedoch ein Upgrade auf ein Midplane-Design erforderlich. Dieser Hardware-Upgrade-Prozess führt zu einer höheren Komplexität und zu Serviceunterbrechungen. Bei der Cisco Nexus Serie 9500 sind keine Installationen oder Upgrades einer Midplane erforderlich. Ein weiterer Vorteil der wegfallenden Midplane ist eine deutlich kürzere durchschnittliche Reparaturzeit. Wenn bei einem Switch mit Midplane etwa ein Pin verbogen wird, muss der gesamte Switch außer Betrieb genommen und zerlegt werden, um die Midplane zu ersetzen. Bei der Serie 9500 können die beschädigten Komponenten ersetzt werden, ohne dass die übrigen Komponenten des Chassis davon betroffen sind. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 4 von 18 Neben höchster Effizienz bei der Kühlung ist die Cisco Nexus Serie 9500 auch bei der Energieeffizienz führend. Die Netzteile sind mit dem Branchenstandard 80 PLUS Platinum für höchste Effizienz zertifiziert. Die Linecards und Fabric-Module der Nexus Serie 9500 verfügen über eine minimale Anzahl von ASICs, sodass die Anzahl der Wärmenester in einem Modul deutlich verringert wird. Ergebnis dieser Innovationen ist ein unerreicht niedriger Stromverbrauch pro Port: Stromverbrauch/Port 10-Gbit/s-Port 40-Gbit/s-Port Watt pro Port 3,85 W/Port 15,4 W/Port Skalierbare Kontrollebene bei Cisco Nexus Switches der Serie 9500 Die Supervisor Engine der Cisco Nexus Serie 9500 stellt eine skalierbare Kontrollebene für die Switches dar. Der System-Controller lagert die Verbindungs- und Managementfunktionen der internen Komponenten von der Supervisor Engine aus. Die Trennung der internen Managementaufgaben von der Supervisor Engine führt zu einer höheren Zuverlässigkeit der Switch-Kontrollebene. Dadurch werden Modularität und Ausfallsicherheit des gesamten Switch-Systems verbessert. Supervisor Engine Die Cisco Nexus Serie 9500 unterstützt redundante Supervisor Engines mit halber Breite, die Funktionen der Kontrollebene erfüllen. Die Switch-Software, eine erweiterte Version von NX-OS, wird auf den Supervisor-Modulen ausgeführt. Die redundanten Supervisor-Module unterstützen aktiv und im Standby-Modus sowohl das Stateful Switchover bei einem Ausfall der Supervisor-Modulhardware als auch das In-Service Software Upgrade (ISSU), das Upgrades und Wartung der Software ohne Auswirkungen auf die Produktion ermöglicht. Der CPU-Komplex des Nexus 9500-Supervisors basiert auf der Intel Romley-Plattform mit Sandy Bridge ExonProzessoren mit 4 Kernen. Der Systemspeicher von standardmäßig 16 GB kann nachträglich auf 48 GB erweitert werden. Ein integriertes 64-GB-SSD bietet zusätzlich integrierten, nichtflüchtigen Speicher. Die Hochgeschwindigkeits-Multicore-CPU und der besonders große Speicher bilden zusammen die Grundlage einer schnellen und zuverlässigen Kontrollebene für das Switch-System. Die Protokolle auf der Kontrollebene profitieren von diesem umfangreichen Speicherpotenzial, sodass bei Änderungen des Netzwerkstatus eine schnelle Initialisierung und sofortige Konvergenz möglich sind. Darüber hinaus bieten der erweiterbare DRAM-Speicher und die Multicore-CPU genügend Rechenleistung und Ressourcen für c-group-basierte Linux-Container, in denen Anwendungen von Drittanbietern installiert und ausgeführt werden können. Das integrierte SSD bietet zusätzlichen Speicher für Protokolle, Image-Dateien und Anwendungen von Drittanbietern. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 5 von 18 Abbildung 3. Supervisor Engine der Cisco Nexus Serie 9500 Supervisor-Modul Prozessor Romley, 1,8 GHz, 4 Kerne Systemspeicher 16 GB, erweiterbar auf 48 GB Serielle RS-232-Ports Ein (RJ-45) 10/100/1000-Managementport Eine (RJ-45) USB 2.0-Schnittstelle Zwei SSD-Speicher 64 GB Die Supervisor Engine verfügt über einen seriellen Konsolenport (RJ-45) und einen 10/100/1000-EthernetManagementport (RJ-45) für das Out-of-Band-Management. Zwei USB 2.0-Schnittstellen unterstützen einen externen USB-Flash-Speicher zur Übertragung von Image-, Syslog- oder Konfigurationsdateien und für weitere Zwecke. Ein PPS-Eingangsport (Pulse-per-second) am Supervisor-Modul ermöglicht eine präzise TimingSynchronisierung. Die Kommunikation zwischen Supervisor und Fabric-Modulen oder Linecards erfolgt entweder über EOBC (Ethernet Out-of-Band Channel) oder über EPC (Ethernet Protocol Channel). Da beide Kanäle eine zentrale Anlaufstelle auf den System-Controllern haben, entstehen redundante Pfade. System-Controller Die System-Controller der Cisco Nexus Serie 9500 lagern die internen Switching- und Managementfunktionen abseits der Datenpfade von den Supervisor Engines aus. Darüber hinaus ermöglichen sie den Zugang zu den Netzteilen und zu den Lüftereinschüben. Die System-Controller bilden die systeminterne Kommunikationsschaltzentrale. Sie fungieren als Host für zwei Hauptkommunikationspfade für Kontrolle und Management, Ethernet Out-of-Band Channel (EOBC) und Ethernet Protocol Channel (EPC), zwischen Supervisor Engines, Linecards und Fabric-Modulen. Sämtliche systeminterne Managementkommunikation zwischen den Modulen erfolgt über den EOBC-Kanal. Der EOBC-Kanal wird über einen Switch-Chipsatz auf den System-Controllern realisiert, der alle Module (Supervisor Engines, Fabric-Module und Linecards) miteinander verbindet. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 6 von 18 Der EPC-Kanal verarbeitet die systeminterne Kommunikation über das Datenebenenprotokoll. Dieser Kommunikationspfad wird über einen weiteren redundanten Ethernet-Switch-Chipsatz auf den System-Controllern realisiert. Im Gegensatz zum EOBC-Kanal werden über den EPC-Kanal nur die Fabric-Module mit den Supervisor Engines verbunden. Wenn Protokollpakete an die Supervisors gesendet werden müssen, verwenden die Linecards den internen Datenpfad zur Übertragung der Pakete an die Fabric-Module. Die Fabric-Module leiten die Pakete anschließend über den EPC-Kanal an die Supervisor Engines weiter. Der System-Controller kommuniziert außerdem über den redundanten Systemmanagement-Bus (SMB) mit den Netzteilen und Lüfter-Controllern, um Managementaufgaben wahrzunehmen. Die Cisco Nexus Serie 9500 unterstützt redundante System-Controller. Wenn zwei System-Controller in einem Chassis vorhanden sind, wird der aktive System-Controller durch einen Entscheidungsprozess ermittelt. Der andere Controller übernimmt die Sekundär- oder Standby-Rolle, um Redundanz zu gewährleisten. Abbildung 4. System-Controller der Cisco Nexus Serie 9500 Blockierungsfreie Datenebene der Cisco Nexus Switches der Serie 9500 Während die Kontrollebene des Switches zentral auf den Supervisor Engines ausgeführt wird, erfolgen Suche und Weiterleitung der Pakete auf der Datenebene in hohem Maße verteilt über die Linecards und Fabric-Module. Sowohl die Linecards als auch die Fabric-Module der Cisco Nexus Serie 9500 sind mit mehreren Netzwerkweiterleitungs-Engines (NFEs) ausgestattet, die Funktionen zur Suche, Verarbeitung und Weiterleitung der Pakete ausführen. Bei der Entwicklung der Nexus Serie 9500 wurde auf eine blockierungsfreie Architektur und auf die Leitungsgeschwindigkeit an allen Ports unabhängig von der Paketgröße geachtet. Da viele moderne Anwendungen für Rechenzentren mit kleinen Paketen arbeiten, muss auch für kleinste Pakete von 64 Byte die Leitungsgeschwindigkeit unterstützt werden. Um diese Weiterleitungsleistung zu erreichen, sind die Linecards und die Fabric-Module der Nexus Serie 9500 mit der erforderlichen Anzahl von NFEs ausgestattet. Pro NFE werden bis zu 24 40GE-Ports genutzt, um die Leitungsgeschwindigkeit zu gewährleisten. Von diesen 24 40GE-Ports dienen 12 40GE-Ports (mit 42GE getaktet, um die zusätzlichen Bits im internen Frame-Header unterzubringen) der internen Verbindung mit den Fabric-Modulen. Die anderen 12 Ports fungieren als Schnittstellen an der Vorderseite, um 1-, 10-, 40- und zukünftig auch 100GE-Ports für Benutzerdaten zu unterstützen. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 7 von 18 Abbildung 5. Verteilte Datenebene der Nexus Serie 9500 Die NFEs speichern die Informationen zur Layer-2- und Layer-3-Weiterleitung in einer Kombination aus dedizierten TCAM-Tablespaces und gemeinsamen Hashtabellen, die als Unified Forwarding Table (UFT) bezeichnet wird. Die UFT kann flexibel in drei Weiterleitungstabellen unterteilt werden, nämlich der MAC-Adresstabelle, der IP-Hosttabelle und der LPM-Tabelle. Mit diesem programmierbaren, gemeinsam genutzten Speicher kann verschiedenen Bereitstellungsszenarien flexibel Rechnung getragen und die Effizienz der Speicherressourcennutzung erhöht werden. Um die systemweite Weiterleitungsskalierbarkeit zu erhöhen, nutzen die Nexus 9500-Switches die UFT-Tabellen der Linecards und der Fabric-Module für verschiedene Suchfunktionen zur Weiterleitung. In der UFT der Linecards werden die L2-MAC-Tabelle und die L3-Hosttabelle gespeichert. Die Linecards sind entsprechend für L2-SwitchingSuchvorgänge und L3-Host-Routing-Suchvorgänge verantwortlich. In der UFT der Fabric-Module wird die L3-LPMTabelle gespeichert; entsprechend werden L3-LPM-Routing-Suchvorgänge durchgeführt. Sowohl Linecards als auch Fabric-Module verfügen über Multicast-Tabellen und führen verteilte Multicast-Suchvorgänge sowie Paketreplizierung durch. Für Multicast werden dieselben Tabellenressourcen wie für L3-Hosteinträge auf den Linecards genutzt. In Abbildung 6 ist die systemweite Weiterleitungsskalierbarkeit der Nexus Switches der Serie 9500 dargestellt. Abbildung 6. Systemweite Weiterleitungsskalierbarkeit der Nexus Serie 9500 Fabric-Modul der Nexus Serie 9500 Ein Nexus Switch der Serie 9500 kann bis zu sechs Fabric-Module enthalten, die alle im aktiven Modus arbeiten. Jedes Fabric-Modul besteht aus mehreren NFEs, 2 bei Nexus 9508-Switches und 4 bei Nexus 9516-Switches (Abbildung 7). © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 8 von 18 Bei Nexus 9508-Switches können die Fabric-Module aus bis zu zwölf NFEs bestehen. Dadurch werden die Bandbreite für den Datenpfad und die Paketweiterleitungskapazität bereitgestellt, die für eine blockierungsfreie Architektur erforderlich sind. Aus diesem Grund unterstützt der Nexus 9508-Switch die echte Leitungsgeschwindigkeit auf allen Linecards unabhängig von der Paketgröße. Abbildung 7. Fabric-Modul der Nexus Serie 9500 Das Fabric-Modul der Nexus Serie 9500 erfüllt die folgenden wichtigen Funktionen in der modularen ChassisArchitektur: ● Bereitstellung blockierungsfreier Anbindung für eine Datenweiterleitung mit hoher Geschwindigkeit für Linecards: Alle Verbindungen der Netzwerkweiterleitungs-Engines sind aktive Datenpfade. Jedes FabricModul kann bis zu 8 40-Gbit/s-Verbindungen pro Linecard-Steckplatz bereitstellen. Eine mit 6 FabricModulen bereitgestellte Nexus 9500-Chassis kann potenziell 48 40-Gbit/s-Fabric-Pfade pro LinecardSteckplatz bereitstellen. Dies entspricht einer Vollduplex-Bandbreite von 3,84 Tbit/s pro Steckplatz. ● Durchführung verteilter LPM-Routing-Suchvorgänge (Longest Prefix Match) für IPv4- und IPv6-Datenverkehr: Die LPM-Weiterleitungsinformationen werden in den Fabric-Modulen der Nexus 9500-Switches gespeichert. Bis zu 128.000 IPv4-Präfixe bzw. 32.000 IPv6-Präfixe werden unterstützt. ● Durchführung von verteilten Multicast-Suchvorgängen und Paketreplizierung, um Kopien von MulticastPaketen an die empfangenden Ausgangs-NFEs zu senden Linecard-Architektur der Switches der Nexus Serie 9500 Die Linecards der Nexus Serie 9500 können in zwei Typen kategorisiert werden, Aggregations-Linecards und ACIfähige Leaf-Linecards. Aggregations-Linecards ermöglichen 10GE/40GE-Verbindungen mit hoher Dichte bei Nexus 9500-Switches im klassischen NX-OS-Modus. ACI-fähige Leaf-Linecards können sowohl im klassischen NX-OS-Modus als auch im ACI-Modus betrieben werden. Alle Nexus 9500-Linecards bestehen aus mehreren NFEs zur Paketsuche und -weiterleitung. Darüber hinaus verfügen die ACI-fähigen Leaf-Linecards über eine Reihe von ACI-Leaf-Engines (ALEs). Wie der Name bereits vermuten lässt, führt eine ALE Funktionen des Leaf-Knotens in der ACI durch, wenn ein Nexus 9500-Switch als Leaf-Knoten in einer ACI bereitgestellt ist. Wenn der Nexus 9500-Switch im klassischen NX-OS-Modus betrieben wird, bietet die ALE einer ACI-fähigen Leaf-Linecard in erster Linie zusätzliche Pufferkapazität und erleichtert einige Netzwerkfunktionen, wie z. B. das Routing in einem VXLAN-Overlay. Die NFEs einer Linecard führen L2-Switching-Suchvorgänge und L3-Host-Routing-Suchvorgänge durch. Linecards verfügen über eine unterschiedliche Anzahl von NFEs, um die Weiterleitung bei voller Leitungsgeschwindigkeit für alle IP-Paketgrößen an allen Ports an der Vorderseite zu unterstützen. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 9 von 18 Neben der unterstützten Leitungsgeschwindigkeit auf der Datenebene verfügen die Linecards der Nexus Switches der Serie 9500 auch über eine integrierte Dual-Core-CPU. Diese CPU ermöglicht die Beschleunigung einiger Aufgaben der Kontrollebene (z. B. Programmieren der Ressourcen in der Hardwaretabelle, Erfassen und Versenden von Linecard-Zählern und Statistiken) und die Auslagerung der BFD-Protokollverarbeitung von den Supervisors. Dadurch kann die Leistung der Systemkontrollebene erheblich verbessert werden. 36 x 40GE-QSFP-Linecard (N9K-X9636PQ) Die N9K-X9636PQ (Abbildung 8) ist eine Aggregations-Linecard mit 36 40GE-QSFP-Ports an der Vorderseite. Sie verfügt über drei NFEs zur Paketweiterleitung, die jeweils 12 40GE-Ports an der Vorderseite und 12 interne Ports zu den Fabric-Modulen (mit 42 Gbit/s getaktet, um den internen Frame-Overhead unterzubringen) unterstützen. Alle 36 40GE-Ports an der Vorderseite der N9K-X9636PQ unterstützen den 4 x 10GE-Breakout-Modus für den Betrieb als 4 einzelne 10GE-Ports. Dadurch kann die Linecard bis zu 144 10GE-SFP+-Ports bereitstellen. Diese Linecard enthält keine PHY-Chips. So können die Latenz des Datentransports am Port um 100 ns verringert, der Stromverbrauch des Ports gesenkt und die Zuverlässigkeit durch weniger aktive Komponenten erhöht werden. Alle Trace-Abstände zwischen den NFEs und den 12 unterstützten optischen QSFP-Verbindungen betragen weniger als 18 cm, sodass keine Retimer erforderlich sind. Dadurch wird das Linecard-Design noch weiter vereinfacht und die Anzahl der aktiven Komponenten verringert. Abbildung 8. 36 x 40GE-QSFP-Linecard der Nexus Serie 9500 48 x 1/10G-SFP+-Linecard (N9K-X9564PX) Die N9K-X9564PX (Abbildung 9) ist eine ACI-fähige Leaf-Linecard. Sie verfügt über 48 1GE-SPF-/10GE-SPF+-Ports und 4 40GE-QSFP-Ports. Alle 4 40GE-Ports unterstützen den 4 x 10GE-Breakout-Modus für den Betrieb als 4 einzelne 10GE-Ports. Somit kann die Linecard bis zu 64 10GE-Ports bereitstellen. Durch die flexiblen Portgeschwindigkeiten gestalten sich Netzwerkzugriff und Aggregations-Design besonders einfach und kosteneffizient. Zu den Hauptkomponenten dieser Linecard gehören zwei NFEs, zwei ALEs und eine Linecard-CPU. Die beiden NFEs stellen die Ports an der Vorderseite bereit. Eine NFE enthält 48 1/10G-Ports, die andere 4 40G-Ports. Die beiden ALEs bieten eine erweiterte Pufferkapazität, zusätzliche Paketverarbeitung sowie die Option zum Einsatz der Linecard im ACI-Modus. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 10 von 18 Um eine flexible Nutzung von Porttypen und Geschwindigkeiten zu ermöglichen, können die Ports an der Vorderseite dieser Linecard mit unterschiedlichen Geschwindigkeiten betrieben werden. Abweichende Portgeschwindigkeiten sind eine der Hauptursachen von Portüberlastung und Paketpufferung. Daher erfordert diese Linecard möglicherweise eine höhere Pufferkapazität, als die NFEs bereitstellen können. Die beiden ALEs bieten jeweils eine zusätzliche Pufferkapazität von bis zu 40 MB. Da sich die ALEs zwischen den NFEs und den Fabric-Modulen befinden, können sie den Datenverkehr zwischen diesen Komponenten puffern. Lokaler SwitchVerkehr von einem 10G-Port zu einem 1G-Port derselben NFE kann auch an die ALE an deren NorthboundSchnittstelle umgeleitet werden, um die erweiterte Pufferkapazität nutzen zu können. Wie auch die N9K-X9636PQ enthält diese Linecard keine PHY-Chips, was einen niedrigeren Stromverbrauch, eine geringere Latenz und eine höhere Zuverlässigkeit ermöglicht. Abbildung 9. 48 x 1/10GE-SPF+- und 4 x 40GE-QSFP-Linecard der Nexus Serie 9500 48 x 1/10GBaseT-Linecard (N9K-X9564TX) Die N9K-X9564TX (Abbildung 10) ist ebenfalls eine ACI-fähige Leaf-Linecard. Sie enthält 48 1G/10GBaseT-Ports und 4 40G-QSFP-Ports. Ihre Architektur ähnelt der N9K-X9564PX, allerdings sind alle 48 1G/10GBaseT-Ports mit 10GT-PHYs implementiert, um die Umwandlung in physische 1G/10GBaseT-Medien zu ermöglichen. Abbildung 10. 48 x 1/10GBaseT- und 4 x 40GE-QSFP-Linecard der Nexus Serie 9500 © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 11 von 18 Unicast-Paketweiterleitung bei der Nexus Serie 9500 Wie bereits erwähnt, verfügen beide Linecards und Fabric-Module bei Nexus Switches der Serie 9500 über NFEs, die Funktionen zur Paketsuche und -weiterleitung ausführen. Jede NFE enthält Weiterleitungstabellen, darunter TCAM-Tabellen und eine programmierbare Hashtabelle, die als Unified Forwarding Table (UFT) bezeichnet wird. Diese kann für L2-MAC-Einträge, IP-Hosteinträge oder LPM-Einträge flexibel zugewiesen werden. Zusammen mit der vollständig verteilten Architektur zur Datenweiterleitung kann so bei den Cisco Nexus Switches der Serie 9500 die Nutzung der Tabellenressourcen der Linecards und Fabric-Module optimiert werden, um eine maximale Systemskalierbarkeit bei der Layer-2- und Layer-3-Weiterleitung zu ermöglichen. Außerdem können die Nexus 9500-Switches dadurch in Rechenzentren unterschiedlichster Größen mit einer Vielzahl verschiedener Anwendungen bereitgestellt werden. Linecard Fabric-Modul L2 MAC-TABELLE 160.000 - L3-Hosttabelle 88.000 - LPM-Tabelle - 128.000 Zur Weiterleitungsarchitektur auf der Datenebene von Cisco Nexus Switches der Serie 9500 gehören auch die Eingangspipeline in der Eingangs-NFE, die Fabric-Modulweiterleitung und die Ausgangspipeline in der AusgangsNFE. Eingangs- und Ausgangspipeline können auf derselben Linecard oder auch in derselben NFE ausgeführt werden, wenn Eingangs- und Ausgangsport derselben NFE angehören. Eine NFE besteht aus einer Pipeline für die Eingangsverarbeitung, einem Puffermanager für Warteschlangenverwaltung und Terminierung und einer Pipeline für die Ausgangsverarbeitung. In der Pipeline für die Eingangsverarbeitung wird ein Parsing der Paket-Header durchgeführt sowie Tunnelterminierung, VRFErkennung, L2/L3-Suche anhand der Informationen im geparsten Paket-Header und Verarbeitung der EingangsACLs. Der Puffermanager ist für alle Funktionen zur Warteschlangenverwaltung und Terminierung verantwortlich. In der Ausgangspipeline werden alle Paketmodifizierungen und Ausgangs-ACLs verarbeitet. Alle Suchvorgänge, wie z. B. in L2/L3/ACL-Tabellen, erfolgen in der Eingangspipeline. Sowohl Eingangs- als auch Ausgangspipeline enthalten mehrere Phasen, um die parallele Verarbeitung der Pakete zu ermöglichen. Abbildung 11. Unicast-Paketweiterleitung der Nexus Serie 9500 © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 12 von 18 1. Pipeline für die Eingangsverarbeitung Parsing der Paket-Header Beim Eingang über einen Port an der Vorderseite wird ein Paket über die Eingangspipeline in der NFE der Linecard übertragen. Im ersten Schritt wird ein Parsing des Paket-Headers durchgeführt. Der flexible Paket-Parser parst die ersten 128 Bytes des Pakets, um Informationen wie L2-Header, EtherType, L3-Header und TCP/IPProtokolle zu extrahieren und zu speichern. Diese Informationen werden für weitere Paketsuchvorgänge und für die Verarbeitungslogik verwendet. L2-MAC- und L3-Hostsuche Bei der Übertragung über die Eingangspipeline werden für das Paket L2-Switching- und L3-Routing-Suchvorgänge durchgeführt. Die NFE bestimmt zunächst anhand der Ziel-MAC-Adresse (DMAC) des Pakets, ob L2-Switching oder L3-Routing erforderlich ist. Wenn die DMAC mit der MAC-Adresse des Switch-Routers übereinstimmt, wird das Paket an die L3-Routing-Suchlogik übergeben. Wenn die DMAC nicht dem Switch angehört, wird eine L2-Switching-Suche anhand der DMAC und der VLAN-ID durchgeführt. Wird eine Übereinstimmung in der MAC-Adresstabelle gefunden, so wird das Paket an den Ausgangsport gesendet. Wird keine Übereinstimmung für die Kombination aus DMAC und VLAN-ID gefunden, so wird das Paket an alle Ports im selben VLAN weitergeleitet. Im Rahmen der L2-Switching-Logik führt die NFE auch eine Suche nach der Quell-MAC-Adresse (SMAC) durch (hardwarebasierte Erfassung). Die MAC-Adresstabelle wird nach der SMAC und der VLAN-ID durchsucht. Wird keine Übereinstimmung gefunden, wird die neue Adresse erfasst und dem Eingangsport des Pakets zugeordnet. Wird eine Übereinstimmung gefunden, erfolgt keine Erfassung. Die NFE unterstützt auch hardwaregestützte Alterung. Einträge, die über einen längeren Zeitraum (eine konfigurierbare Alterungszeit) nicht verwendet wurden, werden automatisch gelöscht. Innerhalb der L3-Suchlogik der Linecard-NFE wird die Ziel-IP-Adresse (DIP) zum Durchsuchen der L3-Hosttabelle verwendet. In dieser Tabelle sind die Weiterleitungseinträge für direkt verbundene Hosts oder erfasste /32-Hostrouten gespeichert. Wenn die DIP mit einem Eintrag in der Hosttabelle übereinstimmt, gibt dieser Eintrag den Zielport, die MAC-Adresse für den nächsten Hop und das Ausgangs-VLAN an. Wenn die Hosttabelle keine Übereinstimmung mit der DIP enthält, wird das Paket an das Fabric-Modul weitergeleitet, wo schließlich die LPM-Suche (Longest Prefix Match) in der LPM-Routing-Tabelle durchgeführt wird. Wenn beim Layer-2-Switching und Layer-3-Host-Routing der Ausgangsport lokal in der NFE enthalten ist, werden die Pakete von der NFE lokal weitergeleitet und nicht an die Fabric-Module übertragen. Wenn bei einer ACI-fähigen LeafLinecard der Eingangsport eine höhere Geschwindigkeit als der Ausgangsport aufweist, werden die Pakete an die ALE umgeleitet, um die abweichenden Portgeschwindigkeiten durch zusätzliche Pufferung auszugleichen. Verarbeitung der Eingangs-ACLs Neben den Suchvorgängen zur Weiterleitung erfolgt auch eine Verarbeitung der Eingangs-ACLs für das Paket. Der ACL-TCAM wird nach Übereinstimmungen mit den Eingangs-ACLs durchsucht. Jede NFE enthält eine TCAMTabelle für Eingangs-ACLs mit 4.000 Einträgen, um systeminterne ACLs und benutzerdefinierte Eingangs-ACLs zu unterstützen. Zu diesen ACLs gehören Port-ACLs, geroutete ACLs und VLAN-ACLs. Die ACL-Einträge werden zur NFE lokalisiert und nur bei Bedarf programmiert. Dies ermöglicht eine maximale Nutzung des ACL-TCAMs innerhalb eines Nexus 9500-Switches. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 13 von 18 Klassifizierung des Eingangsdatenverkehrs Die Nexus Switches der Serie 9500 unterstützen die Klassifizierung des Eingangsdatenverkehrs. An einer Eingangsschnittstelle kann der Datenverkehr anhand von Adressfeldern, 802.1q-CoS und IP-Rangfolge oder DSCP im Paketkopf klassifiziert werden. Der klassifizierte Datenverkehr kann einer der vier QoS-Gruppen zugewiesen werden. Die QoS-Gruppen dienen der internen Identifizierung der Datenverkehrsklassen für die anschließenden QoS-Prozesse bei der Weiterleitung der Pakete durch das System. Eingangs-Zugangskontrolle, Warteschlangenverwaltung und Policing Der Puffermanager führt Funktionen zum Eingangs-Accounting und zur Zugangskontrolle des Datenverkehrs in der Pipeline für die Eingangsverarbeitung durch. Jede NFE verfügt über einen 12 MB großen Pufferspeicher, der aus 60.000 208-Byte-Zellen besteht. Diese Pufferressource wird dynamisch vom Ein- und Ausgangsverkehr gemeinsam genutzt. Der Eingangs-Zugangskontrollmechanismus entscheidet, ob ein Paket in den Speicher übertragen werden kann. Diese Entscheidung basiert auf dem verfügbaren Pufferspeicher und auf dem bereits durch den Eingangsport und die Datenverkehrsklasse belegten Pufferspeicher. Die Nexus Switches der Serie 9500 unterstützen ein klassenbasiertes Eingangs-Policing. Policing-Richtlinien können anhand eines bestimmten Mechanismus (eine Rate, zwei Farben oder zwei Raten, drei Farben) definiert werden. 2. LPM-Suche im Fabric-Modul Wenn ein Paket an ein Fabric-Modul weitergeleitet wird, werden abhängig von den Suchergebnissen auf der Eingangs-Linecard unterschiedliche Aktionen ausgeführt. Wenn für das Paket L2-Switching oder L3-Host-Routing erfolgt, wurden auf der Eingangs-Linecard die Informationen zum Ausgangsport, zur MAC-Adresse für den nächsten Hop und zum Ausgangs-VLAN aufgelöst. In diesem Fall leitet das Fabric-Modul das Paket an die Ausgangs-Linecard weiter. Wenn für das Paket eine LPM-Suche erforderlich ist, durchsucht das Fabric-Modul die LPM-Tabelle und leitet das Paket an die am besten übereinstimmende Ziel-IP-Adresse (DIP) weiter. Wird keine übereinstimmende DIP gefunden, wird das Paket verworfen. Die Unified Forwarding Table (UFT) in der NFE des Fabric-Moduls enthält 128.000 LPM-Einträge. 3. Pipeline für die Ausgangsverarbeitung Die Pipeline für die Ausgangsverarbeitung ist relativ einfach strukturiert, da die meisten Such- und Entscheidungsvorgänge bereits in der Eingangspipeline erfolgen. Eine wichtige Funktion der Ausgangspipeline besteht jedoch in der Ausgangs-QoS, die WRED/ECN, Ausgangswarteschlange und Ausgangs-Shaping umfasst. Ausgangswarteschlange und Terminierung Gemäß dem Designprinzip der Einfachheit und Effizienz nutzen die Nexus Switches der Serie 9500 eine einfache Ausgangswarteschlangen-Architektur. Bei Überlastung eines Ausgangsports werden die Pakete direkt im Puffer der Ausgangs-Linecard in die Warteschlange gestellt. Auf den Eingangs-Linecards sind keine virtuellen Ausgabewarteschlangen (VoQs) vorhanden. Dadurch werden das Puffermanagement und die Warteschlangenimplementierung des Systems deutlich vereinfacht. Ein Nexus 9500-Switch unterstützt bis zu sechs Datenverkehrsklassen am Ausgang (vier durch QoS-Gruppen-IDs gekennzeichnete benutzerdefinierte Klassen, eine CPU-Kontrollverkehrsklasse und eine SPAN-Verkehrsklasse). Jede benutzerdefinierte Klasse kann über eine Unicast- und eine Multicast-Warteschlange pro Ausgangsport verfügen. Der 12-MB-Puffer einer NFE wird von den lokalen Ports gemeinsam genutzt. Die Switch-Software enthält einen Mechanismus zur Überwachung und Begrenzung der Puffernutzung durch die Ausgangsports. Dadurch wird sichergestellt, dass einzelne Ports nur einen angemessenen Anteil am Pufferspeicher beanspruchen, um einen Pufferspeichermangel bei anderen Ports zu verhindern. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 14 von 18 Die ALEs der ACI-fähigen Leaf-Linecards verfügen jeweils über eine Pufferkapazität von weiteren 40 MB. 10 MB dieser Pufferkapazität sind dem Datenverkehr an die Fabric zugeteilt. Die übrigen 30 MB sind dem Ausgangsverkehr von den Fabric-Modulen und dem lokalen Switch-Verkehr von Eingangsports mit höherer Geschwindigkeit zu Ausgangsports mit niedrigerer Geschwindigkeit zugeteilt. Dieser 30-MB-Puffer wird für erweiterte Ausgabewarteschlangen für Unicast-Datenverkehr verwendet. Die NFE gibt den Status der Unicast-Warteschlange über einen OOBFC-Signalisierungskanal (Out-of-Band Flow Control) an die ALE weiter. Wenn eine Ausgangswarteschlange den konfigurierten Grenzwert überschreitet, weist die NFE die ALE über ein OOBFC-Signal dazu an, die Weiterleitung des Datenverkehrs aus dieser Warteschlange zu stoppen und stattdessen die Pakete in ihrem eigenen Puffer in die Warteschlange zu stellen. Beim Empfang dieses Signals erstellt die ALE die erweiterte Ausgabewarteschlange für diesen Datenverkehr am entsprechenden Ausgangsport. Sobald die Länge der Ausgangswarteschlange auf den konfigurierten Neustartgrenzwert reduziert wird, weist die NFE die ALE über ein weiteres OOBFC-Signal dazu an, die Übertragung des Datenverkehrs für diese Warteschlange wieder aufzunehmen. Abbildung 12. Erweiterte Ausgabewarteschlange (EoQ) der Nexus Serie 9500 Diese Architektur mit erweiterten Ausgabewarteschlangen ist ein einfacher, aber sehr effizienter Ansatz zur Verhinderung überlasteter Ports. Damit wird gewährleistet, dass einzelne Ports keinen Pufferspeichermangel bei anderen Ports verursachen können. Multicast-Paketweiterleitung bei der Nexus Serie 9500 Multicast-Pakete durchlaufen dieselben Pipelines für die Eingangs- und Ausgangsverarbeitung wie UnicastPakete. Ein Unterschied bei der Paketsuche und -weiterleitung besteht jedoch darin, dass die Nexus 9500Switches die verteilte Multicast-Suche und Replizierung in drei Phasen durchführen. Die Multicast-Routing-Tabelle ist in allen Linecards und Fabric-Modulen gespeichert. Die Eingangs-NFE führt die erste Suche durch, um die lokalen Empfänger aufzulösen. Wenn lokale Empfänger vorhanden sind, erstellt die NFE eine Kopie pro lokalem Empfängerport. Die Eingangs-NFE sendet außerdem eine Kopie des eingehenden Pakets an das Fabric-Modul. Beim Empfang des Pakets führt das Fabric-Modul die zweite Suche nach den Ausgangs-Linecards durch. Das Fabric-Modul repliziert das Paket in jede Ausgangs-NFE. Die Ausgangs-NFE führt die dritte Suche durch, um die lokalen Empfänger aufzulösen, und repliziert das Paket an diese Ports. Diese mehrstufige Multicast-Suche und -Replizierung ist die effizienteste Methode zur Replizierung und Weiterleitung von Multicast-Datenverkehr. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 15 von 18 Abbildung 13. Multicast-Paketweiterleitung bei der Nexus Serie 9500 Ein weiterer Unterschied zwischen Multicast- und Unicast-Weiterleitung besteht darin, dass für MulticastDatenverkehr keine erweiterten Ausgabewarteschlangen vorhanden sind. Die NFEs unterstützen vier MulticastWarteschlangen pro Ausgangsport. Wenn ALEs vorhanden sind, wird Multicast-Datenverkehr unabhängig von den Multicast-Warteschlangen der NFE in die Warteschlange gestellt. Es wird kein Rückstausignal zur Steuerung der Multicast-Warteschlangen über den OOBFC-Kanal gesendet. QSFP-BiDi-Technologie von Cisco für die Migration zu 40 Gbit/s Mit ihrer hohen Portdichte und Leistung bei 1/10/40-GE-Verbindungen erfüllen die Nexus Switches der Serie 9500 die Anforderungen der Rechenzentrumsinfrastruktur der nächsten Generation. Mit 1/10GE- (Access/Leaf) bzw. 40GE-Verbindungen (Aggregation/Spine) bieten sie eine höhere skalierbare Bandbreite für Rechenzentrumsanwendungen. Zur Migration eines bestehenden Rechenzentrumsnetzwerks von 10GE zu 40GE ist jedoch mehr als ein Upgrade der Netzwerkplattform erforderlich. Die Migration der Kabelinfrastruktur stellt dabei die größte Herausforderung dar. Bei der bisherigen 10GE-Verkabelung kommen 2 MMF-Glasfaserstränge für eine 10GE-Verbindung zum Einsatz. Die bestehenden optischen 40GE-Transceiver mit kurzer Reichweite (entweder SR4 oder CSR4) nutzen jedoch getrennte Sende- und Empfangsabschnitte mit je 4 parallelen Glasfasersträngen. Daher werden für eine 40GE-Duplexverbindung 8 Glasfaserstränge benötigt. Diese Unterschiede machen zur Migration der bisherigen 10GE-Infrastruktur zu 40GE unter Verwendung der bestehenden optischen 40GE-Transceiver eine umfangreiche Neuinstallation der gesamten Kabelinfrastruktur erforderlich. Aufgrund der erheblichen Kosten und potenziellen Serviceunterbrechungen ist die Migration eines bestehenden Rechenzentrums in der Produktion zu einer 40GEInfrastruktur ein sehr schwieriges Vorhaben. Die QSFP-BiDi-Transceiver-Technologie von Cisco löst dieses Problem, indem sie die Übertragung mit 40GVollduplexgeschwindigkeit über zwei MMF-Glasfaserstränge mit LC-Anschlüssen möglich macht. Ein QSFP-BiDiTransceiver ermöglicht also 40GE-Verbindungen unter Verwendung bestehender 10G-Leitungen und GlasfaserTrunks ohne Erweiterungen oder Neuinstallationen. Dadurch fallen die finanziellen Hürden bei der Migration bestehender 10-Gbit/s-Verkabelung zu einer 40-Gbit/s-Infrastruktur im Rechenzentrum weg. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 16 von 18 Abbildung 14. BiDi-Transceiver-Technologie von Cisco Fazit Die Nexus Switches der Serie 9500 sind die branchenweit führenden Switches speziell für Rechenzentren mit der höchsten Portdichte für 1/10/40- und zukünftig auch 100GE-Verbindungen. Neben einer überzeugenden Leitungsgeschwindigkeit bieten sie eine herausragende Leistung bei der Weiterleitung mit niedriger Latenz. Die Nexus Serie 9500 unterstützt die branchenweit führende 10GE- und 40GE-Portdichte. Mit flexiblen Portgeschwindigkeiten und Chassis-Formfaktoren eignen sich die Nexus Switches der Serie 9500 für virtualisierte, Multi-Tenant- und Cloud-Bereitstellungen in kleinen, mittleren und großen Rechenzentren. Das Chassis-Design ohne Midplane bietet größtmögliche Effizienz bei der Kühlung. Durch die Kombination aus Chipsätzen anderer Hersteller und speziell entwickelten Chips enthalten die Linecards besonders wenige ASICs und sind gleichzeitig besonders leistungsfähig. Dank Innovationen wie der Luftstromführung von der Vorder- zur Rückseite und den 80 PLUS Platinum-zertifizierten hocheffizienten Netzteilen stellt die Nexus Serie 9500 einen neuen Rekord in Sachen Energieeffizienz, Zuverlässigkeit und Leistung von Switches für Rechenzentren auf. Durch die Trennung des systeminternen Managements von der Kontrollebene verfügt die Kontrollebene der Nexus Serie 9500 über eine beispiellose Stabilität. Eine Supervisor Engine mit neuester Multi-Core-CPU zusammen mit Linecard-CPUs zur Auslagerung von Aufgaben von der Supervisor Engine macht die Nexus Serie 9500 zur perfekten Grundlage für ein zuverlässiges Rechenzentrum. Beim Betrieb im klassischen NX-OS-Modus wird die Nexus Serie 9500 in einem Image für alle Switches der Produktfamilie ausgeführt. Das vereinfacht die Netzwerkadministration deutlich. Das erweiterte Betriebssystem NX-OS für die Nexus Serie 9500 unterstützt den neuesten 64-Bit-Linux-Kernel mit echter Prozessmodularität und bietet neben einer besonders hohen Softwareausfallsicherheit verschiedene Verbesserungen bei Automatisierung und Programmierbarkeit. Damit ist es die beste Lösung für Rechenzentren, in denen Netzwerkmanagement und Betriebsmodelle modernisiert und automatisiert werden sollen. Diese einzigartigen Funktionen machen die Cisco Nexus Switches der Serie 9500 zur idealen Lösung für Unternehmen, die ein zuverlässiges, skalierbares, ausfallsicheres und automatisiertes Rechenzentrum benötigen. © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. Seite 17 von 18 Anhang Anhang A: Begriffe ACI: Application Centric Infrastructure NFE: Netzwerkweiterleitungs-Engine (Network Forwarding Engine) ALE: ACI-Leaf-Engine EoQ: Erweiterte Ausgabewarteschlange (Extended Output Queue) OOBFC: Out-of-Band Flow Control Gedruckt in den USA © 2013 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco. C11-729987-00 11/13 Seite 18 von 18
© Copyright 2026 Paperzz