White paper
Architettura degli switch Cisco
Nexus serie 9500
White paper
Novembre 2013
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 1 di 18
Sommario
Introduzione agli switch Cisco Nexus serie 9500 ................................................................................................. 3
Piano di controllo scalabile sugli switch Cisco Nexus serie 9500 ...................................................................... 5
Supervisor Engine................................................................................................................................................. 5
Controller di sistema ............................................................................................................................................. 6
Piano di controllo distribuito non bloccante sugli switch Cisco Nexus serie 9500........................................... 7
Modulo fabric Nexus serie 9500............................................................................................................................ 8
Architettura delle schede di linea degli switch Cisco Nexus serie 9500 ................................................................ 9
Scheda di linea 36x 40GE QSFP (N9K-X9636PQ) ............................................................................................... 9
Scheda di linea 48x 1/10G SFP+ (N9K-X9564PX) ............................................................................................. 10
Scheda di linea 48x 1/10G BastT (N9K-X9564TX) ............................................................................................. 11
Inoltro dei pacchetti unicast Nexus serie 9500 ................................................................................................... 11
1. Pipeline di elaborazione in ingresso................................................................................................................ 12
2. Lookup LPM del modulo fabric........................................................................................................................ 14
3. Pipeline di elaborazione di uscita.................................................................................................................... 14
Inoltro dei pacchetti multicast per Nexus serie 9500.......................................................................................... 15
Tecnologia bidirezionale Cisco QSFP per la migrazione a 40Gbps .................................................................. 16
Conclusioni ............................................................................................................................................................ 17
Appendice .............................................................................................................................................................. 18
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 2 di 18
Introduzione agli switch Cisco Nexus serie 9500
La gamma Cisco Nexus serie 9500 comprende switch modulari con connettività 1, 10, 40, e, in futuro, 100 Gigabit
Ethernet leader del settore, ad alte prestazioni, alta densità e bassa latenza. Gli switch Nexus serie 9500 possono
funzionare in modalità ACI (Centric Application Infrastructure) e nella tradizionale modalità NX-OS. Quando
operano in modalità ACI, gli switch Nexus serie 9500 costituiscono la base della rivoluzionaria architettura ACI per
la soluzione di fabric di rete completamente integrata e automatizzata, basata sul profilo di rete dell'applicazione.
Durante l'esecuzione nella tradizionale modalità NX-OS gli switch Nexus serie 9500 sono i primi del settore per
livelli di aggregazione e di accesso al data center ad alte prestazioni ed elevata scalabilità, con funzionalità
avanzate di automazione e programmabilità. Questo white paper si concentra sull'architettura hardware comune
degli switch Nexus serie 9500 e sull'implementazione dell'inoltro dei pacchetti nella tradizionale modalità NX-OS.
Lo switch Nexus 9508 a 8 slot (figura 1) è la prima piattaforma disponibile della gamma, alla quale seguiranno
piattaforme a 4 e a 16 slot. Lo switch Cisco Nexus 9508 supporta fino a 1152 porte 10GE o 288 porte 40GE. Nello
switch Cisco Nexus 9516 la densità delle porte risulterà raddoppiata. Anche gli switch Nexus serie 9500 forniscono
densità elevate delle porte per connettività 1G SFP/1GBase-T e 10G SFP+/10GBaseT. Con i vari fattori di forma dello
chassis, i diversi tipi di schede di linea e le velocità flessibili delle porte del pannello frontale, Cisco Nexus serie 9500
fornisce soluzioni di rete di livello superiore per data center mission critical di piccole, medie e grandi dimensioni.
Figura 1.
Switch Cisco Nexus 9508
Tabella 1.
Caratteristiche di inoltro e chassis di Cisco Nexus 9500
Parametro
NEXUS 9504
NEXUS 9508
NEXUS 9516
Altezza
7 RU
13 RU
20 RU
Slot supervisore
2
2
2
Slot modulo fabric
6
6
6
Slot per scheda di linea
4
8
16
Max BW fabric per slot (Tbps)
3,84 Tbps
3,84 Tbps
3,84 Tbps
Max BW fabric per sistema (Tbps)
15 Tbps
30 Tbps
60 Tbps
Porte max 1/10/40
192/576/144
384/1152/288
768/2304/576
Velocità di trasmissione di inoltro massima per scheda di linea
(Tbps)
2,88 Tbps
2,88 Tbps
2,88 Tbps
Velocità di trasmissione di inoltro massima per sistema (Tbps)
11,52 Tbps
23,04 Tbps
46,08 Tbps
Ventilazione
Front-to-back
Front-to-back
Front-to-back
Alimentatori
4 PSU x 3KW CA
8 PSU x 3KW CA
8 PSU x 3KW CA
Vani ventola
3
3
3
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 3 di 18
Gli switch Cisco Nexus Cisco serie 9500 presentano un'architettura modulare costituita da chassis switch,
supervisori, controller di sistema, moduli fabric, schede di linea, alimentatori e vani ventola. Di questi, i supervisori,
i controller di sistema, le schede di linea e gli alimentatori sono componenti comuni, condivisibili nell'intera gamma
di prodotti Nexus 9500.
Lo chassis di Cisco Nexus serie 9500 presenta un innovativo design privo di midplane (figura 2). Il midplane è
comunemente utilizzato nelle piattaforme modulari come modo per fornire connettività tra schede di linea e moduli
fabric. Essendo un componente hardware supplementare all'interno dello chassis switch, ostacola il flusso d'aria di
raffreddamento. Pertanto devono essere usati metodi aggiuntivi per agevolare il flusso d'aria, ad esempio tramite
aperture praticate sul midplane o reindirizzamento del flusso stesso, che si traducono in una riduzione
dell'efficienza di raffreddamento. Nexus serie 9500 è la prima piattaforma switch del settore che rende superfluo il
midplane dello chassis. Con un preciso meccanismo di allineamento, le schede di linea e i moduli fabric degli
switch Nexus 9500 si collegano direttamente tra loro mediante pin di collegamento. Schede di linea e moduli fabric
sono orientati in senso ortogonale sullo chassis in modo tale che ciascun modulo fabric sia collegato a tutte le
schede di linea e viceversa. Senza il midplane a bloccare il fluire dell'aria, il design dello chassis offre un'efficienza
di raffreddamento ottimizzata. Consente inoltre un design dello chassis compatto senza necessità di ventole di
raffreddamento di grandi dimensioni.
Figura 2.
Design dello chassis privo di midplane Nexus 9500
Il design dello chassis privo di midplane semplifica notevolmente l'implementazione della piattaforma switch e
l'aggiornamento hardware. In alcuni casi, quando vengono introdotti nuovi componenti, quali nuove schede di linea
o nuovi moduli fabric, si rende necessario un aggiornamento del midplane. Si viene così a creare complessità e
aumentano le interruzioni del servizio nell'ambito del processo di aggiornamento hardware. Cisco Nexus serie
9500 riduce l'esigenza di installazione o aggiornamento del midplane. Un altro vantaggio della rimozione del
midplane è il significativo miglioramento del tempo medio di riparazione. Se sul midplane si piega un pin, l'intero
switch deve essere messo fuori servizio e smontato per sostituire il midplane. Con la serie 9500, i componenti
danneggiati possono essere sostituiti senza mettere fuori servizio gli altri componenti dello chassis.
Oltre alla maggiore efficienza di raffreddamento, Cisco Nexus serie 9500 offre anche una più elevata efficienza
energetica. I suoi alimentatori sono dotati di certificazione 80PLUS Platinum standard di settore per l'efficienza
elevata. Schede di linea e moduli fabric della serie Nexus 9500 sono progettati con un numero minimo di ASIC per
ridurre la quantità di sacche di calore su un modulo. Il risultato di queste innovazioni è un consumo energetico per
porta minimo, assolutamente senza paragoni:
Consumo energetico/porta
Porta 10 Gbps
Porta 40 Gbps
Watt per porta
3,85W/porta
15,4W/porta
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 4 di 18
Piano di controllo scalabile sugli switch Cisco Nexus serie 9500
Il supervisor engine Cisco Nexus 9500 è progettato per offrire un piano di controllo scalabile per gli switch Cisco
Nexus serie 9500. Il controller di sistema scarica le funzioni di gestione e di connettività dei componenti interni dal
supervisor engine. La separazione delle attività di gestione interna dal supervisor engine aumenta l'affidabilità del
piano di controllo dello switch, fornendo una migliore modularità e flessibilità dell'intero sistema switch.
Supervisor Engine
Cisco Nexus serie 9500 supporta supervisor engine ridondanti a mezza larghezza responsabili per le funzioni del
piano di controllo. Il software di switch, NX-OS avanzato, viene eseguito sui moduli supervisore. I moduli
supervisore ridondanti assumono ruoli attivi e di standby con supporto dello switchover stateful in caso di guasto
hardware del modulo supervisore, e dell'ISSU (In-Service Software Upgrade), consentendo l'aggiornamento o la
manutenzione del software senza compromettere i servizi di produzione.
Il gruppo CPU del supervisore Nexus 9500 è basato sulla piattaforma Intel Romley con processori Sandy Bridge
Exon 4 core. La dimensione della memoria di sistema predefinita è di 16 GB, aggiornabile sul campo a 48 GB. È
disponibile una SSD integrata a 64 GB per fornire ulteriore spazio di archiviazione on-board non volatile. La CPU
multi-core ad alta velocità e la quantità elevata di memoria forniscono le basi per un piano di controllo veloce e
affidabile per il sistema switch. I protocolli del piano di controllo beneficiano dell'elevata potenza di calcolo,
consentendo quindi l'avvio rapido e la convergenza istantanea in caso di modifiche di stato della rete. In aggiunta,
l'ampia DRAM espandibile e la CPU multi-core forniscono sufficiente potenza di elaborazione e risorse per
supportare contenitori Linux basati su c-group, in cui è possibile installare ed eseguire applicazioni di terze parti in
un ambiente ben integrato. La SSD on-board fornisce spazio di archiviazione aggiuntivo per registri, file di
immagini e applicazioni di terze parti.
Figura 3.
Supervisor Engine Cisco Nexus 9500
Modulo supervisore
Processore
Romley, 1,8 GHz, 4 core
Memoria di sistema
16 GB, espandibile fino a 48 GB
Porte seriali RS-232
Una (RJ-45)
Porte di gestione 10/100/1000
Una (RJ-45)
Interfaccia USB 2.0
Due
Archiviazione SSD
64 GB
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 5 di 18
Il supervisor engine dispone di una porta console seriale (RJ-45) e di una porta di gestione Ethernet 10/100/1000
(RJ-45) per la gestione out-of-band. Due interfacce USB 2.0 sono supportate utilizzando una memoria flash USB
esterna per trasferimento di immagini, syslog, file di configurazione e altri utilizzi. Una porta di input del clock PPS
(Pulse-Per-Second) sul modulo supervisore supporta una precisa sincronizzazione dei tempi.
Le comunicazioni tra il supervisore e i moduli fabric o le schede di linea utilizzano interfacce Out-of-Band Ethernet
(EOBC) o Ethernet Protocol (EPC). Entrambi i canali dispongono di un hub centrale sui controller di sistema, che
fornisce percorsi ridondanti ai controller.
Controller di sistema
I controller di sistema Cisco Nexus serie 9500 sono utilizzati per scaricare le funzioni di gestione e di switching dei
percorsi non di dati interni dai supervisor engine. Forniscono inoltre il percorso di accesso ad alimentatori e vani
ventola.
I controller di sistema sono switch centrali di comunicazione intrasistema. Includono due percorsi principali di
comunicazione di controllo e di gestione, interfacce Out-of-Band Ethernet (EOBC) ed Ethernet Protocol (EPC), tra
supervisor engine, schede di linea e moduli fabric.
Tutte le comunicazioni di gestione intrasistema tra moduli avvengono attraverso il canale EOBC. Il canale EOBC è
disponibile tramite un chipset switch sui controller di sistema che interconnette tra loro tutti i moduli, compresi
supervisor engine, moduli fabric e schede di linea.
Il canale EPC gestisce le comunicazioni di protocollo del piano dati intrasistema. Questo percorso di
comunicazione viene realizzato tramite un altro chipset switch Ethernet ridondante sui controller di sistema. A
differenza del canale EOBC, lo switch EPC connette esclusivamente i moduli fabric ai supervisor engine. Se i
pacchetti di protocollo devono essere inviati ai supervisori, le schede di linea utilizzano il percorso dei dati interno
per trasferire i pacchetti dei moduli fabric. I moduli fabric reindirizzano quindi il pacchetto tramite il canale EPC ai
supervisor engine.
Inoltre, il controller di sistema comunica e gestisce alimentatori e controller delle ventole tramite il bus di gestione
del sistema ridondante (SMB).
Cisco Nexus serie 9500 supporta controller di sistema ridondanti. Quando due controller di sistema sono presenti
su uno chassis, il controller attivo viene selezionato mediante un processo di arbitraggio. L'altro controller assume
il ruolo secondario o di standby, a scopo di ridondanza.
Figura 4.
Controller di sistema Cisco Nexus serie 9500
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 6 di 18
Piano di controllo distribuito non bloccante sugli switch Cisco Nexus serie 9500
Mentre il piano di controllo dello switch è gestito centralmente sui supervisor engine, le funzioni di lookup e inoltro
dei pacchetti sul piano dati vengono svolte in modo altamente distribuito, coinvolgendo schede di linea e moduli
fabric.
Schede di linea e moduli fabric Cisco Nexus serie 9500 sono dotati di più motori di inoltro di rete (NFE) che
eseguono le funzioni di lookup, elaborazione e inoltro dei pacchetti. Gli switch Nexus serie 9500 sono progettati
considerando un'architettura non bloccante, e prestazioni full line-rate su tutte le porte indipendentemente dalla
dimensione dei pacchetti. Dato che molte applicazioni dei data center moderni utilizzano pacchetti di piccole
dimensioni, è essenziale supportare prestazioni line-rate anche per i pacchetti di dimensioni minime, da 64 byte.
Per ottenere questo livello di capacità di inoltro, le schede di linea e i moduli fabric Nexus serie 9500 sono stati
progettati con il necessario numero di NFE. Fino a 24 porte 40GE sono utilizzate su ogni NFE per garantire
prestazioni line-rate. Delle 24 porte 40GE, 12 porte con clock a 42GE per gestire i bit extra nell'intestazione di
frame interno, sono utilizzate per la connettività interna verso i moduli fabric. Le altre 12 sono utilizzate come
interfacce sul pannello frontale per supportare le porte dati utente 1, 10, 40 e, in futuro, 100GE.
Figura 5.
Piano di controllo distribuito sugli switch Cisco Nexus serie 9500
I motori di inoltro di rete utilizzano una combinazione di spazio dedicato di tabella TCAM e memoria di tabella hash
condivisa, nota come tabella di inoltro unificata (UFT), per la memorizzazione delle informazioni di inoltro livello 2 e
livello 3. L'UFT può essere facilmente suddivisa in tre tabelle di inoltro: la tabella degli indirizzi MAC, la tabella degli
host IP e la tabella LPM. Questo approccio di condivisione della memoria programmabile fornisce la flessibilità
necessaria per soddisfare le esigenze dei diversi scenari di implementazione e aumenta l'efficienza di utilizzo delle
risorse di memoria.
Per massimizzare la scalabilità dell'inoltro in tutto il sistema, gli switch Nexus serie 9500 sono progettati per
utilizzare le tabelle UFT sulle schede di linea e i moduli fabric per le diverse funzioni di lookup e di inoltro. L'UFT
sulle schede di linea memorizza la tabella MAC L2 e la tabella host L3. Pertanto, le schede di linea sono
responsabili per il lookup di switching L2 e per il lookup di routing degli host L3. L'UFT su moduli fabric ospita la
tabella LPM L3 ed esegue il lookup di routing LPM L3. Sia alle schede di linea che ai moduli fabric sono associate
tabelle multicast ed entrambi prendono parte al lookup multicast e alla replica dei pacchetti distribuiti. Il multicast
condivide le stesse risorse di tabella con le voci host L3 sulle schede di linea. La figura 6 illustra la scalabilità di
inoltro a livello dell'intero sistema degli switch Cisco Nexus serie 9500.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 7 di 18
Figura 6.
Scalabilità di inoltro a livello dell'intero sistema di Nexus 9500
Modulo fabric Nexus serie 9500
Uno switch Nexus serie 9500 può includere fino a sei moduli fabric, tutti funzionanti in modalità attiva. Ogni modulo
fabric è costituito da più motori di inoltro di rete (NFE), 2 per lo switch Nexus 9508 e 4 per lo switch Nexus 9516
(figura 7).
Per uno switch Nexus 9508 possono essere disponibili fino a dodici NFE sui relativi modelli fabric. Questo fornisce
la larghezza di banda al percorso dei dati e la capacità di inoltro dei pacchetti necessarie per realizzare
un'architettura autenticamente non bloccante. Di conseguenza Nexus 9508 è in grado di supportare prestazioni
line-rate effettive, indipendentemente dalla dimensione dei pacchetti, su tutte le schede di linea.
Figura 7.
Modulo fabric Nexus serie 9500
Il modulo fabric degli switch Nexus serie 9500 svolge le seguenti importanti funzioni all'interno dell'architettura dello
chassis modulare:
●
Fornire connettività di inoltro dei dati non bloccante ad alta velocità per le schede di linea. Tutti i link su
motori di inoltro di rete sono percorsi dei dati attivi. Ogni modulo fabric è in grado di fornire fino a 8 link 40
Gbps a ogni slot scheda di linea. Uno chassis Nexus 9500 distribuito con 6 moduli fabric è potenzialmente
in grado di fornire 48 percorsi fabric a 40 Gbps per ogni slot scheda di linea. Questo è equivalente a una
larghezza di banda di 3,84 Tbps full duplex per slot.
●
Eseguire il lookup di routing distribuito LPM (Longest Prefix Match) per il traffico IPv4 e IPv6. Le
informazioni di inoltro LPM sono memorizzate nei moduli fabric su uno switch Nexus serie 9500. Supporta
fino a 128.000 prefissi IPv4 o 32.000 prefissi IPv6.
●
Eseguire il lookup multicast distribuito e la replica dei pacchetti per inviare copie dei pacchetti multicast per
le ricezione degli NFE di uscita.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 8 di 18
Architettura delle schede di linea degli switch Cisco Nexus serie 9500
Le schede di linea degli switch Nexus serie 9500 possono essere classificate in due tipologie: schede di linea di
aggregazione e schede di linea leaf ACI (Application Centric Infrastrutture) ready. Le schede di linea aggregazione
forniscono connettività 10GE/40GE ad alta densità su uno switch Nexus 9500 in esecuzione nella tradizionale
modalità NX-OS. Le schede di linea leaf ACI ready possono funzionare in modalità ACI o nella modalità NX-OS
tradizionale.
Tutte le schede di linea Nexus 9500 sono costituite da più NFE per lookup e inoltro dei pacchetti. Inoltre, le schede
di linea leaf ACI ready includono una serie di motori leaf dell'applicazione (ALE, Application Leaf Engine). Come
indicato dal nome, gli ALE svolgono funzioni di nodo leaf ACI quando lo switch Nexus 9500 viene implementato
come nodo leaf in un'infrastruttura ACI. Quando lo switch Nexus 9500 funziona in modalità tradizionale NX-OS,
l'ALE su una scheda di linea leaf ACI ready fornisce principalmente buffering aggiuntivo e facilita alcune funzioni di
rete, ad esempio il routing all'interno di un overlay VxLAN.
Gli NFE su una scheda di linea svolgono lookup di switching L2 e lookup di routing degli host L3. Le schede di
linea sono dotate di un numero variabile di NFE per supportare prestazioni di inoltro full-line-rate a prescindere
dalla dimensione dei pacchetti IP su tutte le porte del pannello anteriore.
In aggiunta alle prestazioni del piano dati line-rate, le schede di linea degli switch Nexus serie 9500 includono
inoltre una CPU dual-core integrata. Questa CPU è utilizzata per scaricare o velocizzare alcune attività del piano di
controllo, come la programmazione delle risorse delle tabelle hardware, la raccolta e l'invio di contatori e statistiche
delle schede di linea e lo scarico della gestione del protocollo BFD dai supervisori. Questo fornisce un significativo
miglioramento delle prestazioni del piano di controllo di sistema.
Scheda di linea 36x 40GE QSFP (N9K-X9636PQ)
N9K-X9636PQ (figura 8) è una scheda di linea di aggregazione che fornisce 36 porte 40GE QSFP sul pannello
anteriore. Include tre motori di inoltro di rete per l'inoltro dei pacchetti, ognuno dei quali supporta 12 porte 40GE sul
pannello anteriore e 12 porte interne ai moduli fabric (con clock a 42 Gbps per gestire l'overhead del frame
interno). Tutte le 36 porte 40GE del pannello anteriore su N9K-X9636PQ supportano la modalità di break-out 4x
10GE, che consente il funzionamento come 4 porte singole 10GE. In questo modo la scheda di linea è in grado di
fornire fino a 144 porte 10GE SFP+.
Questa scheda di linea dispone di un design PHY-less, che riduce la latenza di trasporto dei dati sulla porta di
100ns, diminuisce il consumo energetico della porta e migliora l'affidabilità, grazie al minor numero di componenti
attivi.
Le lunghezze di traccia da ogni NFE ai 12 cavi ottici QSFP supportati sono tutte inferiori a 7'', rendendo superflui
eventuali re-timer. Questo semplifica ulteriormente il design della scheda di linea e riduce il numero di componenti
attivi.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 9 di 18
Figura 8.
Schede di linea 36x 40GE QSFP Nexus serie 9500
Scheda di linea 48x 1/10G SFP+ (N9K-X9564PX)
Il modello N9K-X9564PX (figura 9) è una scheda di linea leaf ACI ready. Fornisce 48 porte 1GE SPF/10GE SPF+
e 4 porte 40GE QSFP. Ciascuna delle 4 porte 40GE supporta la modalità di break-out 4x10GE, che consente il
funzionamento come 4 porte singole 10GE. Come risultato, la scheda di linea può fornire fino a 64 porte 10GE. La
flessibilità di velocità delle porte consente un accesso di rete e un design di aggregazione semplici e convenienti.
I componenti principali di questa scheda di linea comprendono due NFE, due ALE e una CPU di scheda di linea. I
due NFE forniscono le porte sul pannello anteriore. Un NFE include 48 porte 1/10G, l'altro 4 porte 40G. I due ALE
garantiscono spazio di buffer esteso, gestione aggiuntiva dei pacchetti e la possibilità di utilizzare la scheda di linea
in modalità ACI.
Per fornire flessibilità in termini di velocità e di tipologia, le porte del pannello anteriore di questa scheda di linea
possono funzionare a velocità diverse. La mancata corrispondenza della velocità delle porte è una delle ragioni
principali per la congestione e il buffering dei pacchetti. Di conseguenza, questa scheda di linea può richiedere più
spazio di buffer di quello che i relativi NFE sono in grado di fornire. I due ALE forniscono fino a 40 MB di buffering
aggiuntivo ciascuno. Dato che l'ALE si trova tra gli NFE e i moduli fabric, è in grado di eseguire il buffering del
traffico di transito tra di essi. Il traffico commutato in locale da una porta 10G a una porta 1G sullo stesso NFE può
anche essere reindirizzato all'ALE collocato sulla sua interfaccia north bound, per sfruttare lo spazio di buffer
esteso.
Come il modello N9K-X9636PQ, questa scheda di linea beneficia anche di un design PHY-less, per un basso
consumo energetico, una minore latenza e una maggiore affidabilità.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 10 di 18
Figura 9.
Scheda di linea Nexus serie 9500 48x 1/10GE SPF+ e 4x 40GE QSFP
Scheda di linea 48x 1/10G BastT (N9K-X9564TX)
Il modello N9K-X9564PX (figura 10) è un'altra scheda di linea leaf ACI ready. Fornisce 48 porte 1G/10GBaseT e
4 porte 40G QSFP; ha un'architettura simile a quella del modello N9K-X9564PX, tranne per il fatto che tutte le
48 porte 1G/10GBasteT sono implementate con PHY 10GT per la conversione dei mezzi fisici 1G/10GBaseT.
Figura 10.
Scheda di linea Nexus serie 9500 48x 1/10GBaseT e 4x 40GE QSFP
Inoltro dei pacchetti unicast Nexus serie 9500
Come accennato in precedenza, le schede di linea e i moduli fabric degli switch Nexus serie 9500 sono entrambi
dotati di NFE che eseguono le funzioni di lookup e inoltro dei pacchetti. Ogni NFE include risorse delle tabelle di
inoltro, che comprendono tabelle TCAM e una tabella hash programmabile nota come tabella di inoltro unificata
(UFT). Può essere allocata in modo flessibile per voci MAC L2, voci di host IP o voci LPM. Questa flessibilità, unita
all'architettura di inoltro dei dati completamente distribuita, consente agli switch Cisco Nexus serie 9500 di
ottimizzare l'utilizzo delle risorse di tabella sulle schede di linea e sui moduli fabric, per massimizzare la scalabilità
di inoltro livello 2 e livello 3 del sistema. Fornisce inoltre la possibilità di implementare gli switch Nexus 9500 in una
vasta gamma di dimensioni di data center, con una varietà di tipi di applicazioni.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 11 di 18
Scheda di linea
Modulo fabric
Tabella MAC L2
160 K
-
Tabella host L3
88 K
-
Tabella LPM
-
128 K
L'architettura di inoltro del piano dati degli switch Cisco Nexus serie 9500 prevede la pipeline di ingresso sull'NFE
di ingresso, l'inoltro dei moduli fabric e la pipeline di uscita sull'NFE di uscita. Le pipeline di ingresso e di uscita
possono essere eseguite sulla stessa scheda di linea, o anche sullo stesso NFE, se le porte di ingresso e di uscita
si trovano sullo stesso NFE.
Un NFE è costituito da una pipeline di elaborazione di ingresso, un manager di buffer per l'accodamento e la
pianificazione e una pipeline di elaborazione di uscita. La pipeline di elaborazione di ingresso esegue l'analisi
dell'header dei pacchetti, la terminazione del tunnel, il rilevamento VRF, il lookup L2/L3 in base alle informazioni
nell'header del pacchetto analizzato, e l'elaborazione dell'ACL di ingresso. Il manager del buffer è responsabile di
tutte le funzioni di pianificazione e di accodamento. La pipeline di uscita gestisce tutti gli ACL di uscita e di modifica
dei pacchetti. Tutte le attività di lookup, come quelle delle tabelle L2/L3/ACL, vengono svolte a livello della pipeline
di ingresso. Le pipeline di ingresso e di uscita presentano più fasi, per consentire l'elaborazione in parallelo dei
pacchetti.
Figura 11.
Inoltro dei pacchetti unicast Nexus 9500
1. Pipeline di elaborazione in ingresso
Analisi dell'header del pacchetto
Quando un pacchetto entra attraverso una porta del pannello anteriore, passa attraverso la pipeline di ingresso sul
motore di inoltro di rete della scheda di linea. Il primo passaggio è costituito dall'analisi dell'header del pacchetto.
L'analisi flessibile del pacchetto verifica i primi 128 byte per estrarre e salvare le informazioni, come intestazione
L2, EtherType, intestazione L3, protocolli TCP IP. Queste vengono utilizzate per la logica di lookup ed
elaborazione successivi del pacchetto.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 12 di 18
Lookup MAC L2 e degli host L3
Mentre il pacchetto passa attraverso la pipeline di ingresso, è soggetto ai lookup di switching L2 e di routing L3.
Per prima cosa, l'NFE esamina l'indirizzo MAC di destinazione (DMAC) del pacchetto per determinare se è
necessario eseguire lo switching L2 o il routing L3. Se il DMAC corrisponde all'indirizzo MAC del router dello
switch, il pacchetto viene trasmesso alla logica di lookup di routing L3. Se il DMAC non appartiene allo switch,
viene eseguito uno lookup di switching L2 basato sul DMAC e sull'ID VLAN. Se viene trovata una corrispondenza
nella tabella degli indirizzi MAC, il pacchetto procede verso la porta di uscita. Se non c'è corrispondenza per la
combinazione DMAC e VLAN, il pacchetto viene inoltrato a tutte le porte sulla stessa VLAN.
Come parte della logica di switching L2, l'NFE esegue anche il lookup degli indirizzi MAC di origine (SMAC) per
l'apprendimento basato su hardware. Lo SMAC, insieme all'ID VLAN, viene utilizzato per la ricerca nella tabella
degli indirizzi MAC. Se non c'è corrispondenza, questo nuovo indirizzo viene memorizzato e associato alla porta di
ingresso del pacchetto. Se viene individuata una corrispondenza, non viene eseguita alcuna azione di
apprendimento. L'NFE supporta anche l'obsolescenza tramite hardware. Le voci non utilizzate per un periodo di
tempo prolungato (un aging time configurabile) vengono eliminate automaticamente.
All'interno della logica di lookup L3 sull'NFE della scheda di linea, l'indirizzo IP di destinazione (DIP) è utilizzato per
la ricerca nella tabella host L3. In questa tabella sono memorizzate le voci di inoltro per gli host connessi
direttamente o per i 32 route di host/per i route di host appresi. Se il DIP corrisponde a una voce della tabella host,
la voce indica porta di destinazione, indirizzo MAC next-hop e VLAN di uscita. Se non c'è corrispondenza per il DIP
nella tabella host, il pacchetto viene inoltrato al modulo fabric in cui il lookup per la corrispondenza con il prefisso
più lungo (LPM) viene eseguito nella tabella di routing LPM.
Quando si esegue lo switching livello 2 e il routing degli host livello 3, se la porta di uscita è locale rispetto all'NFE, i
pacchetti vengono trasmessi in locale dall'NFE senza passare dai moduli fabric. Nel caso di una scheda di linea
leaf ACI ready, se la porta di ingresso ha una velocità superiore alla porta di uscita, i pacchetti vengono
reindirizzati all'ALE (Application Leaf Engine) per un ulteriore buffering in modo da compensare la mancata
corrispondenza della velocità delle porte.
Elaborazione dell'ACL di ingresso
Oltre ai lookup di inoltro, sul pacchetto viene eseguita anche l'elaborazione dell'ACL di ingresso. Nella TCAM ACL
vengono verificate le corrispondenze ACL di ingresso. Ogni NFE dispone di una tabella TCAM ACL di ingresso con
4000 voci, per supportare gli ACL interni di sistema e gli ACL di ingresso definiti dall'utente. Questi ACL includono
ACL di porta, di routing e VLAN. Le voci ACL sono localizzate sull'NFE e vengono programmate solo ove
necessario. Questo consente il massimo utilizzo della TCAM ACL all'interno di uno switch Nexus 9500.
Classificazione del traffico in ingresso
Gli switch Cisco Nexus serie 9500 supportano la classificazione del traffico in ingresso. Su un'interfaccia di
ingresso il traffico può essere classificato in base a campi dell'indirizzo, CoS 802.1q e precedenza IP o DSCP
nell'header del pacchetto. Il traffico classificato può essere assegnato a uno dei quattro gruppi QoS. I gruppi QoS
fungono da identificazione interna delle classi di traffico, utilizzata per i successivi processi QoS nel corso del
passaggio dei pacchetti attraverso il sistema.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 13 di 18
Ammissione di ingresso, accodamento e policing
Il manager di buffer svolge le funzioni di ammissione e accounting di ingresso sul traffico nella pipeline di
elaborazione di ingresso. Ogni NFE ha un buffer da 12 MB costituito da 60.000 celle da 208 byte. Questa risorsa
buffer è condivisa dinamicamente dal traffico in ingresso e in uscita. Il meccanismo di controllo dell'ammissione di
ingresso stabilisce se un pacchetto deve essere ammesso in memoria. La decisione si basa sulla quantità di
memoria buffer disponibile e sulla quantità di buffer già utilizzato dalla porta di ingresso e dalla classe di traffico.
Gli switch Cisco Nexus serie 9500 supportano il policing in ingresso basato su classi. Le policy di policing possono
essere definite utilizzando un meccanismo a un livello e a due colori o un meccanismo a tre colori.
2. Lookup LPM del modulo fabric
Quando un pacchetto viene inoltrato a un modulo fabric, il modulo svolgerà azioni diverse in base ai risultati del
lookup sulla scheda di linea di ingresso. Quando il pacchetto è con routing L3 o switching L2, la scheda di linea di
ingresso ha risolto la porta di uscita, l'indirizzo MAC next-hop e le informazioni sulla VLAN di uscita. Il modulo
fabric inoltrerà semplicemente il pacchetto alla scheda di linea di uscita. Se il pacchetto necessita di un lookup
LPM, il modulo fabric esegue una ricerca nella tabella LPM e utilizza la migliore corrispondenza per l'indirizzo IP di
destinazione (DIP) per inoltrare il pacchetto. Se non c'è alcuna corrispondenza per il DIP, il pacchetto viene
scartato. La tabella di inoltro unificata (UFT) sul motore di inoltro di rete del modulo fabric ha un volume LPM di
128.000 voci.
3. Pipeline di elaborazione di uscita
La pipeline di elaborazione di uscita è relativamente semplice, in quanto la maggior parte dei lookup e delle
decisioni vengono prese nella pipeline di ingresso. Tuttavia, una funzione importante svolta nella pipeline uscita è il
QoS di uscita, che incluse WRED/ECN, code di uscita e modellazione.
Code di uscita e pianificazione
Seguendo il principio di progettazione basato su semplicità ed efficienza, gli switch Nexus serie 9500 utilizzano
una semplice architettura di code di uscita. In caso di congestione della porta di uscita, i pacchetti vengono
accodati direttamente nel buffer della scheda di linea di uscita. Non sono presenti code di output virtuali (VoQ)
sulle schede di linea di ingresso. Questo semplifica notevolmente la gestione del buffer di sistema e
l'implementazione dell'accodamento. Uno switch Nexus 9500 può supportare fino a sei classi di traffico in uscita
(quattro classi definite dall'utente, individuate dall'ID del gruppo QoS, una classe di controllo del traffico della CPU
e una classe di traffico SPAN). Ogni classe definita dall'utente può includere una coda unicast e una coda multicast
per ogni porta di uscita. Il buffer da 12 MB su un NFE è condiviso tra le porte locali. Il software di switch include un
meccanismo per conteggiare e limitare l'utilizzo del buffer per ogni porta di uscita. Questo assicura che nessuna
porta possa consumare singolarmente più della quota prevista di memoria buffer, determinando l'esaurimento del
buffer per le altre porte.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 14 di 18
Le schede di linea leaf ACI ready includono un ulteriore buffer di 40 MB in ognuno dei relativi ALE leaf
dell'applicazione. 10 MB di buffer vengono allocati al traffico diretto al fabric. I 30 MB restanti vengono allocati al
traffico in uscita dai moduli fabric e il traffico con switching in locale dalla porta di ingresso a maggiore velocità a
una porta di uscita a velocità minore. Questi 30 MB di buffer sono utilizzati per le code di uscita estese per il traffico
unicast. L'NFE comunica lo stato della coda unicast all'ALE attraverso un canale di segnalazione del controllo del
flusso out-of-band (OOBFC). Quando una coda di uscita supera la soglia configurata, l'NFE invia un segnale
OOBFC per indicare all'ALE di interrompere l'inoltro del traffico a questa coda e di avviare l'accodamento dei
pacchetti nel proprio buffer. Alla ricezione di questo segnale, l'ALE inizia a formare la coda output estesa per
questa classe di traffico sulla porta di uscita prevista. Quando la lunghezza della coda di uscita si riduce fino alla
soglia di riavvio configurata, l'NFE invia un altro segnale OOBFC per indicare all'ALE di riprendere la trasmissione
del traffico per questa particolare coda.
Figura 12.
Coda output estesa (EoQ) di Nexus 9500
L'architettura di code di uscita con code di output estese è un approccio semplice ma altamente efficiente per
gestire equamente la congestione delle porte. Garantisce infatti che nessuna porta possa causare l'esaurimento
del buffer disponibile per le altre.
Inoltro dei pacchetti multicast per Nexus serie 9500
I pacchetti multicast passano attraverso le stesse pipeline di elaborazione di ingresso e di uscita dei pacchetti
unicast. Tuttavia, una differenza nel processo di lookup e di inoltro dei pacchetti è rappresentata dal fatto che gli
switch Nexus 9500 eseguono lookup e replica multicast distribuita in tre fasi. La tabella di routing multicast è
memorizzata su tutte le schede di linea e i moduli fabric. L'NFE di ingresso esegue il 1° lookup per risolvere i
ricevitori locali. Se sono presenti ricevitori locali, l'NFE crea una copia per ogni porta di ricezione locale. Inoltre,
l'NFE di ingresso invia una copia del pacchetto in entrata al modulo fabric. Alla ricezione del pacchetto, il modulo
fabric esegue il 2° lookup per individuare le schede di linea di uscita. Il modulo fabric replica il pacchetto su ciascun
NFE di uscita.
L'NFE di uscita esegue il 3° lookup per risolvere i propri ricevitori locali e replica il pacchetto su quelle porte. Il
lookup e la replica multicast in più fasi rappresentano il modo più efficiente di replicare e inoltrare il traffico
multicast.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 15 di 18
Figura 13.
Inoltro dei pacchetti multicast per Nexus serie 9500
Un'altra differenza tra inoltro del traffico multicast e unicast è rappresentata dall'assenza di code di uscita estese
per il traffico multicast. Il motore di inoltro di rete supporta quattro code multicast per ogni porta di uscita. In
presenza di motori leaf ACI, il traffico multicast viene accodato in modo indipendente sulle code multicast del
motore di inoltro di rete. Non sono presenti segnali backpressure per controllare le code multicast attraverso il
canale OOBFC.
Tecnologia bidirezionale Cisco QSFP per la migrazione a 40Gbps
Grazie alla densità delle porte e alle prestazioni elevate per la connettività 1/10/40 GE, gli switch Nexus serie 9500
sono ideali per l'infrastruttura del data center di prossima generazione. Offrendo collegamenti 1/10GE a livello di
accesso/leaf e link 40GE a livello di aggregazione/spine, forniscono maggiore larghezza di banda scalabile per le
applicazioni del data center.
Tuttavia, la migrazione di una rete del data center esistente da 10GE a 40GE implica più del semplice
aggiornamento della piattaforma di rete. In questo contesto una delle principali sfide è rappresentata dalla
migrazione dell'infrastruttura di cablaggio. L'infrastruttura di cablaggio 10GE corrente utilizza 2 fili in fibra MMF per
una connessione 10GE. Tuttavia, i ricetrasmettitori ottici 40GE short reach esistenti, SR4 o CSR4, includono
sezioni con trasmettitori e con ricevitori indipendenti, ciascuno con 4 fili in fibra in parallelo. Come risultato, per una
connessione 40GE duplex sono necessari 8 fili in fibra. A causa di queste differenze, il passaggio dell'infrastruttura
10GE corrente a 40GE utilizzando ricetrasmettitori ottici 40GE esistenti richiede un aggiornamento o una
ricostruzione radicale dell'infrastruttura di cablaggio. Il costo e il potenziale di interruzione del servizio, entrambi
elevatissimi, rendono molto difficile la migrazione di un data center di produzione esistente a un'infrastruttura
40GE.
La tecnologia Cisco con ricetrasmettitore bidirezionale QSFP risolve questo problema fornendo la capacità di
trasmettere a 40G full duplex su due fili in fibra MMF con connettori LC. In altre parole, il ricetrasmettitore
bidirezionale QSFP consente di riutilizzare le fibre e il trunk in fibra 10G esistenti per la connettività 40GE, senza
richiedere ampliamenti o ricostruzioni. Inoltre, rimuove le barriere legate ai costi del cablaggio a 40 Gbps per la
migrazione della connettività da 10 Gbps all'interno delle reti dei data center.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 16 di 18
Figura 14.
Tecnologia con ricetrasmettitore bidirezionale Cisco
Conclusioni
Gli switch Nexus serie 9500 sono switch di classe data center leader di settore: offrono infatti la massima densità
delle porte per la connettività 1/10/40, e in futuro, 100GE, oltre a prestazioni di inoltro line-rate effettive e a bassa
latenza senza paragoni. Gli switch Nexus serie 9500 supportano un livello di densità delle porte 10GE e 40GE
leader nel settore. Grazie alla flessibilità in termini di velocità delle porte e di fattori di forma dello chassis, gli switch
Nexus serie 9500 sono ideali per implementazioni di data center multitenant, cloud e virtualizzati, di dimensioni da
piccole a medie a grandi.
Il design dello chassis senza midplane rende possibile la massima efficienza di raffreddamento. La combinazione
di chipset personalizzati e di terze parti consente un numero minimo di ASIC sulle schede di linea, con prestazioni
da record. Con innovazioni come il flusso d'aria anteriore-posteriore e gli alimentatori ad alta efficienza certificati
80PLUS Platinum, gli switch Nexus serie 9500 stabiliscono un nuovo standard per l'efficienza energetica,
l'affidabilità e le prestazioni nell'ambito degli switch di classe data center.
Separando la gestione intrasistema dal piano di controllo dello switch, gli switch Nexus serie 9500 forniscono un
piano di controllo di stabilità impareggiabile. Dotati di un supervisor engine con la CPU multicore più moderna oggi
disponibile, unita alle CPU delle schede di linea per lo scarico delle attività dai supervisor engine, gli switch Nexus
serie 9500 costituiscono la base per uno switch di data center realmente affidabile.
Nella tradizionale modalità NX-OS, gli switch Nexus serie 9500 vengono eseguiti a partire da una singola
immagine per tutti i modelli della gamma, semplificando notevolmente l'amministrazione della rete. Quando in
esecuzione sul più recente kernel Linux a 64 bit con modularità reale dei processi, elevata resilienza software e
vari miglioramenti nell'ambito dell'automazione e della programmabilità, la modalità NX-OS avanzata per gli switch
Nexus serie 9500 rappresenta la soluzione ideale per i data center che puntano a modernizzare e automatizzare la
gestione della rete del data center e i modelli operativi.
Le caratteristiche uniche citate sopra rendono gli switch Cisco Nexus serie 9500 ideali per il data center, per
consentire alle organizzazioni di costruire ambienti affidabili, scalabili, flessibile e automatizzati.
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
Pagina 17 di 18
Appendice
Appendice A - Terminologia
ACI - Application Centric Infrastructure, infrastruttura Cisco basata sulle applicazioni
NFE - Network Forwarding Engine, motore di inoltro di rete
ALE - ACI Leaf Engine, motore leaf ACI
EoQ - Extended Output Queue, coda output estesa
OOBFC - Out-of-Band Flow Control, controllo del flusso out-of-band
Stampato negli Stati Uniti
© 2013 Cisco e/o i relativi affiliati. Tutti i diritti riservati. Il presente documento contiene informazioni pubbliche di Cisco.
C11-729987-00
11/13
Pagina 18 di 18