白皮书
Cisco Nexus 9500 系列交换机架构
白皮书
2013 年 11 月
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 1 页，共 15 页
目录
Nexus 9500 系列交换机简介 ..................................................................................................................................... 3
Cisco Nexus 9500 系列交换机的可扩展控制平面 ..................................................................................................... 4
主控引擎................................................................................................................................................................ 4
系统控制器 ............................................................................................................................................................ 5
Cisco Nexus 9500 系列交换机的无阻塞分布式数据平面 .......................................................................................... 6
Nexus 9500 系列交换矩阵模块 ............................................................................................................................. 7
Nexus 9500 系列交换机线卡架构.......................................................................................................................... 8
36x 40GE QSFP 线卡 (N9K-X9636PQ) ................................................................................................................ 8
48x 1/10G SFP+ 线卡 (N9K-X9564PX)................................................................................................................. 9
48x 1/10G BastT 线卡 (N9K-X9564TX)................................................................................................................. 9
Nexus 9500 系列单播数据包转发 ............................................................................................................................ 10
1. 入口处理管道 .................................................................................................................................................. 11
2. 交换矩阵模块 LPM 查找 .................................................................................................................................. 12
3. 出口处理管道 .................................................................................................................................................. 12
Nexus 9500 系列组播数据包转发 ............................................................................................................................ 13
适合 40Gbps 迁移的 Cisco QSFP Bi-Di 技术 ......................................................................................................... 14
总结 ......................................................................................................................................................................... 14
附录 ......................................................................................................................................................................... 15
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 2 页，共 15 页
Nexus 9500 系列交换机简介
Cisco Nexus 9500 系列是模块化交换机系列，旨在提供行业领先的高性能、高密度和低延迟 1 千兆、10 千兆、
40 千兆以太网连接，乃至未来的 100 千兆以太网连接。Nexus 9500 系列交换机既可以在以应用为中心的基础设施
(ACI) 模式下运行，又可以在传统 NX-OS 模式下运行。在 ACI 模式下运行时，Nexus 9500 系列交换机可作为过渡
ACI 架构的基础，从而实现由应用网络配置文件驱动的完全集成的自动化网络交换矩阵解决方案。而在传统 NX-OS
模式下运行时，Nexus 9500 系列交换机是同类产品中第一款适用于可高度扩展的高性能数据中心接入层和汇聚层，
并具有增强的自动化和可编程性功能的交换机。本白皮书将着重讨论 Nexus 9500 系列交换机的通用硬件架构，以及
在传统 NX-OS 模式下的数据包转发实施。
8 插槽 Nexus 9508 交换机（图 1）是该系列中率先推出的平台，4 插槽和 16 插槽平台也将陆续登场。Cisco Nexus
9508 交换机可支持多达 1152 个 10GE 端口或 288 个 40GE 端口。Cisco Nexus 9516 交换机的端口密度在此基础
上再翻一番。Nexus 9500 系列交换机还可以提供适合 1G SFP/1GBase-T 和 10G SFP+/10GBaseT 连接的高端口密
度。凭借各种机箱外形、不同线卡类型和灵活的前面板端口速度，Cisco Nexus 9500 系列可以为所有规模的任务关
键型数据中心提供出色的网络解决方案。
图 1.
Cisco Nexus 9508 交换机
表 1.
Cisco Nexus 9500 机箱和转发特性
指标
NEXUS 9504
NEXUS 9508
NEXUS 9516
高度
7 RU
13 RU
20 RU
主控引擎插槽数
2
2
2
交换矩阵模块插槽数
6
6
6
线卡插槽数
4
8
16
最大光纤带宽/插槽 (Tbps)
3.84 Tbps
3.84 Tbps
3.84 Tbps
最大光纤带宽/系统 (Tbps)
15 Tbps
30 Tbps
60 Tbps
最大 1/10/40 GbE 端口数
192/576/144
384/1152/288
768/2304/576
最大转发吞吐量/线卡 (Tbps)
2.88 Tbps
2.88 Tbps
2.88 Tbps
最大转发吞吐量/系统 (Tbps)
11.52 Tbps
23.04 Tbps
46.08 Tbps
气流
自前而后
自前而后
自前而后
电源
4 个 3KW AC 电源
8 个 3KW AC 电源
8 个 3KW AC 电源
风扇托架
3
3
3
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 3 页，共 15 页
Cisco Nexus 9500 系列交换机采用模块化架构，其中包括交换机机箱、主控引擎、系统控制器、交换矩阵模块、线
卡、电源和风扇托架。在上述部件中，主控引擎、系统控制器、线卡和电源是可以由整个 Nexus 9500 产品系列共享
的通用组件。
Cisco Nexus 9500 系列的机箱采用了创新型无中板设计（图 2）。模块化平台普遍使用中板，并将此作为连接线卡
和交换矩阵模块的一种方式。作为交换机机箱内部的一个额外硬件，它会阻塞冷却气流。因此，需要运用其他方法
来形成气流通道，例如在中板上开孔或实施气流重定向，这会导致冷却效率降低。Nexus 9500 系列是业界首款无需
安装机箱中板的交换机平台。通过采用精确对准机制，Nexus 9500 系列交换机线卡和交换矩阵模块可直接通过连接
插针彼此连接。线卡和交换矩阵模块在机箱中采用正交定位，因此每个交换矩阵模块均与所有线卡相连，反之亦
然。由于没有中板阻塞气流通道，这种机箱设计可以实现最高冷却效率。而且，它无需使用大型冷却风扇，从而实
现了紧凑型机箱设计。
图 2.
Nexus 9500 无中板机箱设计
无中板机箱设计可以大大简化交换机平台部署和硬件升级。在一些需要引入新组件（如新线卡或新交换矩阵模块）
的情况下，往往需要升级中板。这不仅会增加复杂性，还会对硬件升级流程造成更多服务中断。Cisco Nexus 9500
免除了安装和升级中板的需要。消除中板的另一项优势在于能够大幅减少平均维修时间。在使用中板的情况下，如
果弄弯了中板上的某个插针，则必须关闭整个交换机，然后拆卸更换中板。若使用 9500 系列，就可以在不使其他机
箱组件中断服务的情况下更换损坏的组件。
除了可以实现最高散热效率外，Cisco Nexus 9500 系列的领先优势还体现在高电源效率上。其电源经过行业标准
80PLUS 白金级高效认证。Nexus 9500 系列的线卡和交换矩阵模块在设计上尽可能地减少了 ASIC 的数量，从而减
少了模块的散热槽数量。凭借这些创新设计，该系列可实现无与伦比的最低每端口能耗：
能耗/端口
10Gbps 端口
40Gbps 端口
瓦/端口
3.85 瓦/端口
15.4 瓦/端口
Cisco Nexus 9500 系列交换机的可扩展控制平面
Cisco Nexus 9500 主控引擎为 Cisco Nexus 9500 系列交换机提供了可扩展控制平面。系统控制器能够减轻主控引
擎在内部组件连接与管理功能方面负担。将内部管理任务从主控引擎分离出来，可提高交换机控制平面的可靠性。
这样可以加强整个交换机系统的模块化特性和弹性。
主控引擎
Cisco Nexus 9500 系列支持负责执行控制平面功能的冗余半宽主控引擎。交换机软件（增强型 NX-OS）在主控引擎
上运行。冗余主控引擎可全面承担主用和备用角色，支持在主控引擎硬件发生故障及实施服务中软件升级 (ISSU) 时
进行状态切换，从而在不影响生产服务的情况下执行软件升级/维护。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 4 页，共 15 页
Nexus 9500 主控引擎的 CPU 复合体基于包含 4 核 Sandy Bridge Exon 处理器的 Intel Romley 平台。默认系统内存
大小为 16 GB，并可现场升级到 48 GB。还包含一个内置 64 GB SSD，用于提供额外的板载非易失性存储。高速多
核 CPU 和超大内存为创建快速可靠的交换机系统控制平面奠定了坚实基础。控制平面协议将得益于强大的运算能
力，并能在网络状态变化时快速启动和即时融合。此外，可扩展式大型 DRAM 和多核 CPU 还可以提供足够的计算
能力和资源，为基于对照组的 Linux 容器提供支持，以便在该容器中安装第三方应用，并在受控环境下运行应用。板
载 SSD 针对日志、图像文件和第三方应用提供了额外的存储空间。
图 3.
Cisco Nexus 9500 主控引擎
主控引擎
处理器
Romley，1.8GHz，4 核
系统内存
16GB，可升级到 48GB
RS-232 串行端口
一个 (RJ-45)
10/100/1000 管理端口数
一个 (RJ-45)
USB.2.0 接口
两个
SSD 存储
64GB
主控引擎具有一个串行控制台端口 (RJ-45) 和一个 10/100/1000 以太网管理端口 (RJ-45)，用于实施带外管理。支持
两个 USB 2.0 接口，可连接外部 USB 闪存，以传输图像、系统日志和配置文件，以及用作其他各种用途。主控引擎
的每秒脉冲 (PPS) 时钟输入端口支持精确定时同步。
监控模块与交换矩阵模块或线卡间通信采用以太网带外通道 (EOBC) 或以太网协议通道 (EPC)。两种通道都在系统
控制器上设有中央集线器，从而为系统控制器提供冗余路径。
系统控制器
Cisco Nexus 9500 系列的系统控制器用于减轻主控引擎的内部非数据路径交换与管理功能负担。还可以提供电源和
风扇托架接入路径。
系统控制器是系统内通信中心交换机。它托管着主控引擎、线卡和交换矩阵模块之间两条主要的控制和管理通信路
径：以太网带外通道 (EOBC) 和以太网协议通道 (EPC)。
各模块间的所有系统内管理通信均通过 EOBC 通道完成。EOBC 通道通过系统控制器上的交换机芯片集提供，将包
括主控引擎、交换矩阵模块和线卡在内的所有模块相互连接起来。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 5 页，共 15 页
EPC 通道用于处理系统内数据平面协议通信。此通信路径由系统控制器上的另一个冗余以太网交换机芯片集提供。
与 EOBC 通道不同，EPC 交换机仅负责连接交换矩阵模块与主控引擎。如果需要将协议数据包发送给主控引擎，则
线卡需要使用内部数据路径将数据包传输到交换矩阵模块。然后，交换矩阵模块再通过 EPC 通道将数据包重定向到
主控引擎。
系统控制器还可以通过冗余系统管理总线 (SMB) 与电源设备和风扇控制器进行通信并对它们实施管理。
Cisco Nexus 9500 系列支持冗余系统管理器。当机箱中出现两个系统管理器时，仲裁进程将选择主用系统控制器。
另一个系统控制器将作为辅助或备用系统控制器以提供冗余。
图 4.
Cisco Nexus 9500 系列系统控制器
Cisco Nexus 9500 系列交换机的无阻塞分布式数据平面
虽然交换机控制平面在主控引擎上集中运行，数据平面数据包查找和转发功能却在多个线卡和交换矩阵模块上采用
高度分散的形式开展。
Cisco Nexus 9500 系列的线卡和交换矩阵模块均配有多个网络转发引擎 (NFE)，以便发挥数据包查找、处理和转发
功能。Nexus 9500 系列交换机的设计采用无阻塞架构，所有端口（无论数据包大小）均可提供全线速性能。由于许
多现代数据中心应用均采用小型数据包，因此哪怕最小的 64 字节数据包也要支持线速性能，这一点至关重要。为了
实现这种级别的转发能力，Nexus 9500 系列线卡和交换矩阵模块均设有必要数量的 NFE。每个 NFE 上最多可使用
24 个 40GE 端口以确保线速性能。在 24 个 40GE 端口中，有 12 个 40GE 端口（时钟速率采用 42GE 速率，以满
足内部帧报头额外位的需要）用于交换矩阵模块的内部连接。另外 12 个端口用作前面板接口，从而支持 1GE、
10GE、40GE 用户数据端口，甚至期望未来可以支持 100GE 用户数据端口。
图 5.
Nexus 9500 系列交换机的分布式数据平面
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 6 页，共 15 页
网络转发引擎综合采用专用 TCAM 表空间和共享散列表内存（称为统一转发表 [UFT]）来存储第 2 层和第 3 层转发
信息。UFT 可灵活地划分为三个转发表：MAC 地址表、IP 主机表和 LPM 表。这种可编程内存共享方法不仅可以灵
活地迎合不同部署场景的需求，还能提高内存资源利用效率。
为了最大限度地提高系统级转发可扩展性，Nexus 9500 系列交换机设计在线卡和交换矩阵模块上使用 UFT 表执行
不同的转发查找功能。线卡上的 UFT 用于存储 L2 MAC 表和 L3 主机表。因此，线卡负责执行 L2 交换查找和 L3 主
机路由查找。交换矩阵模块上的 UFT 则用于托管 L3 LPM 表和执行 L3 LPM 路由查找。线卡和交换矩阵模块均具有
组播表，并参与分布式组播查找和数据包复制过程。组播与线卡上的 L3 主机条目共享相同的表资源。图 6 展示了
Nexus 9500 系列交换机的系统级转发可扩展性。
图 6.
Nexus 9500 系统级转发可扩展性
Nexus 9500 系列交换矩阵模块
Nexus 9500 系列交换机可包含多达六个交换矩阵模块，并且全部在主用模式下运行。每个交换矩阵模块包含多个网
络转发引擎 (NFE)，其中 2 个交换矩阵模块用于 Nexus 9508 交换机，另外 4 个用于 Nexus 9516 交换机（图 7）。
Nexus 9508 交换机的交换矩阵模型上最多可包含十二个 NFE。这是为了提供实现真正的无阻塞架构所需的数据路径
带宽和数据包转发能力。因此，无论数据包大小如何，Nexus 9508 均可在所有线卡上提供真正的线速性能。
图 7.
Nexus 9500 系列交换矩阵模块
在模块化机箱架构中，Nexus 9500 系列交换机的交换矩阵模块负责发挥以下重要功能：
●
为线卡提供高速无阻塞数据转发连接。网络转发引擎的所有链路均为主用数据路径。每个交换矩阵模块最多
可为每个线卡插槽提供 8 个 40Gbps 链路。部署有 6 个交换矩阵模块的 Nexus 9500 机箱可为每个线卡插槽
提供 48 个 40Gbps 光纤路径。这相当于每插槽 3.84 Tbps 全双工带宽。
●
针对 IPv4 和 IPv6 流量执行分布式 LPM（最长前缀匹配）路由查找。LPM 转发信息存储在 Nexus 9500 系列
交换机的交换矩阵模块上。它最多可以支持 128,000 个 IPv4 前缀或 32,000 个 IPv6 前缀。
●
执行分布式组播查找和数据包复制操作，以便将组播数据包副本发送到接收出口 NFE。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 7 页，共 15 页
Nexus 9500 系列交换机线卡架构
Nexus 9500 系列交换机线卡可分为两种类型：汇聚线卡和以应用为中心的基础设施 (ACI) 就绪枝叶线卡。在以传统
NX-OS 模式运行的 Nexus 9500 交换机上，汇聚线卡用于提供高密度 10GE/40GE 连接。ACI 就绪枝叶线卡则既可
以在传统 NX-OS 模式下运行，又可以在 ACI 模式下运行。
所有 Nexus 9500 线卡均包含多个用于执行数据包查找和转发功能的 NFE。此外，ACI 就绪枝叶线卡还包含一组应
用枝叶引擎 (ALE)。顾名思义，当将 Nexus 9500 交换机部署作为 ACI 基础设施的枝叶节点时，ALE 用于执行 ACI
枝叶节点功能。当在传统 NX-OS 模式下运行 Nexus 9500 交换机时，ACI 就绪枝叶线卡 ALE 主要用于提供额外缓
冲以及简化某些网络功能，如 VxLAN 重叠网络内部路由。
线卡上的 NFE 用于执行 L2 交换查找和 L3 主机路由查找。线卡配有数量不等的 NFE，用于为各种前面板端口上大
小各异的 IP 数据包提供全线速转发性能支持。
除提供数据平面线速性能外，Nexus 9500 系列交换机线卡还具有内置双核 CPU。该 CPU 用于卸载或加速某些控制
平面任务，如硬件表资源编程、收集和发送线卡计数和统计数据，以及减轻主控引擎的 BFD 协议处理负担。这大大
提高了系统控制平面的性能。
36x 40GE QSFP 线卡 (N9K-X9636PQ)
N9K-X9636PQ（图 8）是一种提供 36 个 40GE QSFP 前面板端口的汇聚线卡。其中包含三个用于转发数据包的网
络转发引擎，每个网络转发引擎支持 12 个 40GE 前面板端口和 12 个交换矩阵模块内部端口（时钟速率采用
42 Gbps 速率是为了满足内部帧开销的需要）。N9K-X9636PQ 上的全部 36 个 40GE 前面板端口均支持分为 4 组在
10GE 分组模式下作为 4 个独立的 10GE 端口运行。这样，线卡最多可提供 144 个 10GE SFP+ 端口。
此线卡的特色在于无物理层设计。这不仅可以将端口数据传输延迟缩短 100 纳秒，降低端口功耗，而且还能通过减
少主用组件提高可靠性。
各 NFE 到其支持的 12 个 QSFP 光纤的线路长度均低于 7”，从而消除了重计时器需求。这进一步简化了线卡设计，
减少了主用组件的数目。
图 8.
Nexus 9500 系列 36x 40GE QSFP 线卡
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 8 页，共 15 页
48x 1/10G SFP+ 线卡 (N9K-X9564PX)
N9K-X9564PX（图 9）是一种 ACI 就绪枝叶线卡。其中提供了 48 个 1GE SPF/10GE SPF+ 端口和 4 个 40GE QSFP
端口。4 个 40GE 端口中的每个端口均支持分为 4 组在 10GE 分组模式下作为 4 个独立的 10GE 端口运行。因此，该
线卡最多可以提供 64 个 10GE 端口。端口速度灵活性可实现简便快捷、具成本效益的网络接入及汇聚设计。
此线卡的关键组件包括两个 NFE、两个 ALE 和一个线卡 CPU。两个 NFE 用于提供前面板端口。一个 NFE 具有
48 个 1/10G 端口，另一个则具有 4 个 40G 端口。两个 ALE 用于提供扩展缓冲空间、额外的数据包处理功能和选
项，以便在 ACI 模式下使用该线卡。
为了提供端口类型和速度灵活性，此线卡的前面板端口能以不同的速度运行。端口速度失配是造成端口堵塞和数据
包缓冲的主要原因之一。因此，该线卡所需的缓冲空间可能高于 NFE 能够提供的缓冲空间量。两个 ALE 分别可提
供高达 40MB 的额外缓冲空间。由于 ALE 位于 NFE 与交换矩阵模块之间，因此可以缓冲两者之间的中转通信。另
外，还可以将同一 NFE 上从 10G 端口传输到 1G 端口的本地交换流量重定向到其北向接口上的 ALE，以便充分利
用扩展缓冲空间。
与 N9K-X9636PQ 类似，此线卡也可以从无物理层设计中受益匪浅，包括降低功耗、缩短延迟及加强可靠性。
图 9.
Nexus 9500 系列 48x 1/10GE SPF+ 和 4x 40GE QSFP 线卡
48x 1/10G BastT 线卡 (N9K-X9564TX)
N9K-X9564TX（图 10）是另一种 ACI 就绪枝叶线卡。其中提供了 48 个 1G/10GBaseT 端口和 4 个 40G QSFP 端
口。架构与 N9K-X9564PX 类似，但全部 48 个 1G/10GBasteT 端口均通过 10GT PHY 实现，以转换为 1G/10GBaseT
物理媒体。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 9 页，共 15 页
图 10. Nexus 9500 系列 48x 1/10GBaseT 和 4x 40GE QSFP 线卡
Nexus 9500 系列单播数据包转发
如上文所述，Nexus 9500 系列交换机的线卡和交换矩阵模块包含 NFE，用于执行数据包查找和转发功能。每个
NFE 均具有转发表资源，其中包括 TCAM 表和可编程散列表（称为统一转发表 [UFT]）。用户可以灵活地将其分配
给 L2 MAC 条目、IP 主机条目或 LPM 条目。Cisco Nexus 9500 系列交换机可通过这种灵活性连同完全分布式数据
转发架构，优化线卡和交换矩阵模块的表资源利用率，从而最大限度地提升系统的第 2 层和第 3 层转发可扩展性。
它还能够在包含各种应用类型的各种数据中心内部署 Nexus 9500 交换机。
线卡
交换矩阵模块
L2 MAC 表
160K
-
L3 主机表
88K
-
LPM 表
-
128K
Cisco Nexus 9500 系列交换机的数据平面转发架构包含入口 NFE 上的入口管道、交换矩阵模块转发功能，以及出口
NFE 上的出口管道。入口管道和出口管道可以在同一线卡上运行，如果入口端口和出口端口位于同一 NFE，两者甚
至还可以在同一 NFE 上运行。
NFE 包含入口处理管道、队列和调度缓冲区管理器，以及出口处理管道。入口处理管道用于执行数据包报头解析、
隧道终止、VRF 检测、基于解析数据包报头信息的 L2/L3 查询及入口 ACL 处理。缓冲区管理器负责执行所有队列和
调度功能。出口管道则用于处理所有数据包修改和出口 ACL。所有查找操作（如 L2/L3/ACL 表查找）均在入口管道
完成。入口管道和出口管道均有多个阶段，以便并行处理这些数据包。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 10 页，共 15 页
图 11. Nexus 9500 单播数据包转发
1. 入口处理管道
数据包报头解析
当数据包通过前面板端口进入时，会经过线卡网络转发引擎上的入口管道。第一步是数据包报头解析。灵活的数据
包解析器将解析数据包的前 128 个字节，提取并保存诸如 L2 报头、EtherType、L3 报头、TCP IP 协议等信息。这
些信息将用于后续的数据包查找和处理逻辑。
L2 MAC 和 L3 主机查找
当数据包经过入口管道时，将需要执行 L2 交换和 L3 路由查找。首先，NFE 会检查数据包的目标 MAC 地址
(DMAC)，从而确定该数据包是否需要执行 L2 交换或 L3 路由。如果 DMAC 与交换机自身的路由器 MAC 地址匹
配，该数据包将被传递至 L3 路由查找逻辑。如果 DMAC 不属于该交换机，则会执行基于 DMAC 和 VLAN ID 的 L2
交换查找。如果在 MAC 地址表中找到匹配条目，该数据包将被发送至出口端口。如果查找 DMAC 与 VLAN 的组合
未找到匹配条目，该数据包将被转发至同一 VLAN 中的所有端口。
作为 L2 交换逻辑的一部分，NFE 还会执行源 MAC (SMAC) 地址查找以实现基于硬件的学习。SMAC 会与 VLAN ID
一起用于搜索 MAC 地址表。如果未找到匹配项，系统会学习这个新地址，并将其与数据包的入口端口相关联。如果
找到匹配项，则不执行任何学习操作。NFE 还支持硬件辅助老化功能。逾期（可配置的老化时间）不使用的条目将
被自动删除。
在线卡 NFE 的 L3 查找逻辑中，目标 IP 地址 (DIP) 用于执行 L3 主机表搜索。该表存储了直接连接主机或已学习的 /32
主机路由的转发条目。如果 DIP 与主机表中的某个条目匹配，则该条目会指示目标端口、下一跳 MAC 地址和出口
VLAN。如果主机表中不存在与 DIP 匹配的条目，该数据包将被转发至在其中执行最长前缀匹配 (LPM) 查找的 LPM 路
由表所在的交换矩阵模块。
当执行第 2 层交换和第 3 层主机路由时，如果出口端口位于 NFE 本地，则数据包会由 NFE 进行本地转发，而不进
入交换矩阵模块。使用 ACI 就绪枝叶线卡时，如果入口端口的速度高于出口端口，数据包会被重定向到应用枝叶引
擎 (ALE) 进行额外缓冲，从而对端口速度失配给予补偿。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 11 页，共 15 页
入口 ACL 处理
除转发查找外，该数据还可以执行入口 ACL 处理。检查 ACL TCAM 确定是否存在入口 ACL 匹配项。每个 NFE 均
具有一个入口 ACL TCAM 表（包含 4,000 个条目），从而为系统内部 ACL 和用户定义的入口 ACL 提供支持。这些
ACL 包括端口 ACL、路由 ACL 和 VLAN ACL。ACL 条目已本地化为 NFE，并且仅在必要时才进行编程。这样可以
在 Nexus 9500 交换机中实现 ACL TCAM 的最大利用率。
入口流量分类
Nexus 9500 系列交换机支持入口流量分类。入口接口流量可根据地址字段、802.1q CoS 以及数据包报头中的 IP 优
先级或 DSCP 进行分类。分类流量可分配给四个 QoS 组之一。QoS 组用作流量类（当数据包经过系统时用于后续
的 QoS 流程）的内部标识。
入口准入、队列和管制
缓冲区管理器用于对入口处理管道中的流量执行入口核算和准入功能。每个 NFE 均具有 12 MB 缓冲空间，其中包
含 60,000 个 208 字节单元。入口流量和出口流量通过动态方式共享此缓冲资源。入口准入控制机制决定是否允许将
数据包纳入内存。该决定基于缓冲区的可用内存空间量以及入口端口和流量类已经占用的缓冲空间量。
Nexus 9500 系列交换机支持基于入口类的管制。管制策略可通过一速率两颜色机制进行定义，也可以通过两速率三
颜色机制进行定义。
2. 交换矩阵模块 LPM 查找
当将某个数据包转发到交换矩阵模块时，交换矩阵模块将根据入口线卡上的查找结果采取不同的操作。如果数据包
为 L2 交换数据包或 L3 主机路由数据包，那么入口线卡已经解析出口端口、下一跳 MAC 地址和出口 VLAN 信息。
交换矩阵模块只需将数据包转发到出口线卡。如果数据包需要执行 LPM 查找，交换矩阵模块则会搜索 LPM 表并使
用最佳匹配项作为目标 IP 地址 (DIP) 转发数据包。如果没有匹配的 DIP，则丢弃数据包。交换矩阵模块网络转发引
擎的统一转发表 (UFT) 具有包含 128,000 个条目的大规模 LPM。
3. 出口处理管道
出口处理管道相对简单，因为大部分查找和决策操作均已在入口管道中完成。但是，出口管道中执行的一项重要功
能是出口 QoS，包括 WRED/ECN、出口队列和调整。
出口队列和调度
Nexus 9500 系列交换机按照简便高效的设计原则，选用简单出口队列架构。一旦发生出口端口堵塞，则数据包会直
接在出口线卡缓冲区排队。入口线卡上不包含虚拟输出列队 (VoQ)。这大大简化了系统缓冲区管理和队列实现过程。
Nexus 9500 交换机最多可在出口上支持六个流量类（四个通过 QoS 组 ID 标识的用户定义类、一个 CPU 控制流量
类和一个 SPAN 流量类）。每个用户定义类的每个出口端口可包含一个单播队列和一个组播队列。本地端口共享
NFE 上的 12 MB 缓冲区。交换机软件设置了一项机制，用于测量和限制各出口端口的缓冲使用情况。这样可确保任
何一个端口消耗的缓冲区内存空间均不会超出平均值，继而避免其他端口出现缓冲空间匮乏情况。
ACI 就绪枝叶线卡的每个 ACI 枝叶引擎 (ALE) 中还具有一个额外的 40MB 缓冲区。其中 10MB 缓冲空间分配给受交
换矩阵制约的流量。剩余 30MB 则分配给来自交换矩阵模块的出口流量和从高速入口端口发送到低速出口端口的本
地交换流量。这 30MB 缓冲空间用于单播流量的扩展输出列队。NFE 通过带外流量控制 (OOBFC) 信令通道向 ALE
传达单播队列状态。当出口队列超出配置的阈值时，NFE 会发送 OOBFC 信号指示 ALE 停止转发此队列的流量，开
始在其自身的缓冲区中排列数据包。接到该信号后，ALE 开始在给定的出口端口上为此流量类建立扩展输出队列。
当出口队列长度减少到配置的重新启动阈值后，NFE 将发送另一个 OOBFC 信号，以指示 ALE 恢复这个特定队列的
传输流量。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 12 页，共 15 页
图 12. Nexus 9500 扩展输出队列 (EoQ)
尽管带有扩展输出队列的出口队列架构十分简单，但却是公平处理端口堵塞的一种高度有效的方法。它可确保任何
一个端口均不会导致其他所有端口出现缓冲空间匮乏的情况。
Nexus 9500 系列组播数据包转发
组播数据包与单播数据包经过相同的入口和出口处理管道。但是，两者在数据包查找和转发过程方面的一大区别在
于，Nexus 9500 交换机执行 3 阶段分布式组播查找和复制操作。所有线卡和交换矩阵模块上均存储有组播路由表。
入口 NFE 负责执行第 1 次查找以解析本地接收器。如果存在任何本地接收器，NFE 会为每个本地接收端口分别创建
一个副本。另外，入口 NFE 还会向交换矩阵模块发送一个传入数据包副本。接到数据包后，交换矩阵模块会执行第
2 次查找以查找出口线卡。交换矩阵模块将数据包分别复制到每个出口 NFE。
出口 NFE 执行第 3 次查找以解析器本地接收器，并将数据包复制到这些端口。这种多阶段组播查找和复制方法是复
制和转发组播流量的最有效方式。
图 13. Nexus 9500 组播数据包转发
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 13 页，共 15 页
组播流量转发和单播流量转发之间的另一个区别在于，组播流量不包含扩展输出队列。网络转发引擎的每个出口端
口支持四个组播队列。使用 ACI 枝叶引擎的情况下，它会将组播流量单独排列到网络转发引擎组播队列。没有通过
OOBFC 通道控制多播队列的反压力信号。
适合 40Gbps 迁移的 Cisco QSFP Bi-Di 技术
Nexus 9500 系列交换机通过其面向 1/10/40 GE 连接的高端口密度和高性能为新一代数据中心基础设施服务。它不
仅在接入/枝枝叶层提供 1/10GE 链路并在汇聚/主干层提供 40GE 链路，而且提供了适合数据中心应用的更具可扩展
性的带宽。
但是，将现有的数据中心网络从 10GE 迁移到 40GE 绝非网络平台升级那么简单。布线基础设施迁移是这项任务面
临的最严峻的挑战之一。当前 10GE 布线基础设施为每个 10GE 连接使用 2 条 MMF 光纤束。但是，就现有短距离
40GE 光纤收发器（SR4 或 CSR4）而言，其发射器部分和接收器部分相互独立，而且各有 4 条并行光纤束。因
此，需要 8 条光纤束才能进行 40GE 双工连接。这些差异表明，要使用现有 40GE 光纤收发器将当前 10GE 基础设
施迁移到 40GE，就必须对布线基础设施进行叉车式升级或重建。由于成本惊人并且可能造成服务中断，因此将现有
生产数据中心迁移到 40GE 基础设施非常困难。
Cisco QSFP 双向收发器技术可通过两条带有 LC 连接器的 MMF 光纤束提供全双工 40G 传输能力，从而解决了这个
问题。换句话说，QSFP BiDi 收发器使支持再利用现有 10G 光纤和光纤干线来实现 40GE 连接，而无需进行扩展或
重建。它还可消除将数据中心网络从 10 Gbps 连接迁移到 40 Gbps 连接的 40 Gbps 布线成本障碍。
图 14. 思科双向收发器技术
总结
Nexus 9500 系列交换机是行业领先的数据中心类交换机，除提供无与伦比的真正线速和低延迟转发性能外，还具有
适合 1/10/40GE，乃至未来的 100GE 连接的最高端口密度。Nexus 9500 系列交换机支持行业领先的 10GE 和
40GE 端口密度。由于具备灵活的端口速度和机箱外形，Nexus 9500 系列交换机能够适应各种规模（从小型到中型
再到大型）的虚拟化多租户云数据中心部署。
无中板机箱设计可实现最高冷却效率。商业芯片与定制芯片相结合不仅使线卡具有最低数量的 ASIC，而且有助于提
供史无前例的性能。凭借各种创新（如自前而后气流和通过 80PLUS 白金级认证的高效电源），Nexus 9500 系列交
换机在能源效率、可靠性和性能方面为数据中心级交换机创下了新的记录。
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
第 14 页，共 15 页
通过将系统内管理从交换机控制平面分离出来，Nexus 9500 系列交换机的控制平面实现了无与伦比的稳定性。由于
配备的主控引擎采用了最新多核 CPU 和线卡 CPU 来减轻主控引擎的任务负担，Nexus 9500 系列交换机为创建可靠
的数据中心交换机奠定了基础。
当在传统 NX-OS 模式下运行时，Nexus 9500 系列交换机可在适合该系列中所有交换机的单个映像上运行，从而大
大减轻了网络管理工作量。当在最新的 64 位 Linux 内核（实现了真正的流程模块化、高软件弹性并提供了多项自动
化和可编程性增强功能）上运行时，Nexus 9500 系列交换机的增强型 NX-OS 对力求实现数据中心网络管理和运营
模式现代化和自动化的数据中心而言，堪称最佳解决方案。
有了上述独特功能，Cisco Nexus 9500 系列交换机将成为理想的数据中心交换机，从而使企业能够构建可靠、可扩
展的弹性自动化数据中心。
附录
附录 A - 术语
ACI - 以应用为中心的基础设施
NFE - 网络转发引擎
ALE - ACI 枝叶引擎
EoQ - 扩展输出队列
OOBFC - 带外流量控制
美国印刷
© 2013 思科和/或其附属公司。版权所有。本文档所含内容为思科公开发布的信息。
C11-729987-00
11/13
第 15 页，共 15 页