TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Catalyst 6500 스위치가 실제 많이 운영되고 있으면서도 정확한 하드웨어 구조 및 프로세싱에 대한 이해
가 부족함으로 인한 Core Switch 운용, 관리 및 장애 대응에 있어서 많은 어려움을 겪고 있는 것이 현실
입니다. 따라서, Catalyst 6500 하드웨어 아키텍쳐 및 프로세싱 동작 원리를 알아보고 장애 시 체크 포인
트 및 장애 원인 분석을 위한 자료 수집 방법에 대한 Tip을 공유하고자 합니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
1
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
2
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
시스코 카탈리스트 6500은 고객의 다양한 요구를 수용하기 위해서 모듈러 샤시로 구성되어 있으며, 성능
은 최대 400 Mpps 까지 지원 가능하며 스위치 시장에서 가장 높은 성능을 제공하는 스위치 중에 하나
입니다. 그림에서 보시는 것 처럼, 최소 3개 슬롯 부터 13개 슬롯 까지 지원합니다.
6500 샤시 페밀리를 간략히 소개 드리면,
 Cisco Catalyst 6503 Switch:
3개 슬롯과 전원 공급 장치 이중화 및 슈퍼바이져 이중화 지원 및 최대 2개 라인카드 장착 가능.
 Cisco Catalyst 6506 Switch:
6개 슬롯과 전원 공급 장치 이중화 및 슈퍼바이져 이중화 지원 및 최대 5개 라인카드 장착 가능.
 Cisco Catalyst 6509 Switch:
9개 슬롯과 전원 공급 장치 이중화 및 슈퍼바이져 이중화 지원 및 최대 8개 라인카드 장착 가능.
 Cisco Catalyst 6509-NEB-A Switch:
위 6509 스위치와 동일하나 라인카드 장착 뱡향이 세로로 구성되어 있음.
 Cisco Catalyst 6513 Switch:
13개 슬롯과 전원 공급 장치 이중화 및 슈퍼바이져 이중화 지원 및 최대 12개 라인카드 장착 가능.
시스코는 또한 새로운 “E” 시리즈 샤시를 출시하고 Backplane에 더 많은 파워를 공급할 수도록 설계되었
으며, 각 라인카드가 필요로 하는 더 많은 전원을 제공 할 수 있음.
“E” 시리즈는 아래와 같이 4개 샤시로 구성 되어 있으며, 성능 및 가용 슬롯은 위의 스위치와 동일하나 지
원 가능한 전원량이 증가 되었습니다.
 Cisco Catalyst 6503-E Switch:
이 샤시는 가용 전원이 50A@42V (~2500W) ~ 80A@42V (~4000W) 까지 지원 가능.
 Cisco Catalyst 6504-E Switch:
이 샤시는 가용 전원이 50A@42V (~2500W) ~ 80A@42V (~4000W) 까지 지원 가능.
 Cisco Catalyst 6506-E Switch:
이 샤시는 가용 전원이 90A@42V (~4000W) ~ 350A@42V (~12000W) 까지 지원 가능.
 Cisco Catalyst 6509-E Switch:
이 샤시는 가용 전원이 90A@42V (~4000W) ~ 350A@42V (~12000W) 까지 지원 가능.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
3
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
시스코 카탈리스트 6500 스위치는 1999년처음 출시 되었으며, 32Gbps 공유 스위칭 Bus 샤시내에 라인
카드를 서로 연결해 주는 구조 및 라인카드를 고속의 스위칭 경로로 Crossbar 스위칭 Fabric으로 연결 시
켜 주는 두 번째 Backplane을 구조를 가지고 있습니다. 즉, 공유 버스 Backplane과 스위칭 Fabric
Backplane으로 구성 되어 있다고 보시면 됩니다.
일세대 Crossbar Switching Fabric은 WS-C6500-SFM 또는 WS-C6500-SFM2 이라는 모듈 형태로 하나의
슬롯을 차지하였으며, 256Gbps 대역을 제공 합니다.
그후, 슈퍼바이져 720 엔진이 출시 되면서 부터, 별도의 슬롯을 사용하지 않고 슈퍼바이져 모듈에 내장되
어 성능은 최대 720Gbps 대역까지 지원을 합니다.
또한, 슈퍼아지져 720-3B,720-3BXL도 마찬가지로 동일한 720Gbps Fabric 용량을 지원 합니다.
위 그림은 각 샤시별 슈퍼바이져 모듈 장착이 되는 슬롯과 라인카드가 장착 가능한 슬롯을 나타내며, 싱
글 Fabric 라인카드 및 듀얼 fabric 라인 카드가 지원되는 슬롯을 알 수 있습니다.
그림에서 보시는 것 처럼, 각 샤시별 Single Crossbar Switching Fabric 또는 Dual Crossbar Switching
Fabric 지원하는 슬롯이 차이가 있습니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
4
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
위의 그림은 Cisco Catalyst 6509-E chassis의 Backpalne과 라인카들 연결을 보여 주고 있습니다.
각 라인카드 슬롯은 2개의 채널을 제공하지만, 13개 슬롯을 가지 샤시는 슬롯 1~8은 하나의 Fabric 채널
을 지원하며, 슬롯 9~13은 두개의 Fabric 채널을 지원합니다.
Crossbar Switching Fabric은 각 라인 카드로 데이터 송신 및 수신을 고유한 전송 경로를 제공하고 있습
니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
5
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Cisco Catalyst 6500은 FAN1과 FAN2 두가지 FAN을 지원하며, 새로운 고속 FAN2은 슈퍼바이져 720 엔
진 출시와 함께 소개가 되었습니다.
새로운 고속 Fan은 각 6500스위치를 위해서 설계되었으며 주 목적은 더 많은 전력 소비와 열을 방출 시
키는 새로운 라인카드를 위한 추가 Cooling을 위한 것 입니다.
만약, 슈퍼바이져 32, 720, 720-3B 또는 720-3BXL가 샤시에 인스톨 되어 있으면, 새로운 고속 FAN2가 반
드시 사용 되어야 합니다.
FAN2는 표준 샤시에 사용이 되며, E-Fan은 새로운 E시리즈 샤시에 사용이 됩니다.
또한, 이들 고속 Fan은 예전의 세대의 슈퍼바이져 엔진 1, 1A 및 2에도 사용이 될 수 있습니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
6
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Cisco Catalyst 6500은 고객의 다양한 요구에 맞게 AC와 DC 전원 공급 장치를 지원 하며, 샤시별 지원 가
능한 전원 공급 장치는 테이블 3,4을 참조 하시기 바랍니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
7
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
위 테이블은 E 시리즈별 사용 가능한 AC 및 DC 공급 장치를 확인 할 수 있습니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
8
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Table 5에 요약 되어 있는 것 처럼, 각 전원 공급 장치는 서로 다른 운영 특성들을 가지고 있으며,
2500WAC, 2700WAC, 3000WAC, 6000WAC 그리고 8700WAC는 110VAC 환경하에서는 Full 전원을 공급
하지 않습니다.
예를 들어서 2500W 전원 공급 장치는 110VAC에서 1300W만 지원 되고, 2700W인 경우 1350W, 3000W
인 경우 1450W, 6000W인 경우 3000W (2x110VAC), 8700W인 경우 4200W (3x110VAC)를 지원 합니다.
따라서, 110VAC인 경우, 현재 전원 공급 장치가 샤시로 공급할 수 있는 출력으로 정의된 숫자는 의미가
없음을 알 수 있습니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
9
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Cisco Catalyst 6500 supervisor engine은 스위치 소프트웨어 구동이 되며 모든 중앙 집중화된 제어 및
데이터 Plane 프로세스등이 실행되는 주요 모듈입니다.
Control plane 기능은 소프트웨어에서 운영되는 프로세스들을 참조하며, Data Plane 기능은 하드웨어에
서 운영되는 프로세스들을 참조합니다.
Supervisor Engine 32은 32Gbps 공유 Bus를 지원하며, 전송율은 최대 15Mpps 까지 지원합니다. 특히,
스위치 Fabric을 지원 하지 않는 것이 특징 입니다.
새로운 Supervisor Engine 720, 720-3B, 그리고, 720-3BXL은 720-Gbps Crossbar switch fabric 모듈이 내
장되어 있으며, 32-Gbps Bus 연결 과 하나의 20-Gbps로 내장된 Crossbar switch fabric과 연결을 지원 합
니다. 모든 Supervisor Engine 720은 중앙 집중화 전송율 30Mpps 과 분산화된 전송율을 최대 400Mpps
까지 지원 합니다.
슈퍼바이져 엔진 32는 가장 최근 추가된 Catalyst 6500 슈퍼바이져 엔진 페밀리 이며, 기본적으로 PFC3B
와 MSFC2A를 제공합니다.
PFC3B는 보안,QoS Based ACL등을 위한 하드웨어 기반의 지원을 하며, PFC3B 상에서 QoS 서비스들
Ingress traffic policing, IPV4 헤더에 ToS 우선 순위, Ethernet 헤더에 CoS rewrite등을 하드웨어 기반으
로 지원합니다. 이들 Feature들의 성능도 최대 15Mpps까지 지원 합니다.
슈퍼바이져 엔진 32는 위 그림 4과 두가지 버전이 있으며, 하나는 Gigabit Ethernet SFP 8 ports 와 나
머지 하나는 10Gigabit Ethernet 2 ports 를 제공 합니다.
두 슈퍼바이져 엔진들 모두 추가 10/100/1000TX port를 가지고 있고, 2개의 USB 포트들이 앞쪽에 위치
하고 있는데, 하나는 Type “A”, 또 다른 하나는 Type “B” 입니다.
Supervisor Engine 32 하드웨어의 전송 구조는 Cisco Express Forwarding(CEF) 이며, Sup720엔진 처럼,
하드웨어 registers 과 CoPP 적용 되어 있습니다.
SP(Switch Processor) 상의 Bootflash 사이즈는 256MB이며 512MB까지 업그레이드 가능하며, RP(Route
Processor)상의 Bootflash 사이즈는 64MB입니다.
RP 와 SP 메모리(DRAM) 사이즈는 256BM으로 동일 하며, 2MB 용량의 NVRAM으로 구성 되어 있습니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
10
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
2003년에 Sup720 출시가 되었고 Crossbar switch fabric,PFC3,MSFC3가 하나의 슈퍼바이져 모듈에 내장
되었습니다.
PFC3와 MSFC3는 더 이상 옵션이 아니고, Crossbar switching fabric은 backplane 용량을 256Gbps에서
720Gbps 까지 증가 되었습니다.
또한, fabric 채널당 8Gbps 지원 하는 초기 fabric 라인 카드 및 20Gbps 지원하는 새로운 라인 카드 모두
지원 합니다.
슈퍼바이져 720 엔진은 Classic 라인 카드 뿐만 아니라 모든 라인 카드를 위한 호환성을 제공 합니다.
새로운 더 높은 성능의 라인 카드에 분산 포워딩의 활용은 슈퍼바이져 엔진 720 스위치 성능을
400Mpps까지 확장 할 수 있습니다.
그리고, CEF 구조를 활용하여 지원되는 L2, L3 IP 트래픽을 30Mpps까지 페켓 전송 성능을 지원 합니다.
초기 PFC1과 PFC2와 달리, 하드웨어에서 IPX 스위칭은 Sup720 엔진에서는 지원 되지 않고, 소프트웨어
로 IPX 페켓 전송을 지원 합니다.
Sup720은 600MHz CPU (SP, RP) 기반이며, 1GB DRAM까지 지원 가능하고, 기본적으로 512MB
Bootflash (SP), 64MB Bootflash (RP) 저장 공간 및 2MB NVRAM을 제공합니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
11
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Supervisor Engine 720-3B은 가장 최근에 슈퍼바이져 엔진 720 페밀리에 추가 되었고 구조적으로 원래
Sup720과 동일한 switch fabric과 backpalne 연결이 되며, 새로운 PFC3B가 슈퍼바이져 기능성을 증대 시
킨 특징이 있습니다. 초기 Sup720 엔진과 일부 features의 차이점이 있으며, 추가 지원되는 feature들은
아래와 같습니다.
 하드웨어 기반의 MPLS 지원
 EoMPLS 지원
 보안 ACL에서 Hit Counters 지원
 하드웨어 기반의 Multipath URPF 체크 지원
 Netflow 테이블에서 Netflow 엔트리를 저장하는 효율성이 50%에서 90%까지 증대
 ACL 테이블 수가 512에서 4096까지 증가
 Tunnel 인터페이스에 QoS 정책 적용 가능
 IPv4 트레픽에 Layer 2 ACLs 적용 가능
 ACL에서 CoS와 VLAN 매칭을 지원
 Sparse 모드에서 256K 멀티케스트 라우트 지원
Supervisor Engine 720-3BXL은 2004초에 출시 되었으며, Sup720-3B와 기능적으로 동일하며 차이점을
아래와 같습니다.
 Routes 및 Netflow Entries 용량 증대.
 최대 백만개(1,000,000) routes 를 포워딩 테이블에 저장 가능
 최대 256K Netflow 엔트리를 Netflow 테이블에 저장 가능
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
12
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Cisco Catalyst 6500에서 Control Plane 기능은 MSFC에 의해서 구동이 되며 L3 라우팅 프로토콜, 라우팅
테이블 유지, 일부 접근 제어, flow 초기화 및 하드웨어에서 확인 되지 않은 다른 서비스들을 지원 합니다
. Control Plane 성능은 MSFC 상에서 구동되는 프로세스 형태 및 수에 따라서, 가변적이며 최대 500Kbps
전송율을 지원 합니다. MSFC3는 Sup720, Sup720-3B, Sup720-3BXL 엔진에 그림 6에서 보시는 것 처럼
모두 내장되어 있고 또한, PFC3, Crossbar Switch Fabric 역시 내장 되어 있습니다.
MSFC daughter 카드상에 Route Processor(RP)가 위치하고 있으며, L3 라우팅 프로토콜, 주소 해석 기능,
ICMP, 가상 인터페이스 관리, IOS 소프트웨어 Configuration 등 다른 많은 프로세스들을 구동 시킵니다.
SP는 L2 프로토콜, 즉 Spanning tree, VLAN Trunking 프로토콜, CDP, PFC상의 FIB 테이블을 프로그래밍
하는 역활을 합니다.
MSFC가 라우팅 테이블을 유지하는 동안, 페켓 전송에 적극적으로 참여 하지 않으며, 네트웍 토플로지를
결정하기 위해 인접한 라우팅 Peer과 지속적인 커뮤니케이션에 참여를 합니다.
라우팅 테이블로 부터, MSFC3는 Cisco Express Forwarding(CEF)을 생성 하며, 또한 Forwarding
Information Base(FIB) Table이라고도 알려져 있습니다.
그리고, PFC 및 샤시내에 존재하는 DFC에 이 정보를 내려 보내 주는 역할을 합니다.
슈퍼바이져 엔진과 MSFC 메모리 구성은 테이블 6을 참조 하시기 바랍니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
13
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
PFC는 MSFC를 보완하는 역활을 하며, 슈퍼바이져 보드에 내장 되며, L2 및 L3 스위칭을 가속시키는데 사용되는 ASIC을 포함하고 있으며, QoS와 보안 ACL
정책을 저장 및 운영하며 Netflow 통계를 유지하는 역할을 합니다. PFC3는 기본적으로 Sup720 엔진에 포함 되며 최대 30Mpps 중앙 집중 포워딩 성능을 제
공 하며, L2/L3 포워팅 엔진도 포함 합니다.
L2 엔진은 아래와 같은 기능을 수행 합니다.
 L2 MAC 주소를 L2 CAM 테이블에서 검색
 L2 또는 L3 스위칭을 할 것인지 결정하기 위한 페켓 헤더 조사
 만약, L3 스위칭 될 페켓이라면, L3 엔진으로 페켓을 넘겨 줌.
L3 엔진은 아래와 같은 기능을 수행 합니다.






NetFlow 통계 수집
IPv4, IPv6 및 MPLS tagged packets의 하드웨어 기반의 전송
ACL classification, marking of packets, 및 policing (rate limiting) 등을 위한 QoS 메커니즘
수신된 페켓에 대한 ACL 규칙을 확인하는 보안 메커니즘
Adjacency 엔트리 및 통계 유지
보안 ACL 카운터 유지
PFC3 현재 하드웨어에서 프로세스되는 새로운 feature들을 지원함과 동시에 아래과 같은 기능들에 대한 향상이 되었습니다.
Network Address Translation (NAT) and Port Address Translation (PAT)
Multi-Path Unicast Reverse Path Forwarding Check (uRPF)
Generic Route Encapsulation (GRE)
IP Version 6 (IPV6) Switching
IPV6 ACLs
IPV6 Tunneling
Multi-Protocol Label Switching (MPLS)
◦MPLS Virtual Private Networking (MPLS VPN)
◦MPLS Provider and Provider Edge (MPLS P/PE Support)
◦MPLS Traffic Engineering (MPLS TE Support)
 Bi Direction Protocol Independent Multicast (BI-DIR PIM)
 User Based Rate Limiting (UBRL)
 Egress Policing







또한, PFC3는 PFC2의 일부 용량이 아래와 같이 향상 되었습니다.
 HSRP 그룹 갯수가 16에서 255까지 지원 가능
 L3 VLAN 인터페이스 당 고유의 MAC address 지원 가능
PFC3B에는 새로운 많은 QoS 기능들이 추가 지원 되며, 터널 인터페이스 상의 QoS 정책 적용, ACL 레이블을 4096까지 증대, ACL을 통한 수신 페켓상의 CoS
와 VLAN 값들을 확인 등이 포함 됩니다. NetFlow 테이블에서 엔트리를 저장하기 위한 NetFlow 알고리즘 효율성이 향상 되었으며, 90% Utilization rate 까지
효율적으로 저장되며 가용한 테이블 엔트리 128K에 저장 될 수 있도록 115K 엔트리까지 허용 가능 합니다.
PFC3BXL은 기능적으로 PFC3B와 동일하나, 포워딩 테이블에 1,000,000 routes 까지 지원되며, NetFlow 테이블 역시, 256K 엔트리를 지원 합니다.
Sparse mode에서 운영 중인 스위치 일 때, 256K 멀티케스트 routes까지 지원하는 방법을 제공함으로 멀티케스트 지원이 향상 되었습니다.
이것은 기존의 PFC3 및 PFC3B에서 제공되던 최대 64K 엔트리 보다 더 증가 되었습니다.
PFC3B, PFC3BXL과 마찬가지로 업그레이드 가능한 옵션을 가지고 있고 Sup720에서 PFC3BXL을 사용하다가 Sup720-3BXL로 업그레이드 가능합니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
14
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Cisco Catalyst 6500은 32-Gbps 공유 버스를 이용하여 연결된 모든 포트들의 송신 및 수신 테이터들을 주고 받습니다.
스위칭 버스는 실제로 3가지 버스로 구성되어 있으며, 스위칭을 위한 구체적인 각 기능을 Dbus(Data Bus), Rbus(Result Bus) 및
Cbus(Control Bus)를 이용하여 지원 되고 있습니다.
라인 카드상의 공유 버스 Backplane 컨넥터들은 그림 9에서 보시는 것 처럼 카드의 오른쪽 끝 부분에 위치 합니다.
그림 왼쪽에 보여지는 것은 Classic 라인 카드이고, 나머지 오른쪽은 Fabric 라인 카드(CEF256) 입니다.
공유 버스 컨넥터는 두 카드 모두 동일한 빨간 박스로 표시 되어 있습니다.
Dbus는 모든 데이터가 전송 되어지는 주요 버스이며, 페켓 전송을 위해서 라인 카드는 Dbus로 접근을 위한 중재를 할 것 입니다.
주요 슈퍼바이져 상의 주 아비트레이트에게 요청을 전송 함에 따라서 이러한 페켓 전송이 이루어 지게 됩니다.
만약, 버스가 사용중에 있지 않다면, 주 아비터(중재자)는 Dbus상의 프레임을 라인카드에 위치할 수 있는 접근 권한을 주게 됩니다.
라인 카드가 성공적으로 Dbus로 접근하기 위한 중재가 된 후, Dbus에서 슈퍼바이져로 페켓을 전송 할 것 입니다.
동일한 과정에서 모든 연결된 라인 카드들은 전송되어지는 페켓을 보고 페켓 복사본을 저장할 것 입니다.
Dbus는 32 Gbps의 대역을 사용하는 버스 입니다.
Rbus는 각 라인 카드로 전송 결과를 슈퍼바이져로 송신 하는데 사용 되어지는 버스 입니다.
슈퍼바이져는 각 라인 카드가 페켓 버퍼로 부터 그 페켓을 플러쉬 또는 해당 목적지로 전송하는데 사용할 것인지에 대한 전송 또는
패기 결과를 라인 카드로 보낼 것 입니다.
Cbus는 라인 카드와 네트웍 관리 프로세서(NMP) 사이에서 제어 정보를 주고 받는 제어 버스(Control Bus) 입니다.
Catalyst 5000은 Pipelining과 Burst Mode 이용 성능 향상 되었던 초기 공유버스 구조로 부터 진화하여, Catalyst 6500 상의 공유 버스
구조로 발전 하였습니다.
공유 버스는 어느 시점에서 버스를 지나는 하나의 프레임 전송을 지원 하는데 사용이 됩니다.
슈퍼바이즈가 패킷을 수신 후, 패킷 스위칭되어 져야 하는 포트를 결정하기 위해서 local forwarding 테이블을 검색을 시작 합니다.
그러면, 버스로 연결된 모든 포트로 검색 결과를 전송 할 것 입니다. 검색이 되어 지는 동안, 다음 페켓들은 버스 상에 돌아 다닐 수 없
게 되며, 그때문에 버스 사용이 최대화 되지 못하는 idle 시간이 발생 되었습니다.
Pipelining은 Rbus에 의해서 결과가 전송 되기 전에 공유 버스를 지나는 31 프레임들까지 포트들이 전송 할 수 있게 허용하고 있습니
다. 32번째 페켓이 전송 되어 져야 한다면, Rbus 상의 결과를 받게 될 때까지 그 포트의 Local Queuing이 될 것 입니다.
따라서, Pipelining은 버스에서 idle time을 감소 시키고 또한, 공유 버스 구조의 전체 성능을 향상 시켜 줍니다.
공유 버스 사용의 다른 관점에서 보면, 버스 사용율이 큰 프레임을 보내는 포트에 대해서 공정하지 못하게 편향 될 수 있습니다.
예를 들어서, 만약 버스 접근 요청하고 있는 두 포트가 있고, 포트 A는 256 byte 프레임 전송하고 있고, 포트 B는 512 Byte 프레임을 전
송 한다면, 포트 B는 더 많은 대역을 소비함에 의해서 공평하지 못한 시간의 이득을 갖게 될 것 입니다.
이러한 상황을 극복하기 위해서 공유 버스의 Burst Mode feature를 이용 합니다.
포트 ASIC은 전송 되어진 byte 수를 카운터 하고 local 한계점과 비교하고 유지 합니다.
Byte count가 한계점 아래에 있다면, 페켓은 전송 되어 질 수 있습니다. 만약, 한계점을 초과 한다면, 포트 ASIC을 프레임 전송을 멈추
고 중재자 Logic은 이 포트를 위한 버스 접근을 제거 합니다. 시스템에 있는 많은 로컬 변수들에 기반한 포트에 의해서 자동적으로 공
정한 분산을 하기 위해서 이 한계점이 계산 되어 집니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
15
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Cisco Catalyst 6500은 두가지 Crossbar Switching Fabric을 지원 합니다. 스위칭 페브릭 모듈(SFM)은
Catalyst 6500에서 최초로 적용 되었으며 그후 Sup720, Sup720-3B, 그리고, Sup720-3BXL상에서 내장된
형태로 지원을 하게 되었습니다.
SFM, Sup720, Sup720-3B, Sup72—3BXL에서 Crossbar 스위칭 페브릭은 18개의 각각 페브릭 채널로 구성
되어 있으며, 샤시에 장착된 각 라인 카드에 할당이 됩니다.
3, 4, 6 그리고, 9 슬롯 샤시에서, 각 라인 카드 슬롯은 2개의 페브릭 채널로 crossbar switch fabric으로 연
결이 됩니다.
9개 슬롯 샤시 페브릭 채널 배치가 그림에 보시는 것 처럼 구성이 되며, 슬롯 5번은 슈퍼바이져가 위치하
게 됩니다.
Catalyst 6513인 경우, 각 라인 카드당 2개 채널을 할당하는 규칙에 예외가 있으며, 채널 할당은 아래와 같
습니다.
 슬롯 1 ~ 8 : 단일 페브릭 채널
 슬롯 9 ~ 13 : 이중 페브릭 채널
슬롯 1에서 8번 슬롯에 단일 페브릭 채널을 사용 함에 따라서, 이중 페브릭 라인카들은 이들 슬롯에 사용
되지는 것을 배제하고 하고 있습니다.
이중 페브릭 채널을 사용하는 라인카드들은 아래와 같습니다.
 WS-X6816-GBIC: 16 port GBIC based Gigabit Ethernet (supports 2 x 8Gb fabric channels)
 WS-X6748-GE-TX: 48 port 10/100/1000 RJ45 Gigabit Ethernet (supports 2 x 20Gb fabric channels)
 WS-X6704-10GE: 4 port 10 Gigabit Ethernet (supports 2 x 20Gb fabric channels)
 WS-X6708-10GE-3C: 8 port 10 Gigabit Ethernet (supports 2 x 20Gb fabric channels)
 WS-X6708-10GE-3CXL: 8 port 10 Gigabit Ethernet (supports 2 x 20Gb fabric channels)
 WS-X6748-SFP: 24 port SFP based Gigabit Ethernet (supports 1 x 20Gb fabric channels)
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
16
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Sup720 엔진에 내장된 스위치 페브릭은 각 페브릭 채널에 8 Gbps 또는 20 Gbps clock을 제공하며, 클럭
킹 속도는 각 라인 카드에 의해서 결정됩니다. (예를들어, CEF256 또는 CEF720 라인카드)
CEF256과 dCEF256 라인 카드는 슈퍼바이져 720 스위치 페브릭에 8Gbps clock을 제공하며, CEF720과
dCEF720 라인 카드는 20 Gbps 스위치 페브릭 클럭킹을 제공 합니다.
Sup720 엔진은 동시에 다른 클럭 속도에서 다른 슬롯에 페브릭 채널을 지원 합니다.
예를 들면, Sup720 엔진이 CEF720 라인 카드에서 2x20 Gbps 페브릭을 제공함과 동시에 CEF256 라인
카드 8 Gbps 단일 fabric 채널을 지원 할 수 있음을 의미 합니다.
이것은 모든 Sup720 엔진 모듈이 각 라인 카드 슬롯에 40 Gbps 대역을 제공 합니다.
시스코 스위치 페브릭 구조는 버퍼링과 잠재적 혼잡과 head-of-line 블록킹 상태를 극복하기 위한 overspeed 조합을 사용 합니다.
Over-speed는 페브릭 채널에 더 높은 속도의 스위치 페브릭 ‘내부’ 경로를 위한 클럭에 사용됩니다.
이것은 Sup720 엔진 스위치 페브릭을 위한 것을 의미 하며, 내부 경로는 60Gbps, 외부 페브릭 채널은
20Gbps 지원 함을 의미 합니다.
Over-speed는 혼잡의 영향을 최소화 하기 위해서 스위치 페브릭을 동해서 페켓 스위칭을 가속화에 사용
되어지는 기술 입니다.
라인 속도 버퍼링과 queues는 또한 잠시 동안의 혼잡을 극복 하기 위해서 스위치 페브릭 내에 내부적으
로 존재 합니다.
버퍼링은 head-of-line 블록킹 상태를 해소 지원 위해서 스위치 페브릭에 출구에 적용 됩니다.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
17
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
페켓이 슈퍼바이져 엔진을 통해서 전송되는 과정을 8단계로 구분하여 그림으로 표시 하였습니다.
1단계: 페켓이 포트에 도착하고 Fabric ASIC으로 전달.
2단계: Fabric ASIC은 버스 접근과 버스에서 슈퍼바이즈 넘어 전송 하는데 중재를 하며, 버스와 연결된 모
든 라인 카드는 이 헤더를 볼 것임.
3단계: 슈퍼바이즈는 L2 테이블 검색을 위해서 L2 전송 엔진으로 페켓 헤더를 전송 할 것 입니다.
4단계: L2 전송 엔진은 L3 테이블 검색, 보안 ACL, QoS ACL, NetFlow를 포함하는 L3와 L4 프로세싱을 위
해서 L3 엔진으로 페켓을 전송.
5단계: PFC는 다중 검색 결과와 중앙 슈퍼바이즈로 되돌아 오는 프로세스의 결과 전달
6단계: 슈퍼바이져는 연결된 모든 라인카드로 Rbus를 통해서 이 검색 결과를 전송
7단계: Source 라인 카드는 그 결과를 보고, 스위치 페브릭을 통해서 목적지 라인 카드로 페켓 전송
8단계: 목적지 라인 카드는 페켓을 수신 하고 목적지 포트로 데이타를 전송.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
18
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
DFC을 이용한 페켓 전송 과정을 5단계로 그림으로 표시 하였습니다.
1단계: 페켓이 포트에 도착하고 Fabric ASIC으로 전달.
2단계: Fabric ASIC은 로컬 DFC으로 전달된 페켓 헤더를 전송.
3단계: DFC는 전송 테이블 검색을 QoS, 보안 정책이 페켓에 적용될지 여부를 결정하기 위한 보안 ACL에
따라서 수행. 검색 결과가 다시 Fabric ASIC으로 전달.
4단계: Fabric ASIC은 스위치 fabric을 통해서 목적지 라인 카드로 페켓을 전송.
5단계: 목적지 라인 카드는 그 페켓을 수신하고 목적지 포트로 데이터를 전송.
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
19
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
Catalyst6500에서 장애가 발생 할 경우 원인 분석을 위해서 필요한 로그 정보 및 show tech 정보를 수집
을 하셔야 합니다.
로그 정보 및 기타 관련 데이터를 수집하기 전에 Telnet 또는 Console로 RP로 엑세스 한 후 아래와 같은
명령어를 사용하여 준비를 해 주시기 바랍니다.
terminal length 0
show log
show clock
show tech
show tech platform
그리고, 무엇이 문제이며, 어떤 명령어로 어떤 것을 확인 해야 하는지에 대해서 알기 쉽게 정리한 유용한
명령어 모음 입니다.
가장 많이 발생하는 장애 중 하나인 슈퍼바이즈 Switchover 장애이며, 그런 경우 반드시 RP와 SP에서 위
의 명령어를 사용하여 정보를 수집 하여 주시기 바랍니다.
또한, Switchover 시 RP와 SP에 어떤 Crash가 발생이 되었는지도 확인 하여 만약, Crash가 남아 있다면
해당 Crash 정보도 같이 받아 주셔야 합니다.
많은 고객분들이 RP에 있는 Crash만 보내 주시는 경우가 있는데, SP에서도 받드시 확인 하셔야 합니다.
RP로 인해서 SP Crash 발생 되기도 하고, 또는 SP로 인하여 RP Crash가 발생되기 때문 입니다.
다음으로 모듈, 라우팀,멀티케스트 등의 이슈가 있다면 위의 명령어를 활용하여 관련 정보를 수집하여
Cisco TAC에 케이스 진행 하실 때 첨부하여 보내주시면 원인 분석에 도움이 됩니다.
기타 다른 명령어들은 Cisco.com에 있는 Command Lookup Tool을 이용하여 확인 하실 수 있습니다.
http://tools.cisco.com/Support/CLILookup/cltSearchAction.do
All contents are Copyright © 1992–2011 Cisco Systems, Inc.
All rights reserved. Cisco Korea TAC.
20
TS (TAC) News Letter | Technical Document |
Troubleshooting | Catalyst 6500 |
All contents are Copyright © 1992–2011 Cisco Systems, Inc. All
rights reserved. Cisco Korea TAC.