Virtual Connect / HP A-Series switches (A5820) IRF インテグレーション ガイド テクニカルホワイトペーパー 最終更新日: 2011/5/6 目次 イントロダクション............................................................................................................ 2 デザインシナリオ ........................................................................................................... 3 ネットワーク トポロジー....................................................................................................... 5 物理デザイン .............................................................................................................. 5 論理デザイン ............................................................................................................. 6 IRF と MAD のテクノロジー・オーバービュー .......................................................................... 7 IRF (Intelligent Resilient Framework) ............................................................................... 7 MAD (Multi-Active Detection) ........................................................................................ 8 IRFと Virtual Connect の設定............................................................................................ 10 CLI リファレンス・テーブル............................................................................................... 10 A5820 スイッチ:スタンドアロンスイッチをIRF論理スイッチに変更..................................... 11 A5820: BFD MAD の設定............................................................................................... 14 A5820: LLDP ............................................................................................................... 15 Flex-10: LLDP ............................................................................................................... 16 A5820: LACP .............................................................................................................. 17 Flex-10: LACP ............................................................................................................. 19 Flex-10: Server Profile..................................................................................................... 21 ESXi の設定 ................................................................................................................. 22 フェイルオーバー テスト..................................................................................................... Uplink の障害 ............................................................................................................. スイッチの障害 ........................................................................................................... IRF リンクの障害........................................................................................................... Virtual Connect モジュールの障害 ...................................................................... 23 23 26 28 30 Insight Control によるVMware vCenter の モ ニ タ ................................................................ 32 IMC によるネットワーク管理 ............................................................................................. 35 Appendix 1: A5820 IRF 論理スイッチのコンフィグ ............................................................... 38 Appendix 2: シナリオ3 の動作 ...................................................................................... 43 用語集 .......................................................................................................................... 44 イントロダクション Intelligent Resilient Framework (IRF) は HP スイッチ・プラットフォームで動作する先進的な仮想化テクノ ロジーです。IRF を使用することで、データセンターや企業のネットワークのデザインとオペレーションを劇 的に簡素化することができます。STP (Spanning Tree Protocol) ベースのレガシーネットワークの代わ りに IRF を 使 用 す る こ と で 、 高 パ フ ォ ー マ ン ス と 高い耐障害性を実現することができます。 このドキュメントは、以下の項目の設定の詳細とテスト結果について説明します IRF と Virtual Connect の設定 2台のA5820/5800 スイッチに IRF リンクと論理スイッチの設定を実施 (11ページ) A5820/5800 のBFD MAD (Multi-Active Detection) のリンクの設定 (14ページ) LLDP による ネイバー・ディスカバリ (15ページ) LACP による論理リンク (17ページ) フェイルオーバーのテスト A5820 port-channel (Bridge Aggregation Interface connecting to Virtual Connect) の障害 (23ページ) A5820 スイッチの障害 (26ページ) A5820 IRF link failure to test MAD detection (28ページ) Virtual Connect のプライマリ・モジュールの障害 (30ページ) IMC (Intelligent Management Center)・ Insight Control for vCenter によるネットワーク・モニタリング IC (Insight Control) の VMware vCenter plug-in のネットワーク・モニタリング画面の スクリーン・キャプチャ (Virtual Connect, vSwitch, and Access switch (A5820) (32ページ) IMC の A5820 / Virtual Connect のモニタリング画面のスクリーン・キャプチャ (35ページ) 2 デザイン シナリオ Virtual Connect をネットワーク・スイッチに接続する場合、2つのデザイン・シナリオが考えられます。 これ以外に3番目のシナリオも考えられますが、残念ながらこれはうまくいきません。 シナリオ 1 —こちらはよく行われる接続形態です。 シナリオ 2 —こちらが推奨の接続シナリオです。Virtual Connect モジュー Virtual Connect モジュールは IRF を使用していな いスイッチと接続されます。 ルは、IRF で構成されたスイッチと接続されます。 それぞれの Virtual Connect モジュールで1組の SUS (Shared Uplink Set) を設定します(SUSは全 部で2組になります) スイッチ1とスイッチ2 はそれ ぞれ、1組のリンク・アグリゲーションでVirtual Connect の SUS と接続します。 それぞれの Virtual Connect モジュールに1組のSUS が設定されます(SUS は 全部で2組になります)。 IRFで構成される論理スイッチには2組のリンク・アグリゲ ーションが設定され、Virtual Connect に設定された SUS と接続されます。通常 Virtual Connect は A c t i v e / A c t i v e で 使 用 し ま す が 、 Active/Standbyで使 用することも可能です。Active/Standbyのデザインは帯域を有効に使用 できないので、このドキュメントでは扱いません。Active/Standbyのデザイン の詳細は HP Virtual Connect Ethernet Cookbook:Single and Multi Enclosure Domain (Stacked) Scenarios シナリオ1.4 を参照してください。 (http://h20000.www2.hp.com/bc/docs/support/SupportManual/c01990 371/c01990371.pdf) このデザインはシナリオ1より以下の2点で優れています • どちらか1台のスイッチが故障した場合、同じリンク・アグリゲーション グループ内の残りの物理リンクに1秒以下で切り替わるので、サーバ ー側ではフェイル・オーバーが発生しません。 • 上位のコア・スイッチからサーバー方向に流れるトラフィックは、論理スイッ チから直接Virtual Connect に送られます。シナリオ1の場合、宛先MACア ドレスがもう1台のスイッチ側にある場合、トラフィックはスイッチ間の接続を 通ってもう1台のスイッチに送られるので、トラフィックの経路が長くなる問題 が発生します。 3 シナリオ 3 —この構成はうまくいきません。 IRF 論理スイッチ側でリンク・アグリゲーショングループを1組だけ設定して Virtual Connect 側も1組のSUSだけを設定した場合、4本すべてのリンクにトラフィックが流れることはありません。Virtual Connect はモジ ュールを跨ってリンク・アグリゲーションを構成することができません。一部のリンクがリンク・アグリゲーショングループには参加せず、 standby 状態になります。38ページの付録2 で、このシナリオの動作結果に触れています。 4 ネットワーク トポロジー 物理デザイン IRF 論 理 ス イ ッ チ は A5820スイッチ1台とA5800-32Cスイッチ1台で構成されています。IRF の互換性がある モデルの組み合わせの場合は、型番が異なるスイッチを組み合わせて IRF 論理スイッチを構成することができ ます。 A5820スイッチとA5800スイッチを 10G リンクで接続し、IRF 論理スイッチを構成しています。A5820 がスイッチ1 で IRF のマスタースイッチです。論理ポート IRF-Port2 が設定されています。 A5800がスイッチ2で IRF のスレーブ スイッチです。A5820スイッチと IRF を構成する前に論理ポート IRF-Port2 が設定されています。 A5820スイッチとA5800スイッチ間は BFD MAD 用のギガビットリンクで接続されています。 VC1 と VC2 は HP BladeSystem c7000 のインターコネクトベイ 1/2 にある Flex-10 モジュールです。 それぞれの Flex-10 モジュールは SUS で IRF 論 理 ス イ ッ チ と 接 続 し て い ま す 。 各 SUS は2本の 10G リンクで 構成されていて A5820 と A5800 で終端されています。IRF 側は2本の 10G リンクで bridge aggregation group を 構成しています(Cisco NX-OS の port channel, Cisco IOS の etherchannel と同様です)。VC1 は IRF の BridgeAggregation 2 インターフェイスと接続し、VC2 は IRF の Bridge-Aggregation 3 インターフェイスと接続しています。 IRF の Bridge-Aggregation 1 インターフェイスは仮想マシン用のデフォルトゲートウェイと接続されています。(実際に は HP ProCurveスイッチで代用) 5 トラフィック・フローのテストは VM1 (192.168.1.178) からデフォルトゲートウェイ (192.168.1.1) に ping を実行し て行います。デフォルトゲートウェイの機器は HP ProCurve スイッチで代用しています。VM からデフォルトゲートウェ イに到達する経路は2つあります。どちらの経路が使われるかは、vSwitch が VM からのトラフィックをハッシュ値に基 づきどちらの VM の NIC に割り振るかで決まります。 論理デザイン 2つの論理インターフェイス (Bridge-Aggregation 2とBridge-Aggregation 3) で Virtual Connect と IRF 論理ス イッチ間が接続されています。現状の Virtual Connect は2つのモジュールにまたがる論理リンクをサポートしてい ないので、上記のデザインを使用します。 6 IRF と MAD のテクノロジー・オーバービュー IRF (Intelligent Resilient Framework) IRF IRF は2台以上の物理スイッチで1台の論理スイッチを構成します。A5820スイッチの場合、1つの IRF ドメイン当たり最大9台のスイッチで IRF を構成することができます。 IRF 論理スイッチは標準の LACP 機能を使用して他ベンダーのコア/ディストリビューション/エッ ジスイッチと接続可能です。LACP による切り替え時間は40ミリセカンド以下になります。IRF 論 理スイッチは以下のように動作します。 • 1 つの IP ア ド レ ス で ス イ ッ チ を 管 理 し ま す • 1 台の仮想レイヤ2スイッチ • 1台の仮想レイヤ3スイッチ (すべてのプロトコルに対して) IRF はコアスイッチからアクセススイッチに渡って利用可能です。(A12500,A9500,A7500, A5820,A5800,A5500 シリーズ) IRF テクノロジーを使用すると、以下の図のようにネットワー クが変換されます。 ロール IRF 論 理 ス イ ッ チ は メ ン バ ス イ ッ チ で 構 成 さ れ ま す 。 各 メ ン バ ス イ ッ チ は 2 つ の ロ ールのうちのどちらかになります。 • マ ス タ ー — IRF 論 理 ス イ ッ チ を 管 理 し ま す • スレーブ — マスターをバックアップするメンバスイッチ マスターがダウンした場合は自動的にスレーブスイッチの中から新しいマスターが選出されま す。マ ス タ ー と ス レ ー ブ は ロ ー ル を 決 定 す る ル ー ル に 基 づ い て 選 出 さ れ ま す 。 IRF 論 理スイッチには、同時に2台以上のマスターは存在しません。 IRF ポート IRF ポ ー ト は IRF 論 理 ス イ ッ チ 内 の 内 部 接 続 専 用 に 使 わ れ る 論 理 ポ ー ト で す 。 IRF ポ ー ト に は IRF-port1 ま た は IRF-port2 の ど ち ら か 1 つ の 番 号 が 使 用 さ れ ま す 。 IRF port は 物 理 ポ ー ト に バ イ ン ド さ れ る と 使 用 可 能 に な り ま す 。 重要: IRF-Port1 は 対 向 の ス イ ッ チ の IRF-Port2 と接続しないと IRF は 正 し く 動 作 し ま せ ん 。 7 物 理 IRF ポ ー ト は 論 理 IRF ポ ー ト に バ イ ン ド さ れ た 物 理 ポ ー ト で す 。 (銅 線 ま た は フ ァ 物理 イバ) 物理ポートには以下の役割があります。 IRF ポート • • プライオリティ IRF メンバスイッチ間を接続します IRF メ ン バ 間 で IRF プ ロ ト コ ル パ ケ ッ ト と デ ー タ パ ケ ッ ト を 送 受 信 し ま す メンバプライオリティはマスターの選出時に使用されます。プライオリティが最も高 い メ ン バ が マ ス タ ー に な る 可 能 性 が 高 く な り ま す 。 デフォルトの値は1です。 メンバ ID IRF 論理スイッチはメンバを識別するためにメンバ ID を使用します。ポート番号 (論理ポート / 物 理ポート) を使用してポートの設定を行う際には、このメンバ ID を使用します。 ドメイン ID 各スイッチは1つの IRF ドメインに所属します。デフォルトのドメイン ID は0です。ドメイン ID が 異なるスイッチ同士でも IRF を構成できますが、ドメイン ID を揃えて使用することを推奨致しま す。 ドメイン ID が一致しない場合は、LACP MAD が正常に動作しません。 MAD (Multi-Active Detection) MAD IRF リンクがダウンして2台のスイッチが IRF のマスターになって動作する状況を回避するために MAD を使用します。メンバ ID が小さい方のスイッチがマスターになり、もう1台のスイッチのローカルイ ンターフェイスはシャットダウンされます。 IRF リンクがダウンして MAD が動作するとスイッチ1は動作し続け、スイッチ2のローカルインターフェイ スはシャットダウンされます。 MAD で複数のアクティブな IRF の存在を検出する方式として以下の3種類があります。 • LACP • BFD • ARP LACP • 通常はこの方式が選択されます MAD • コンバージェンスの時間が最も短いです • bridge aggregation interface の設定に “mad enable” を追加するだけです • extended LACPDU パケットを理解できる HPN Aシリーズスイッチと LACP で接続する必要があります 8 BFD • コンバージェンスの時間が短いです MAD • IRF リンクとは別に BFD MAD 用のリンクでメンバ間を接続します • MAD を動作させる際に、IRF ドメイン外のスイッチに依存しません ARP この方式が使用されることは稀です。詳細は IRF コンフィギュレーション・ガイドを参照してください。 MAD IRF と MAD の詳細については H3C S5820X & S5800 Series Ethernet Switches IRF Configuration Guide を参照してください。 http://bizsupport1.austin.hp.com/bc/docs/support/SupportManual/c02648772/c02648772.pdf 9 IRF と Virtual Connect の設定 CLI リファレンス・テーブル HPN Aシリーズの Comware CLI は Cisco IOS/NX-OS の CLI に類似しています。下記のテーブルで Aシリーズ Comware CLI と Cisco CLI の比較を行っています。 (IRFの設定に関連するコマンドを載せて あります) Comware system undo quit save force reset saved-config reboot display current display saved-configuration display int brief display logbuffer display link-aggregation display this (show current interface config) sysname port link-mode bridge port link-mode route port link-type access port link-type trunk port access vlan x port trunk permit vlan x port link-aggregation group x interface Bridge-Aggregation x Cisco config terminal no exit wr mem wr erase reload show run show startup show ip int brief show log show etherchannel/port-channel hostname switchport no switchport switchport mode access switchport mode trunk switchport access vlan x switchport trunk allowed vlan x channel-group x int port-channel x 10 A5820スイッチ: スタンドアロンスイッチを IRF 論理スイッチに変更 以下の変換手順では、工場出荷状態のデフォルト設定の2台のスタンドアロンスイッチに対して IRF の設定を行っ ています。設定変更が行われている場合は、reset saved-config (Cisco の write erase と同じ) を実行して設定を 工場出荷時の状態に戻してください。 A5820 (switch 1) スイッチ1 の IRF priority を 10 に変更します。デフォルト値は1で、最も priority が高いスイッチが IRF マスター に選出されます。 [H3C]irf member 1 priority 10 2. IRF 論理ポート “irf-port 1/2” のメンバにするために、IRF 物理ポートをシャットダウンします。シャットダウンせず に IRF 物理ポートを IRF 論理ポートのメンバに設定しようとすると、物理ポートがシャットダウンされていない旨のメッ セージが表示されます。 [H3C]int ten1/0/23 [H3C-Ten-GigabitEthernet1/0/23]shut [H3C-Ten-GigabitEthernet1/0/23]int ten1/0/24 [H3C-Ten-GigabitEthernet1/0/24]shut 1. 3. 論理ポート “irf-port 1/2” を作成して ten1/0/23 と ten1/0/24 をグループメンバにします。 注記:スイッチ1で “irf-port 1/2” を設定した場合は、スイッチ2で “irf-port 2/1” を設定してください。あるいは、スイ ッチ1で “irf-port 1/1” をスイッチ2で “irf-port 2/2” を設定してください。以下の組み合わせは不可です。 • “irf-port 1/1”--- “irf-port 2/1” • “irf-port 1/2”---“irf-port 2/2” [H3C]irf-port 1/2 [H3C-irf-port1/2]port group interface ten1/0/23 [H3C-irf-port1/2]port group interface ten1/0/24 4 ten1/0/23 と ten1/0/24 をシャットダウンしてから、Switch 2で (12ページ) IRF の設定を行います。2台のスイッ チの設定終了後、以下の手順に進みます。 5. ten1/0/23 と ten1/0/24 を undo shut して IRF リンクをアップさせます。リンクとインターフェイスが現れたら次の ステップに進みます。ステップ6を実行するまでは何も起きません。 [H3C]int ten1/0/23 [H3C-Ten-GigabitEthernet1/0/23]undo shut [H3C-Ten-GigabitEthernet1/0/23]int ten1/0/24 [H3C-Ten-GigabitEthernet1/0/24]undo shut 6. irf-port configurationをactivate して2台のスイッチで IRF の動作を開始します。 [H3C]irf-port-configuration active 数秒後 switch 2 が再起動します。switch 2 の起動が終了すると、2台のスイッチは1台の IRF 論理スイッチとして動作 します。IRF の動作ステータスの確認は3種類の IRF 関連コマンドを使用します。A5820 (switch2) の後のページにコ マンドの出力例が掲載されています。 11 A5800 (switch 2) 1. switch 2 のメンバ ID をデフォルトの1から2に変更します。 [H3C]irf member 1 renumber 2 2. ステップ3以降に進む前にスイッチをリブートしてインターフェイス番号が 1/x/y から 2/x/y に変更されている事を 確認してください。reboot コマンドは system view モード以外のモードで実行してください。 <H3C>reboot リブート終了後 3. IRF 論理ポート “irf-port 2/1” のメンバにするために、IRF 物理ポートをシャットダウンします。シャットダウンせずに IRF 物理ポートを IRF 論理ポートのメンバに設定しようとすると、物理ポートがシャットダウンされていない旨のメッセー ジが表示されます。 [H3C]int ten2/0/27 [H3C-Ten-GigabitEthernet2/0/27]shut [H3C-Ten-GigabitEthernet2/0/27]int ten2/0/28 [H3C-Ten-GigabitEthernet2/0/28]shut 4. 論理ポート “irf-port 2/1” を作成して ten2/0/27 と ten2/0/28 をグループメンバにします。 [H3C]irf-port 2/1 [H3C-irf-port2/1]port group interface ten2/0/27 [H3C-irf-port2/1]port group interface ten2/0/28 5. ten2/0/27 と ten2/0/28 を undo shut して IRF リンクをアップさせます。リンクとインターフェイスが現れたら次 のステップに進みます。ステップ6を実行するまでは何も起きません。 [H3C]int ten2/0/27 [H3C-Ten-GigabitEthernet2/0/27]undo shut [H3C-Ten-GigabitEthernet2/0/27]int ten2/0/28 [H3C-Ten-GigabitEthernet2/0/28]undo shut 6. irf-port configuration を activate して2台のスイッチで IRF を構成する準備をします。この時点では、switch 1 の 物理ポートがシャットダウンされたままなので何も起きません。 [H3C]irf-port-configuration active 7. Switch 1 のステップ5に戻って (11ページ) IRF 物理リンクをアップさせ、irf-port configuration を activate しま す。 数秒後に switch 2 が以下のメッセージを表示してリロードします。 (ここでは表示されるメッセージの一部を参 考として掲載しています) IRF port 1 is up. Starting...... ************************************************************************ * * * * H3C S5800-32C BOOTROM, Version 205 * * ************************************************************************ Copyright (c) 2004-2010 Hangzhou H3C Technologies Co., Ltd. 12 IRF が 構 成 さ れ る と 、 コ マ ン ド で 以 下 の よ う に ス テ ー タ ス が 表 示 さ れ ま す 。 IRF 論理スイッチのコ ンフィグは Appendix 2 (43ページ) を参照してください。 13 A5820: BFD MAD の設定 # vlan 100 # interface vlan-interface100 mad bfd enable mad ip address 100.100.100.1 255.255.255.0 member 1 mad ip address 100.100.100.2 255.255.255.0 member 2 # interface GigabitEthernet1/0/25 port linkmode bridge port access vlan 100 stp disable # interface GigabitEthernet2/0/3 port linkmode bridge port access vlan 100 stp disable BFD MAD イ ン タ ー フ ェ イ ス で stp disable コ マ ン ド を 実 行 し て S T P を 止 め ま す 。 BFD MAD イ ン タ ー フ ェ イ スでは他のサービス/機能は動作させず、BFD MAD 専用のインターフェイスとして使用します。 14 A5820: LLDP LLDP (Link-layer Discovery Protocol) は Cisco の CDP と 同 等 の 機 能 を 提 供 す る 標 準 プ ロ ト コ ル で す 。 A5820 の イ ン タ ー フ ェ イ ス は デ フ ォ ル ト で LLDP の 送 受 信 を 行 い ま す 。 追 加 の 設 定 は 不 要 で す 。 “VcD_xyz” と い う 文 字 列 は Virtual Connect domain 作 成 時 に 自 動 的 に 作 成 さ れ る ユ ニ ー ク な Virtual Connect domain ID で す 。 VC1 と VC2 が 同 一 の Virtual Connect domain に 属 す る 場 合 は 、 同 じ LLDP の “System Name” を 返 し ま す 。 ど ち ら の Virtual Connect モ ジ ュ ー ル が L L D P ネ イ バ ー な の か を 確 認 す る に は 、 “Chassid ID” フ ィ ー ル ド を 参 照 し ま す 。 こ の フ ィ ー ル ド は Virtual Connect モ ジ ュ ー ル の シ ス テ ム MAC ア ド レ ス を 示 し て い ま す 。 特 定 の Virtual Connect モ ジ ュ ー ル の シ ス テ ム MAC ア ド レ ス を 確 認 す る 場 合 は 、 SSH で Virtual Connect に ロ グ イ ン 後 、 show interconnect command を 実 行 し ま す ->show interconnect enc0:1 ID : enc0:1 Enclosure : oa8 Bay :1 Type : VC-ENET Product Name : HP VC Flex-10 Enet Module Role : Primary Status : OK Comm Status : OK OA Status : OK Power State : On MAC Address : d4:85:64:ce:f0:15 Node WWN : -- -Firmware Version : 3.15 2010-10-09T07:18:16Z Manufacturer : HP Part Number : 455880-B21 Spare Part Number : 456095-001 Rack Name : R8-9-10 Serial Number : 3C4031000B UID : Off 15 Flex-10: LLDP Flex-10/Flexfabric Virtual Connect モ ジ ュ ー ル の イ ン タ ー フ ェ イ ス は デ フ ォ ル ト で LLDP の 送 受 信 を 行うので、特に追加の設定は必要ありません。 Trunk-A と Trunk-B は 後 に 続 く LACP の セ ク シ ョ ン で 設 定 方 法 を 紹 介 し て い ま す 。 ス イ ッ チ と Virtual Connect の 両 端 で LACP の 設 定 が 終 了 す る と 、 す べ て の リ ン ク が Active と 表 示 さ れ ま す 。 VC1 は IRF 論 理 ス イ ッ チ の ten1/0/1 と ten2/0/25 に 接 続 し て い ま す 。 VC2 は IRF 論 理 ス イ ッ チ の ten1/0/2 と ten2/0/26 に 接 続 し て い ま す 。 16 A5820: LACP Bridge-Aggregation イ ン タ ー フ ェ イ ス は Cisco の port channel イ ン タ ー フ ェ イ ス と 等 価 の 機 能 で す 。 interface Bridge-Aggregation2 port link-type trunk port trunk permit vlan 1 to 2 linkaggregation mode dynamic stp edgedport enable # interface Bridge-Aggregation3 port link-type trunk port trunk permit vlan 1 to 2 link-aggregation mode dynamic stp edged-port enable # interface Ten-GigabitEthernet1/0/1 port linkmode bridge port link-type trunk port trunk permit vlan 1 to 2 port link-aggregation group 2 # interface Ten-GigabitEthernet1/0/2 port link-mode bridge port link-type trunk port trunk permit vlan 1 to 2 port linkaggregation group 3 # interface Ten-GigabitEthernet2/0/25 port linkmode bridge port link-type trunk port trunk permit vlan 1 to 2 port link-aggregation group 2 # interface Ten-GigabitEthernet2/0/26 port link-mode bridge port link-type trunk port trunk permit vlan 1 to 2 port linkaggregation group 3 # Virtual Connect と 接 続 す る 際 に は 、Spanning Tree edge ports (Cisco PortFast) 機 能 が 有 効 に な る よ う に 設 定 し ま す 。 ( Virtual Connect は ネ ッ ト ワ ー ク 機 器 と の 間 で STP の BPDU を 交 換 し ま せ ん ) インターフェイスの設定で “stp edged-port enable” コ マ ン ド を 入 力 し ま す 。 こ の コ マ ン ド を 設 定 す る こ と で 、 リ ン ク ア ッ プ 時 に 直ぐにネットワークが使用可能になります。 スイッチのエッジ・ポートのセキュリティを高める目的で BPDU (Bridge Protocol Data Unit) guard 機能をスイッチポ ートに設定するオプションもあります。グローバル・コマンドは “stp bpdu-protection” で す 。 上記の設定は、スイッチを ホストの NIC と接続する場合に推奨される設定です。ネットワーク・スイッチ側からは、 Virtual Connect と接続しているポートは、サーバーと接続しているポートと同じように見えます。 17 Bridge-Aggregation interfaces コマンド 18 Flex-10: LACP VC1 上の Trunk uplink の設定 VC2 上の Trunk uplink の設定 19 Virtual Connect 上の Trunk uplink のモニタリング 2つの trunk が active/active で動作していることが分かります。IRF 論 理 ス イ ッ チ と の 間 で LACP の 接 続 が 確 立 さ れ て い る 事 が LAG (Link Aggregation Group) ID から確認できます。どちらの Trunk も LAG 26 を使用してい ます。2つの trunk は異なる Virtual Connect モジュールで動作しているので、Virtual Connect はこれらの Trunk を区 別する事ができます。 20 Flex-10: Server Profile Server profile の設定 Port 3 “Multiple Networks” の設定 Port 4 “Multiple Networks” の設定 21 ESXi の設定 Host adapter vSwitch1 の 設 定 VM1 ネットワーク・アダプタの設定 (VLAN 2) 22 フェイルオーバー テスト Uplink の障害 最初に VM1 からデフォルト・ゲートウェイ 192.168.1.1 に対して継続して ping を送信します。vSwitch はハッ シュアルゴリズムを使用してトラフィックを送信する NIC を決定します。正常な状態では VM NIC3 が選択され、 VC2 経由で IRF 論理スイッチの Bridge-Aggregate3 interface にトラフィックが送られます。 次に shut down コマンドで Bridge-Aggregate3 interface をダウンさせます。display MAC address コマンドを使 用して、他のパスにフェイルオーバーしたトラフィックを確認します。 テスト結果: • Bridge-Aggregate3 interface シャットダウン時: 3-4秒のパケット・ロス • Bridge-Aggregate3 interface の復旧時: “stp edged-port enable” 設定時は 1-2秒のパケット・ロス。設定し ていない場合は、通常の STP 処理が行われるため、約30秒のパケット・ロスが発生します。 注記: IRF の 切 り 替 え 時 間 は 3 秒 よ り か な り 短 く 、 通 常 は 50m 秒 以 下 で す 。 切 り 替 え に 3 秒 か か っ て い る の は 、 Virtual Connect の smartlink の機能により uplink がダウンした場合に server 側リンクをダウンさせて、 vSwitch が経路を変更するのに時間がかかる為です。IRF を使用しない通常のスイッチで同様のトポロジーを実 際にテストした場合も Virtual Connect/vSwitch の切り替え時間は約3秒でした。 23 Shut int b3 Undo shut int b3 24 25 スイッチの障害 最初に VM1 からデフォルト・ゲートウェイ 192.168.1.1 に対して継続して ping を送信します。vSwitch はハッシュ アルゴリズムを使用してトラフィックを送信する NIC を決定します。正常な状態では VM NIC3 が選択され、VC2 経 由で IRF 論理スイッチの Bridge-Aggregate3 interface にトラフィックが送られます。 次に Switch1( A5820) で reboot コマンドを実行します。Switch 2 が新たにマスターになり、1/y/z のインターフェ イスがダウンします。 テスト結果: Switch1 ダウン時: Ping パケットのロスは発生しません。 (切り替え時間は1秒以下です) Switch1 復旧時: Ping パケットのロスは発生しません。 (切り替え時間は1秒以下です) 注記: 切り替え時間が1秒以内に収まるのは、トラフィック・フローの経路が変化しないからです。Switch1 がダウンして 1/y/z の イ ン タ ー フ ェ イ ス が す べ て ダ ウ ン し て も 、 Bridge-Aggregate3 interface の も う 1 本 の リ ン ク で あ る ten2/0/26 がアップしているので、Bridge-Aggregate3 interface がそのまま使用されます。この場合の切り替え時 間は LACP の一方のリンクを通っていたトラフィックをもう一方のリンクに切り替える時間になり、通常1秒以下になり ます。 このシナリオの場合、1台のスイッチがダウンしても IRF はトラフィックのフロー・パスを変えません。2本の uplink はそれぞれ 10Gbps で動作しています。 switch1 が復旧しても、switch1 は スレーブとして動作するのでマスターの切り替えは発生しません。 (switch1 のプ ライオリティが高い場合でも、マスターの切り替えは発生しません) 26 27 IRF リンクの障害 最初に VM1 からデフォルト・ゲートウェイ 192.168.1.1 に対して継続して ping を送信します。vSwitch はハッシュ アルゴリムを使用してトラフィックを送信する NIC を決定します。正常な状態では VM NIC3 が選択され、VC2 経由 で IRF 論理スイッチの Bridge-Aggregate3 interface にトラフィックが送られます。 次に switch1 (A5820) で irf-port 1/2をシャットダウンして IRF link の障害をシュミレートします。 テスト結果: • irf-port 1/2 シャットダウン時: Ping パケットのロスは発生しません。 (切り替え時間は1秒以下です) • irf-port 1/2復旧時: switch2 がリブートして IRF ドメインに加わる際に約1秒のパケット・ロス。 注記: IRF link が切れると MAD が実施されてドメイン内で1台のマスターが選出されます。残りのスイッチ (この場合はメンバ ID が大きい switch2 ) のローカルインターフェイスがシャットダウンされて dual active になるのを回避します。IRF リ ンクが復旧すると、switch2 はリブートして IRF ドメインに参加します。 Switch2 (A5800) が復旧して IRF ドメインに参加する際のパケット・ロス: 28 IRF リ ン ク が ダ ウ ン し て BFD MAD が 実施された後の Switch2 (A5800) のステータス dual active を回避するためにローカルインターフェイスがシャットダウンされた後の Switch2 (A5800) のステータス 29 IRF-link に障害発生後の Switch1 (A5820) console log Virtual Connect モジュールの障害 最初に VM1 からデフォルト・ゲートウェイ 192.168.1.1 に対して継続して ping を送信します。vSwitch はハッ シュアルゴリズムを使用してトラフィックを送信する NIC を決定します。正常な状態では VM NIC3 が選択され、 VC2 経由で IRF 論理スイッチの Bridge-Aggregate3 interface にトラフィックが送られます。 テ ス ト で は OA (Onboard Administrator) の パ ワ ー オ フ ・ ボ タ ン を 使 用 し て VC モ ジ ュ ー ル の 障 害 を シ ュ ミレートします。 テスト結果: • VC2 ダ ウ ン : 約 1 秒 の パ ケ ッ ト ・ ロ ス • VC2 ア ッ プ : 約 6 秒 の パ ケ ッ ト ・ ロ ス 注記: VC2 ア ッ プ 時 の 方 が 切 り 替 え 時 間 が 長 く な り ま す 。 こ れ は 、 VC2 にマップされている VM NIC3 がアップした 状態だったからです。VC2 が ス イ ッ チ ン グ ・ ト ラ フ ィ ッ ク を 処 理 で き る よ う に な る 前 に vSwitch が ト ラ フ ィ ッ ク を VC2 に送信し始めてしまうのが原因です。 30 VC2 がダウン VC2 がアップ 31 Insight Control for VMware vCenter に よ る モ ニ タ リ ン グ Insight Control for vCenter は vSwitch か ら Virtual Connect、 外 部 の ネ ッ ト ワ ー ク ス イ ッ チ ま で の 接 続 を ビ ジュアルに表示することができます。 以下のイメージは、このソフトウェアの概観と機能のサンプル です。 VM1 は vSwitch1 を 使 用 し て い て 、 2 本 の ア ッ プ リ ン ク に 接 続 さ れ て い ま す 。 (VM NIC2, VM NIC3) アップリンクは VLAN 2 と VLAN 3 の タ グ 付 パ ケ ッ ト を 伝 送 す る よ う に 設 定 さ れ て い ま す 。 今 回 の テ ス ト で は VLAN 3 は使用していませんが、Virtual Connect と vSwitch の タ グ 付 接 続 の コ ン セ プ ト を 示 す た め に 設定しています。下の絵では外部のアクセススイッチとの物理リンクも表示されています。スイッチ の ホ ス ト 名 と MAC ア ド レ ス も 表 示 さ れ て い ま す 。 ( LLDP を 使 用 し て 情 報 を 取 得 し て い ま す ) 32 Host H/W inventory の詳細 33 Host , Enclosure ファームウェア・バーションのレポート 34 IMC によるネットワーク管理 HP IMC は HP Networking が 提 供 す る ネ ッ ト ワ ー ク 機 器 を 管 理 す る 管 理 ソ フ ト ウ ェ ア で す 。 管 理 機 能 と し て は 、 コ ン フ ィ グ / ア カ ウ ン テ ィ ン グ / パ フ ォ ー マ ン ス / セ キ ュ リ テ ィ 管 理 と モニタリングがあります。IMC を使 用すると、HP Network の 機 器 と 他 ベ ン ダ ー の ル ー タ ・ ス イ ッ チ の 管 理 を 行 え ま す 。 以下に掲載している画像イメージは、今回のテスト構成を IMC で表示したものです。IMC の全ての機能を紹 介するものではありません。 IMC の 詳 細 に つ い て は 、 以 下 の HP Web ペ ー ジ を ご 参 照 下 さ い http://h17007.www1.hp.com/jp/ja/index.aspx 試 用 版 を ダ ウ ン ロ ー ド す る 場 合 は 、 以 下 の HP Web ペ ー ジ を ご 参 照 下 さ い https://h10145.www1.hp.com/downloads/SoftwareReleases.aspx?ProductNumber=JF377A&lang= en&cc=us&prodSeriesId=4176535 オ ー バ ー ビ ュ ー ペ ー ジ (レ イ ア ウ ト の カ ス タ マ イ ズ 可 能 で す ) 35 ネットワーク・トポロジー A5820 IRF 論理スイッチ 36 Virtual Connect の interface list view Interface traffic rate realtime monitoring 37 Appendix 1: A5820 IRF 論理スイッチのコンフィグ [A5820-IRF]dis current-configuration # version 5.20, Release 1206 # sysname A5820-IRF # irf mac-address persistent timer irf autoupdate enable undo irf link-delay irf member 1 priority 10 # domain default enable system # telnet server enable # vlan 1 # vlan 2 # vlan 100 # radius scheme system servertype extended primary authentication 127.0.0.1 1645 primary accounting 127.0.0.1 1646 user-name-format without-domain # domain system access-limit disable state active idle-cut disable self-service-url disable # user-group system # stp mode rstp stp enable # interface Bridge-Aggregation1 port link-type trunk port trunk permit vlan 1 to 2 linkaggregation mode dynamic # interface Bridge-Aggregation2 port link-type trunk port trunk permit vlan 1 to 2 link-aggregation mode dynamic stp edged-port enable # interface Bridge-Aggregation3 port linktype trunk port trunk permit vlan 1 to 2 linkaggregation mode dynamic stp edgedport enable # interface NULL0 # interface Vlan-interface100 mad bfd enable mad ip address 100.100.100.1 255.255.255.0 member 1 38 mad ip address 100.100.100.2 255.255.255.0 member 2 # interface GigabitEthernet1/0/25 port link-mode bridge port access vlan 100 stp disable # interface GigabitEthernet1/0/26 port link-mode bridge # interface GigabitEthernet1/0/27 port linkmode bridge # interface GigabitEthernet1/0/28 port linkmode bridge port link-type trunk port trunk permit vlan 1 to 2 port link-aggregation group 1 # interface GigabitEthernet2/0/1 port link-mode bridge # interface GigabitEthernet2/0/2 port linkmode bridge # interface GigabitEthernet2/0/3 port linkmode bridge port access vlan 100 stp disable # interface GigabitEthernet2/0/4 port link-mode bridge # interface GigabitEthernet2/0/5 port link-mode bridge # interface GigabitEthernet2/0/6 port linkmode bridge # interface GigabitEthernet2/0/7 port linkmode bridge # interface GigabitEthernet2/0/8 port link-mode bridge # interface GigabitEthernet2/0/9 port linkmode bridge # interface GigabitEthernet2/0/10 port linkmode bridge # interface GigabitEthernet2/0/11 port link-mode bridge # interface GigabitEthernet2/0/12 port link-mode bridge # interface GigabitEthernet2/0/13 port linkmode bridge # interface GigabitEthernet2/0/14 port linkmode bridge # 39 interface GigabitEthernet2/0/15 port linkmode bridge # interface GigabitEthernet2/0/16 port linkmode bridge # interface GigabitEthernet2/0/17 port linkmode bridge # interface GigabitEthernet2/0/18 port link-mode bridge # interface GigabitEthernet2/0/19 port linkmode bridge # interface GigabitEthernet2/0/20 port linkmode bridge # interface GigabitEthernet2/0/21 port linkmode bridge # interface GigabitEthernet2/0/22 port link-mode bridge # interface GigabitEthernet2/0/23 port linkmode bridge # interface GigabitEthernet2/0/24 port linkmode bridge port link-type trunk port trunk permit vlan 1 to 2 port link-aggregation group 1 # interface M-GigabitEthernet0/0/0 ip address 10.1.8.2 255.255.0.0 # interface Ten-GigabitEthernet1/0/1 port linkmode bridge port link-type trunk port trunk permit vlan 1 to 2 port linkaggregation group 2 # interface Ten-GigabitEthernet1/0/2 port link-mode bridge port link-type trunk port trunk permit vlan 1 to 2 port linkaggregation group 3 # interface Ten-GigabitEthernet1/0/3 port linkmode bridge # interface Ten-GigabitEthernet1/0/4 port link-mode bridge # interface Ten-GigabitEthernet1/0/5 port link-mode bridge # interface Ten-GigabitEthernet1/0/6 port linkmode bridge # interface Ten-GigabitEthernet1/0/7 port linkmode bridge # 40 interface Ten-GigabitEthernet1/0/8 port linkmode bridge # interface Ten-GigabitEthernet1/0/9 port linkmode bridge # interface Ten-GigabitEthernet1/0/10 port linkmode bridge # interface Ten-GigabitEthernet1/0/11 port link-mode bridge # interface Ten-GigabitEthernet1/0/12 port linkmode bridge # interface Ten-GigabitEthernet1/0/13 port linkmode bridge # interface Ten-GigabitEthernet1/0/14 port linkmode bridge # interface Ten-GigabitEthernet1/0/15 port link-mode bridge # interface Ten-GigabitEthernet1/0/16 port linkmode bridge # interface Ten-GigabitEthernet1/0/17 port linkmode bridge # interface Ten-GigabitEthernet1/0/18 port link-mode bridge # interface Ten-GigabitEthernet1/0/19 port link-mode bridge # interface Ten-GigabitEthernet1/0/20 port linkmode bridge # interface Ten-GigabitEthernet1/0/21 port linkmode bridge # interface Ten-GigabitEthernet1/0/22 port link-mode bridge # interface Ten-GigabitEthernet2/0/25 port linkmode bridge port link-type trunk port trunk permit vlan 1 to 2 port linkaggregation group 2 # interface Ten-GigabitEthernet2/0/26 port link-mode bridge port link-type trunk port trunk permit vlan 1 to 2 port link-aggregation group 3 # interface Ten-GigabitEthernet1/0/23 # interface Ten-GigabitEthernet1/0/24 # interface Ten-GigabitEthernet2/0/27 # 41 interface Ten-GigabitEthernet2/0/28 # ip route-static 0.0.0.0 0.0.0.0 10.1.0.1 # snmp-agent snmp-agent local-engineid 800063A203002389437528 snmpagent community read public snmp-agent sys-info contact ASC-Admin snmp-agent sys-info location ASC snmp-agent sys-info version all snmp-agent target-host trap address udp-domain 10.1.220.178 udp-port 161 params securityname public snmp-agent trap enable default-route # load xml-configuration # user-interface aux 0 1 user-interface vty 0 15 authentication-mode none user privilege level 3 # irf-port 1/2 port group interface Ten-GigabitEthernet1/0/23 mode enhanced port group interface Ten-GigabitEthernet1/0/24 mode enhanced # irf-port 2/1 port group interface Ten-GigabitEthernet2/0/27 mode enhanced port group interface Ten-GigabitEthernet2/0/28 mode enhanced # return [A5820-IRF] 42 Appendix 2: シナリオ 3 の 動 作 シナリオ・オプション3を選択して、A5820 側で1つのリンク・アグリゲーションを設定し、2台の Virtual Connect モジュールを跨って1つの SUS を設定した場合は、A5820 switch が LACP のリンクとして使用するリンクは4本 のうち2本だけです。 VC1 のステータスは OK VC2 の ス テ ー タ ス は OK で は あ り ま せ ん 。 The “LAG ID” の 欄 が 空 白 に な っ て い ま す 。 こ れ に よ り LACP が 構 成 さ れ て い な い 事 が 分 か り ま す 。 こ の SUS に 属 す る 2 本 の リ ン ク は 2 本 の 独 立 し た standby として扱われます。 43 用語集 ARP – Address Resolution Protocol BFD – Bidirectional Forwarding Detection BPDU – Bridge Protocol Data Unit GW – Gateway IC – Insight Control IMC – Intelligent Management Center IRF – Intelligent Resilient Framework LACP – Link Aggression Control Protocol LACPDU – Link Aggression Control Protocol Data Unit LLDP – Link-Layer Discovery Protocol MAC – Media Access Control MAD – Multi-Active Detection OA – Onboard Administrator SSH – Secure Shell STP – Spanning Tree Protocol SUS – Shared Uplink Set VC – Virtual Connect VLAN – Virtual Local Area Network VM – Virtual Machine vPC – Virtual Port Channel VSS – Virtual Switching System 44 Share with colleagues © Copyright 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. The only warranties for HP products and services are set forth in the express warranty statements accompanying such products and services. Nothing herein should be construed as constituting an additional warranty. HP shall not be liable for technical or editorial errors or omissions contained herein. Microsoft and Windows are U.S. registered trademarks of Microsoft Corporation. 662362-001, Created May 2011
© Copyright 2024 Paperzz