DATA CENTER NETWORK リモート・データ・レプリケーションを評価する Brocade エクステンションか？それともストレージ IP レプリケーション・ポートか？あなたのビジネスにとって、どちらのレプリケーション・ソリューションが正しい選択か？本書では Brocade のエクステンション・プラットフォームとストレージの IP レプリケーション・ポートを比較し、リモート・データ・レプリケーションにおける Brocade のエクステンションの価値と優位点について説明する。 DATA CENTER NETWORK TECHNICAL BRIEF 内容概要 ......................................................................................................................................... 3 状況 ......................................................................................................................................... 3 アーキテクチャー ................................................................................................................... 5 エンタープライズ・クラス .................................................................................................... 7 パフォーマンス ................................................................................................................... 7 専用ハードウェア............................................................................................................ 7 同期レプリケーション .................................................................................................... 8 カプセリング方式(FC → FCIP)..................................................................................... 9 WAN 最適化 TCP (WO-TCP) ........................................................................................ 10 帯域幅遅延積 (Bandwidth Delay Product: BDP) .......................................................... 12 Maximum Transmission Unit (MTU) ............................................................................. 13 プロトコル最適化.......................................................................................................... 14 サイジングと運用 ............................................................................................................. 15 スループット ................................................................................................................. 15 圧縮 ............................................................................................................................... 15 多用性 ............................................................................................................................ 16 構成の簡素化 ................................................................................................................. 16 セキュリティ .................................................................................................................... 18 IPsec.............................................................................................................................. 18 Brocade FOS のセキュリティ機能 ............................................................................... 19 High Availability................................................................................................................. 19 1 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF エクステンション HCL(Hot Code Load) ...................................................................... 19 Extension Trunking ....................................................................................................... 20 ARL (Adaptive Rate Limiting) ........................................................................................ 21 メトリックと DF ビット ............................................................................................... 22 信頼性(Reliability)/可用性(Availability)/保守性(Serviceability) [RAS] ............................... 24 Monitoring and Alerting Policy Suite (MAPS) ............................................................... 24 Flow Vision .................................................................................................................... 25 検証ツール .................................................................................................................... 28 Brocade FOS RAS 機能 ................................................................................................ 29 IP ネットワーク構築 ......................................................................................................... 29 インターフェイス.......................................................................................................... 30 PerPriority-TCP-QoS (PTQ) .......................................................................................... 30 ポーズ・フレーム (IEEE 802.3X) ................................................................................ 31 Ethernet 共有と VALN タギング(IEEE 802.1Q) ........................................................... 31 Network Address Translation (NAT) ............................................................................. 32 Link Aggregation ........................................................................................................... 32 まとめ ................................................................................................................................... 33 2 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 概要遠隔地間でのデータ・レプリケーション(データ複製)を、ストレージ付随の IP ポートを使って行うことが果たして正しい選択でしょうか？いいえ、ほとんどのケースにおいて Brocade のエクステンション・ソリューションのほうが正しい選択と言えます。本書ではオープン・システムとメインフレームの両方に渡って、Brocade エクステンションとそのアーキテクチャーの価値について取り上げてみたいと思います。Brocade 7840 エクステンション・スイッチは、エンタープライズ・クラスで必要とされる本質的な機能(優れたアプリケーション性能、拡張性、堅牢なセキュリティ、高い信頼性、ネットワークとの融合性、包括的な監視、アプリケーションの可視化、診断ツール)を取り入れた製品です。ストレージ付随の IP ポートによるレプリケーションは、こういったエンタープライズ・クラスに必要な機能を提供することはできません。ストレージ付随の IP ポートにとって代わるのが Brocade のエクステンション製品で、ストレージの FC ポートに接続して使用します。お客様が最終的に望むのは、少ない運用・資産コストにおいて、最大のレプリケーション性能と柔軟性、そして信頼性を得ることです。 Brocade のエクステンション・ソリューションは規模の大小にかかわらず、ほとんどすべてのレプリケーション環境において最適な結果をもたらします。 Brocade の技術はあらゆる IP ネットワークへの完璧な融合性を実現し、トレージ付随の IP ポートと比較すると、非常に距離がはなれていてもネットワークの帯域幅をフルに活用できるため、より効率的なデータ転送を行うことができます。本書では Brocade エクステンションの価値を代表する Extension Trunking、Extension Hot Code Load(HCL)、Adaptive Rate Limiting(ARL)、Quality of Service(QoS)、Brocade Fabric Vision 技術、Brocade Network Advisor などについて解説したいと思います。また Brocade は完全なセキュリティ機能と接続検証ツールも提供します。20 年にわたる Brocade エクステンション製品の長距離接続における革新とリーダーシップは、市場が望むエクステンション・ソリューションであるという事実によって証明されています。状況 DR(ディザスタ・リカバリ)を目的とし、二か所以上のデータセンターにおいてデータの複製を行っている状況を考えてみましょう。オープン・システムにおける LUN の複製であったり、メインフレームにおけるボリュームの複製などです。ここに書かれていることはど 3 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF ちらの環境にも適応します。長距離間の RDR(Remote Data Replication:遠隔地間データ複製)の性能が要求にあっていますか？また RPO(Recovery Point Objective:目標復旧時点) は最適ですか？これらの問題を解決するのにあとどれだけの帯域が必要か、そしてそれを行うことで毎月かかる費用がどれだけかさむかを判断したいのではないでしょうか。おそらくデータ複製には大変多くの時間を要し、時折遅れが生じているはずです。複数のストレージ間での複製はアンバランスではないでしょうか？そしてそれが複数セッションの整合性に悪影響をおこしていませんでしょうか？圧縮量・圧縮率が十分なスループットを提供するのに適していないかもしれません。加えて、コンプライアンス上データ保護を行うため転送中のデータに対し暗号化を必要とするかもしれません。さらに暗号化とデータ圧縮がスループットを低下させていないか、RDR ネットワークを構成したり、管理・監視したり、トラブルシューティングを行うのにより良い方法はないかなど、確認すべき点がいくつもあります。ストレージ付随の IP レプリケーションが提供する IP の機能と、前執の問題を解決する機能を備えた Brocade エクステンションでは、明らかな違いがあります。多くのケースにおいて、ストレージ付随の IP レプリケーションを使ったお客様も、彼らの RDR の必要性を考慮してパフォーマンス・ソリューションを求めている Brocade に戻ってきます。その主な理由は、ストレージ付随の IP レプリケーションは期待する結果を出せないこと、またストレージ付随の IP レプリケーションは急速にデータが増加する以前に開発された機能であることに気付くからです。何故 Brocade なのか？Brocade は約 20 年間 RDR 技術を展開してきており、この分野ではリーダー的存在です。他のどの企業もこのような優れた技術を提供することができません。ストレージ付随の IP レプリケーション・ポートは一般的には iSCSI の実装であって、性能が低く、ここで使用している TCP スタックは洗練された機能や大切な機能が欠如しています。結果としてストレージ付随の IP レプリケーションは、性能、可視化性、高度な機能が欠如しているということになります。Brocade は構築、監視、実行、レポート、診断といった堅牢なオペレーションで管理された費用対効果の高い高性能ソリューションを提供します。 4 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF アーキテクチャー Brocade のエクステンションは小規模から大規模まで対応します。一番小さな構成はというと 2 台の Brocade 7800 4/2 エクステンション・スイッチをストレージのレプリケーション・ポートに直結するものです。この構成では 2Gbps の WAN 帯域を使って FCIP を行います。およそ 2:1 の比率でのデータ圧縮が行えた場合、ストレージからは 4Gbps のレプリケーション帯域としてみてとれます。この構成ではコスト重視なので、両側のストレージ・コントローラに 1 台の Brocade エクステンション・ネットワークがつながっているだけの構成となります。この環境においても二つの平行した RDR ネットワークまで拡張することができます。更に拡張するには PoD(Port on Demand)ライセンスを使って Brocade 7800 4/2 を 16/6 にアップグレードすることができます。これによってもともとの倍以上の容量まで拡張可能です。これらは小規模に対応し、高い費用対効果を生み、拡張性にもすぐれ、非常に強力な展開が行えます。一方、非常に大きな規模の展開においては、4 台の Brocade 7840 を使って二対のパラレル構成を行います。Brocade 7840 を二対のパラレルで使用しることで、メインフレームの XRC やメインフレーム/オープン・システムのテープ、そしてディスク・レプリケーションにおいて複数ソースからのアクセスにおいて 160Gbps のアプリケーション性能を得ることができます。パラレル冗長ネットワークを追加することは、単に冗長にとどまらず、性能用量をも二倍にします。一台の 7840 にはふたつのデータプロセッサが搭載されており各データプロセッサあたりの性能は 40Gbps です。したがって一対の 7840 の最大性能は 80Gbps ですので、パラレル構成ではその倍の 160Gbps となります。これはあくまでも FC/FICON 側から見える帯域幅です。FCIP で使用する WAN 帯域は Fast Deflate アルゴリズムを使って 2:1 のデータ圧縮が行えるとすると 80Gbps です。(20Gbps/データプロセッサ x2=40Gbps/7840 unit, 40x2 台=80Gbps) これは ARL やエクステンション HCL のファイルオーバー帯域としても十分です。Brocade 7840 に搭載される 24 ポートの 16Gbps FC ポートに直接デバイスを接続することも、もしくはプロダクション・ファブリックに接続することも可能です。この展開は非常に大規模な環境で冗長性を提供し費用対効果の高いアーキテクチャーとなっており、非常に強力なものです。 Brocade 7840 は、世界中いかなる場所にあるすべてのストレージ・データの最良の転送性能とツール(高い信頼性、優れた効率性、優れた性能、容易な管理)を提供します。専用の 5 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF Brocade エクステンション・デバイスに異なるフローを収束することは多くの利点を生みだします。規模や容量が増加するとストレージ付随の IP ポートを使ったレプリケーションでは管理がますます難しくなります。Brocade Network Advisor は、管理を簡素化し、予防的診断やトラブルシューティングを補助することで稼働時間を最大化し運用効率を向上させる包括的なツールです。Brocade Network Advisor は、Monitoring and Alerting Policy Suite(MAPS)と Flow Vison を含む Brocade Fabric Vison テクノロジーからデータを引出し、カスタマイズ可能なダッシュボードにネットワークの健全性とストレージ・レプリケーションの性能を包括的に可視化可能とするドリルダウン機能を表示します。 Brocade エクステンションは大規模なストレージ展開に唯一適応したプロダクトです。大規模な展開の場合、多くにして以下のような要件を満たす必要があります。・多種多様なシステム(ディスク、テープ、オープン・システム、メインフレーム等) への対応・他社多様なストレージ・アレイへの対応・非常に大きな帯域幅への対応・高速なスループット・無停止運用・運用に必要な多くのツール・堅牢な診断 RDR ネットワークを目的に応じてプロダクション・ファブリック内に取り入れることも、まったく分離した形で維持することも可能です。分離するには Virtual Fabric(VF)を使って論理的に行うとも、別々のスイッチを使って物理的に行うことも可能です。どちらにしても RDR ネットワークとファブリックは Brocade Network Advisor を使って一つの画面から管理することができます。 6 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 図 1. 多様な環境における大規模な Brocade のエクステンション展開エンタープライズ・クラス Brocade 7840 は競合エクステンション製品やその手法と比較しても、間違いなくストレージ業界で最もスループットの高いエクステンション・デバイスです。ほとんどのストレージ・アレイの持つ 8Gbps もしくは 16Gbps の FC ポートは、ストレージ・アレイに付随する IP 10GbE 対応をはるかに上回るものです。これらの高速の FC ポートを Brocade エクステンション・デバイスに接続します。Brocade エクステンション・デバイスは複数のデバイスからくる FC ポートも含め複数の FC ポートのための十分な容量を提供します。 Brocade 7840 は世界最速の FC スイッチング ACIC と 64 個のネットワーク・プロセッサと 128GB の高速 RAM を持ちます。ストレージ・アレイに付随する IP ポートを使う場合には複数ポートに対して同等の処理能力を提供することはできません。Brocade エクステンション製品はそういった意味で非常に高い価値を提供します。パフォーマンス専用ハードウェアエクステンションのようなアプリケーションをサポートするハードウェアを組み上げるには二つの手法があります。走らせるソフトウェアによって目的を変更できる汎用目的のプロセッサを基に組み上げる方法がひとつです。これは設計も組み上げも安価であり、柔軟性に富みます。ソフトウェアを変更することでアプリケーションの変更ができます。ただ 7 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF しエクステンション・ネットワーキングはもっとも一般的なアプリケーションであり、製品寿命中に変化しないものです。この手法の欠点は低いパフォーマンスと高い遅延にあります。一般的にストレージ・アレイに付随する IP レプリケーションはこの手法をとっています。もう一つの方法として、専用ハードウェアとファームウェアを開発するものがあります。これには設計・組み上げとも汎用目的よりは費用がかかりますが、非常に高いパフォーマンスと超低遅延という利点があります。Brocade 7840 はこの手法を使い、コードや新機能のアップグレードに柔軟性のある Brocade Fabric OS(Brocade FOS もしくは Fabric Operating System)上で動作するだけでなく、必要であればハードウェアの再プログラミングが可能なハードウェア(Field Programmable Gate Array[FPGA])を採用しています。FPGA はラインレートの FC 圧縮(Fast Deflate)やラインレートの IP セキュリティ(IPsec)(AES 256)や、その他の高速データ転送機能を可能としました。 Brocade 7840 のアーキテクチャーは優雅でシンプルであるだけでなく、同期アプリケーションも可能な超低遅延も可能とします。Brocade 7840 内のデータパスは簡潔であり、いくつかの高速で効果性の高いコンポーネントで実装されています。同期レプリケーション Brocade のエクステンション製品は、付加遅延を極力低くできる唯一の製品です。Brocade エクステンション製品によって付加される伝搬時間は同期アプリケーションの許容範囲内に納まります。ストレージ・アレイに付随する IP ポートの場合、TCP/IP 処理は低い付加遅延を実現することはできず、同期アプリケーションに使うことはできません。ストレージ・アレイに付随する IP ポートを使う限り遅延を減らすという効果はなく、ここがディスアドバンテージとなります。同期アプリケーションを使う場合、付加遅延を低く抑える以上の付加価値があります。圧縮・IPsec を可能とする専用ハードウェアは同期アプリケーションでも使うことができます。圧縮と IPsec は Brocade Gen5 スイッチでは FC ポート(ISL)においても使用可能です。但しこれらの機能を Extension Trunking 機能と組み合わせて使用することで同期ソリューションは更に価値のあるものとなります。後に詳細を説明する Extension Trunking という機能は FCIP において複数のサーキットを束ねて VE ポート(仮想 E ポート)を構成する Brocade 独自の技術です。それどれのサーキットはそれぞれ独自の IP ネットワークパスを持ちます。 8 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 複数のパスを持つことで、耐障害性、リンク障害においての高速エラー復旧、リンク障害上でのデータ無損失(Lossless Link Loss[LLL])、データ保証、データ配信順序保証、それぞれのサーキットの本当の意味でのバンド幅統合を提供します。Extension Trunking の具体的利点のひとつを挙げると、光モジュールやケーブル障害によって発生する IFCC(Interface Control Check)を予防する効果があります。現在、お客様は同期アプリケーション用に Brocade のエクステンション・プロダクトを使用して多くの恩恵を得ています。まずは IP ネットワーク自体が安定した性能を得られることが重要です。貧弱な性能の IP ネットワーク上に堅牢なエクステンションを使って同期アプリケーションを走らせても、同期アプリケーションも貧弱な性能しか得られません。IP ネットワークは基本的に貧弱な性能ではありません。にもかかわらず目的に適していないネットワークを使うなど適切に構築されていない環境では IP ネットワークの性能は貧弱となり得ます。同期ストレージの要件にあうように構成することで IP ネットワークを適切に構築することができます。Brocade はこれらの要件を満たす IP ネットワーキング・プロダクトも提供しています。前述したように、 LLL と Extension Trunking は Brocade のみが提供できる機能であり、”High Availability (HA)“の章で詳細を説明いたします。カプセリング方式(FC → FCIP) FCIP にカプセリングされると、レプリケーション・アプリケーションのヘッダーと FCP, FCIP, TCP, IP, Ethernet のそれぞれのヘッダーを持ちます。ストレージ・アレイに付随する IP レプリケーションの多くはその転送のために iSCSI をベースにしています。つまりストレージ・アレイに付随する IP レプリケーションの場合は、レプリケーション・アプリケーションのヘッダーと iSCSI, TCP, IP, Ethernet のそれぞれのヘッダーを持つことになります。ストレージ・アレイに付随する IP レプリケーションは、FCP ヘッダーも FCIP ヘッダーも必要なく、レプリケーション・データを TCP/IP に直接送り出せると主張しています。これはある意味事実ではありますが、この手法のほうがより効率的であるような誤解を含んでいます。FCIP ヘッダーの代わりに iSCSI ヘッダーが用いられ、TCP, IP, Ethernet ヘッダーに関しては両手法とも存在しています。FCP ヘッダーが無いことだけがわずかにオーバーヘッドを緩和しているにすぎません。 9 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 圧縮において、ストレージ・アレイに付随する IP レプリケーションはサポートされる Maximum Transmission Unit(MTU)よりも小さな IP データグラムを生成するため、効率が下がります。一回につき一つの iSCSI フレームを送り出すため IP 圧縮の場合、フレームは MTU よりも小さくなります。MTU の指定は固定値を設定するだけのものであって、ストレージ・アレイが実際に送り出すパケットのサイズではありません。サポートされる MTU よりも小さなデータグラムは効率を下げます。重要なのはサポートされる MTU のサイズに、いかにデータグラムを詰め込むことでオーバーヘッドを下げるかです。そうすることでオーバーヘッドあたり最大のペイロードを作ることができます。 Brocade はストレージ I/O からバイト・ストリーミングを形成する独自の手法を使っています。これは多くの競合製品が未だに使用しているあまりにも非効率な FC フレーム単位のカプセル化と一線を画します。Brocade が形成するバイト・ストリーミングは WAN 最適化 TCP(WO-TCP)によって転送されます。ストリームを構成する 16 個のデータ・フレームを” バッチ”と呼びます。それぞれの”バッチ”がひとつの FCIP ヘッダーを持つので、ヘッダーを 16 分の 1 に縮小することができます。”バッチ”はその後で圧縮されます。”バッチ”全体を圧縮するので高い圧縮率を得ることができます。Brocade は Fast Deflate, Deflate, Aggressive Deflate と呼ばれる複数の Deflate をベースとした圧縮アルゴリズムを開発しました。それぞれのアルゴリズムはスピードと圧縮率のトレードオフが異なります。ストリームは TCP セグメントに最大のセグメント・サイズになるように詰め込まれます。最大セグメント・サイズとは IP MTU から IP と TCP ヘッダーを引いたものです。(IP+TCP ヘッダーは約 40 バイト) 結果として圧縮状況にかかわらずフルサイズの IP データグラムを生成することができオーバーヘッドを最小にすることができます。競合製品と比較して Brocade のカプセル化方式は効率に優れており、ストレージ・アレイに付随する IP レプリケーションと比較しても、劣るところは全くありません。 WAN 最適化 TCP (WO-TCP) Transmission Control Protocol (TCP)はストレージ・エクステンションのすべてに共通する大規模データ高速転送において中心となるものです。長年の経験を通じて、 Brocade は WAN 最適化 TCP(WO-TCP)と呼ばれる強力な TCP スタックを開発しました。WO-TCP は競合する WAN 最適化装置に勝るとも劣らないトランスポートを実現します。言い換えれば Brocade 7840 エクステンション・スイッチを使うことで、専用の WAN 最適化装置を使わずとも WAN 最適化の恩恵を受けることができます。同じ帯域幅で、同じ期間内に転送でき 10 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF る総バイト数は、競合する WAN 最適化装置を使った場合と基本的に同じになります。これらの利点がある上に Brocade エクステンション製品の価格が WAN 最適化製品より安いことを考えると満足いただけるものと言えるでしょう。多くの場合においてストレージ・アレイに付随する IP レプリケーションは WAN 最適化装置を必要とします。ストレージ・アレイに付随する IP レプリケーションにおいて WAN 最適化装置を必要とするのは以下の要素のいずれか(もしくは複数の組み合わせ)によります。・ WAN の遅延が 100ms 以上の場合・ WAN の品質が貧弱な場合・ WAN がエラーを起こしやすい場合・ WAN に過度のふらつきがある場合 WAN 最適化装置は Brocade エクステンション装置と比べて非常に高価なものです。 Brocade エクステンションにおいては WAN 最適化装置が完全に不要となります。さらに WAN 最適化装置を使うことで、システムが複雑になり、障害ポイントが増え、管理/監視/ トラブルシューティングに必要な他の機器の設置が必要となります。もし既に WAN 最適化装置がある場合でも、Brocade エクステンション製品はそれを必要としないので、他のアプリケーションが使うべきリソースを侵食することはありません。 WO-TCP と ARL を組み合わせることで、この二つの技術の相乗効果はストレージのデータ転送に必要な要素をすべて満たすことができます。いかなるストレージ・アレイに付随する IP レプリケーションにおいても、このようなトランスポートの仕組みを持つものはありません。WO-TCP はエンタープライズ・クラスの Brocade 7840 にとって重要な要素であることを示しています。図 2 を参照ください。エンタープライズ・クラスの Brocade エクステンション製品には以下の特長があります。・業界最高のパフォーマンス・ IPsec を兼ね備え超低遅延に対応する Brocade エクステンション製品は同期アプリケーションをサポート・サーキットが途切れた場合 LLL は IFCC を予防・ファームウェア・アップデート時、エクステンション HCL により無停止稼働が可能 11 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF ・ WO-TCP は業界最高パフォーマンスの TCP スタックを提供図 2. エンタープライズ・クラスの Brocade エクステンション帯域幅遅延積 (BANDWIDTH DELAY PRODUCT: BDP) TCP において、帯域幅遅延積 (Bandwidth Delay Product: BDP)で表せるように、WAN を最大限に利用するには待ち状態のデータの数が重要になってきます。BDP はバンド幅にネットワークの往復遅延時間(RTT)を掛けることで簡単に計算することができます。例えば 1Gbps の WAN リンクがあり往復遅延(RTT)が 160ms である場合は、BDP は 20 メガバイト(MB)となります。これは少なくとも 20MB のデータが転送過程にないとこのリンクの帯域幅をすべて使いきれないことを意味します。20MB を満たせない場合、”droop”という状態になります。”droop”とは WAN 接続状態を飽和させることのできない状態を言います。 BDP は Brocade 7840 とストレージ・アレイに付随する IP レプリケーションではどのように動作するのでしょうか？Brocade のエクステンションには優れた BDP 対応機能が WO-TCP 内に組み込まれているため、160ms の RTT を持つ 10Gbps の WAN 接続において”droop”無しでラインレートを維持することができます。これは約 160ms の往復遅延がある米国と香港間を OC-192 で接続することに値します。BDP を計算すると 1250MBps 掛ける 0.16 秒＝200MB となります。Brocade 7840 は再送や他の TCP window の割り当てなどに追加メモリーをアサインすることができるので、実質 200MB 以上の BDP 容量を持っています。このような BDP レベルをサポートできるストレージ・アレイに付随する IP レプリケーションを見つけることはできないでしょう。実際、いくつかのストレージ・アレイでは TCP スタックのためにわずか 2MB しか使えません。データ転送”droop”は不十分な BDP 12 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF をもたらします。Brocade 7840 は 160ms の RTT を超えるまで”droop”になりません。たとえ地球の半分をまたぐような OC-192 が必要ないとしても、この機能は Brocade エクステンションの強力なアーキテクチャーを証明するものです。いくつかのトレージ・アレイに付随する IP レプリケーションでは更に TCP セッションを追加することで BDP を広げることができます。例えば４つの IP ポートがそれぞれ 4 つの TCP セッションを持つ形で使われていた場合、BDP は 4 ポート x 4 セッション x 2MB = 32MB となります。もし WAN 接続が OC-192(10Gbps)だったとすると”droop”が起こらない最大の RTT は完璧な状態において 26ms となります。ストレージ・アレイが持つ Ethernet ポートの 40Gbps(4 x 10Gbps)の帯域をつかっても、データ・レートとしてはたった 10Gbps しか使えません。これはストレージ・アレイに付随する IP レプリケーションの技術の重大な欠落です。Brocade エクステンション・デバイスではストレージ・アレイ上の二つの 16Gbps の FC ポートを使って 10Gbps のデータを送ることができるでしょう。これによって空いた貴重なポートをホスト接続に使うことができます。 “不安定なリンク”のパフォーマンスはどうでしょう？すべてのリンクが常にエラー無く動作するという考えは現実的ではありません。転送エラー(ビットエラー、順次違い、セグメント落ちなど)があったり、データを復元したり順次保証のための再送がおこったとき、BDP には何がおこるでしょう？この状況では転送問題を復旧するため往復数によってかかる RRT の長さに影響を受けます。それは 1 RTT である場合もありますし、複数の RTT であることもあります。もしストレージ・アレイに付随する IP レプリケーションを使って最小の BDP 容量しか持たない場合には、問題が解決するまでデータ転送はひどい状況となります。Brocade 7840 は非常に大きな BDP 容量を持つため、このような状況においても高いスループットを維持することができます。WO-TCP の非常に優れた機能はストレージ管理者のデータ保護促進というミッションにまさしくマッチしています。 MAXIMUM TRANSMISSION UNIT (MTU) MTU は IP ネットワークがエンド・トゥ・エンドでサポートするもっとも大きな IP データグラムのサイズです。Path MTU(PMTU)がわからない場合、Brocade 7840 は PMTU 機能を使って Path MTU を自動で特定できます。おそらくあなたの IP ネットワークはリングもしくは複数のリンクを持つアクティブ/パッシプアーキテクチャーをとっているはずです。例えばリンクがふたつあり、ストレージ・ア 13 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF プリケーションがその内の一つを使います。もう一つのリンクをパッシブ用に残すか(コストセーブのため)、もしくはストレージ以外のアプリケーションが使います。ストレージはプライマリーのリンクがダウンした時に限って代替リンクを使うことが許されます。 Brocade エクステンションのサーキットはこのようなアーキテクチャーのために、メトリックとフェイルオーバー・グループを持つことで自動的なフェイルオーバーが行えます。既存のサーキットがダウンすると、同じフェイルオーバー・グループ内の他のサーキットがオンラインになります。転送中のデータ損失は無く、データ配信順序も維持されます。バックアップ・サーキットを含むすべてのサーキットは独立しており、それぞれの環境に応じて独自に構成することができます。例えばプライマリー・サーキットとバックアップ・サーキットをそれぞれの環境に応じて独自に構成することが可能です。プロトコル最適化ストレージ・アレイに付随する IP レプリケーションにはプロトコルによる優位点はありません。付随する IP レプリケーション・ポートはデータ転送時に不要な往復作業を行う必要がないので、プロトコル最適化の利点があると言われています。しかし多くのストレージ・レプリケーション・アプリケーションは FC ポートであろうが IP ポートであろうが任意書き込みの仕組みを持っているので、この主張は全く意味を成しません。任意の書き込みとはリモート・サイトから”転送了解(Transfer Ready)”を必要としない書き込みの仕組みです。通常 SCSI write コマンドの一部となっているので、任意書き込みは WAN を介して則データ送信を行います。これは多くの FC ベースの RDR アプリケーションが組み込み型のプロトコル最適化を持っているということを意味し、動作はストレージ・アレイに付随する IP レプリケーションと同じです。万が一 FC ベースのレプリケーションがこの仕組みを持たない場合には、Brocade は FastWrite という機能を提供します。FastWrite はデータの I/O を開始するのに必要なコマンド/transfer-ready の往復処理を排除するプロトコル最適化技術です。その効果は任意書き込みの仕組みと同じです。ストレージ・アレイ以外にテープやメインフレームのような他のストレージ・アプリケーションのエクステンションを組み合わせ、同一トンネル(ひとつの VE ポート)もしくは異なるトンネル(異なる VE ポート)を使ってエクステンションすることはコスト的に効果があります。Brocade エクステンションはオープン・システム・テープ・パイプライニング(OSTP) read/write と FICON Acceleration(XRC, テープ read/write, Teradeta)というプロトコル最適化機能を持っています。更にこれらのプロトコル最適化機能を同時に使うことをサポート 14 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF しています。Brocade エクステンションはこれらの異なるアプリケーションを識別し、それに応じたプロトコル最適化を提供することができます。これらのアプリケーションはバンド幅のフル活用を維持しながら遅延を緩和し、非常に長距離でエクステンションすることが可能です。サイジングと運用サイジングにあたって考慮する点がいくつかあります。現在の環境がどのぐらいのものか (どれだけ小さい環境のか、それともどれだけ大きな環境なのか)を理解する必要があります。また管理できる規模なのかどうかも知る必要があります。さらに規模に応じてコスト的にメリットが得られるかどうかも重要です。これまで本書で概要を説明しましたように、 Brocade のエクステンションを使用することでサイジングのすべての側面において費用対効果の高い幅広いソリューションを提供できます。Brocade は多くのケースにおけるサイジングに関して経験も顧客も豊富にもっていることが自信のひとつでもあります。スループット Brocade エクステンション・プロダクトは 100Mbps から最大 40Gbps の WAN 帯域を使うことができます。また FC/FICON から見た場合には、圧縮率によって 2Gbps から 80Gbps のデータ・レートを得ることができます。圧縮 Brocade は Brocade 7840 スイッチ向けに、特殊な圧縮アルゴリズムを開発しました。この圧縮アルゴリズムは処理レートと圧縮比によって異なる業界でも最も優れたアルゴリズムとなっています。ストレージ・アレイに付随する IP レプリケーションや競合製品には無いものです。 Brocade 7840 には 3 つの圧縮アルゴリズムがあります。・ Fast Deflate ・処理レート：FC/FICON からの最大入力レートは DP(FCIP Data Processor)あたり 40Gbps ・圧縮比：通常 2:1 ・ Deflate ・処理レート：FC/FICON からの最大入力レートは DP(FCIP Data Processor)あたり 16Gbps 15 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF ・圧縮比：通常 3:1 ・ Aggressive Deflate ・処理レート：FC/FICON からの最大入力レートは DP(FCIP Data Processor)あたり 10Gbps ・圧縮比：通常約 4:1 多用性高いパフォーマンスを持つエクステンションの技術に投資するということは、言い換えれば企業全体に渡って様々な用途において活用される必要があるということです。例えばメインフレームのボリューム複製や、様々なオープン・システムのディスク複製や、メインフレームのテープ、オープン・システムのテープなどの用途です。これらのすべてを Brocade エクステンションは簡単に収容することができ、またバーチャル・ファブリックや Role Based Access Control(RBAC)を使って企業内の異なる管理者グループから管理することができます。様々な用途において適切な運用が行えるように特別な機能が用意されています。FICON 用には FICON Accelerator、FICON CUP などが用意されています。またオープン・システムにおいては FCIP ベースの FastWrite やテープ・パイプライニングの機能を使うことができます。バーチャル・ファブリックを使ってそれぞれの論理スイッチ(LS: Logical Switch)にポートを分離することができます。FICON トラフィックのための論理スイッチと FC トラフィックのための論理スイッチをそれぞれ別々の仕様にセットすることができます。それぞれの論理スイッチに分離される VE ポートのサーキットは、同じ Ethernet インターフェイスを共有することができます。これは 10 個の GbE インターフェイスや 40GbE のインターフェイスをトランクとして異なるバーチャル・ファブリックの論理スイッチから利用できるという点で非常に重要な機能のひとつです。また Virtual LAN(VLAN)タギングを使って、各データセンターの LAN スイッチに接続される様々な Ethernet リンクを解析することができます。多用性環境に必要なすべての機能が Brocade エクステンションには備わっています。構成の簡素化 Brocade エクステンションの構成は、他のソリューションと比較して非常にシンプルです。いくつかのストレージ・アレイの構成変更などにおいては、専門のエンジニアに作業を委 16 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 託しなくてはならないのに対し、Brocade エクステンションは多くのユーザが自分自身で構成作業を行っています。 Brocade エクステンションの構成を行うには二通りあります。ひとつはコマンド・ライン・インターフェイス(CLI)を使う方法、もうひとつは Brocade Network Advisor を使う方法です。Brocade Network Advisor は GUI インターフェイスを持つ構成ツールで、GUI を好むユーザ向きのものです。構成セッティングの例を以下に示します。まず Ethernet インターフェイスを 10GbE(10Gbps SFP+が必要です)にセットするものです。IPsec ポリシーも作成します。一つのトランクを構成し VE ポート 24 番を定義します。トランクにはふたつのサーキットがあります。ふたつのサーキットのためにふたつの論理 IP インターフェイス(ipif)を作成します。(192.168.0.2 と 192.168.0.3) そして 10GbE インターフェイスの 0 と 1(GE0 と GE1) を使用します。ふたつの IP ルートをローカル・ルータ・ゲートウェイ(192.168.0.1)に作ります。リモート・サイトのサブネットは 192.168.1.0/24 です。この UP ネットワークの MTU は 9216 バイトのジャンボ・フレームをサポートします。Brocade 7840 には二つのデータ・プロセッサ(DP0 と DP1)があります。このトランクは DP0 を使います。サーキットを最低帯域(-b)5Gbps と最大大域(-B)10Gbps で作成します。(Kbps で指定) 最初のサーキット(0 番でアサインされるもので CLI コマンドに記載不要)はトンネルを作成する時点で自動的に作られます。二番目のサーキット(1 番でアサインされるもので CLI で記述が必要)を続いて追加することでトランク化されたトンネルが作られます。もちろんその他の多くの機能を様々な構成に付け加えることができます。VLAN や QoS などの機能追加も下記に示す例と同様に簡単に行うことができます。以下は Brocade 7840 に二つのサーキットによるトランクを構成する例です。 portcfgge ge0 --set -speed 10G portcfgge ge1 --set -speed 10G portcfg ipsec-policy pol1 create –k “think up some pre shared key for both sides” portcfg ipif ge0.dp0 create 192.168.0.2/24 netmask 255.255.255.0 mtu 9216 portcfg iproute ge0.dp0 create 192.168.1.2 netmask 255.255.255.255 192.168.0.1 portcfg ipif ge1.dp0 create 192.168.0.3/24 netmask 255.255.255.0 mtu 9216 portcfg iproute ge1.dp0 create 192.168.1.3 netmask 255.255.255.255 192.168.0.1 17 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF portcfg fciptunnel 24 create --local-ip 192.168.0.2 --remote-ip 192.168.1.2 -b 5000000 -B 10000000 -c –fast-def -i enable pol1 portcfg fcipcircuit 24 create 1 --local-ip 192.168.0.3 -–remote-ip 192.168.1.3 -b 5000000 -B 10000000 リモート側でこれと同じ作業を行いトランクを作成します。このように Brocade エクステンションの設定は非常にシンプルです。これまで説明してきた高度な機能(ARL、圧縮、IPsec、 Extension Trunking、ジャンボ・フレームなど)の設定も同様にシンプルです。 IP ネットワーク自身、IP ネットワーク部門が提供する SLA(Service Level Agreement)は Brocade エクステンションの場合、ストレージ・アレイに付随する IP レプリケーションほど厳格さを要求しません。貧弱な IP ネットワークをつかってもある程度堅牢なトラフィックを実現できるため、実際 Brocade エクステンションにおける IP ネットワークの SLA は若干低くても大丈夫です。 Brocade はインフラ計画、ネットワーク設計、機器調達・導入、受け入れテストを支援するためのエンジニアリング・サービスと IP ネットワーク機器を提供しています。Brocade Network Advisor はストレージ管理者が Brocade のストレージ・ネットワークと IP ネットワークの両方を含むインフラのエンド・トゥ・エンドでの管理を可能とする統合管理ツールです。セキュリティ IPSEC データセンターの外に出ていくいかなるデータも暗号化を使って保護する必要があります。暗号化は公共のインターネットだけに当てはまるものではありません。プライベート WAN もデータセンターの外は安全ではありません。セキュリティのかかっていないデータがデータセンターから出ていくことは、企業にとってデータ漏洩や信用失墜の可能性を意味しています。Brocade は Brocade エクステンション・スイッチ間接続において転送されるデータに暗号化を行うためにハードウェア・ベースの IPsec 機能を取り入れました。Brocade は数マイクロ秒(μs)の遅延しか発生しないラインレートでの IPsec を可能とし、同期アプリケーションにとって使い易いものとしました。Brocade の IPsec は AES-GCM-256、 Diffie-Hellman 2048-bit Modular Exponential(MODP)、Internet Key Exchange version2(IKEv2)、Hashed Message Authentication Mode Secure Hash Algorithm 18 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 512(HMAC-SHA2-512)、Transport Mode を使い、停止することなく数時間ごとにキーの付け替えを行っています。Pre-Shared Key(PSK)は両サイドでトンネル毎に構成されます。エクステンションのために Brocade の IPsec を使うことは重要なことです。Brocade IPsec はあらゆるタイプの攻撃を防ぎます。Brocade の IPsec を使うには追加のライセンスもコストも必要なく、設定も簡単です。IPsec と Extension Trunking を組み合わせることで、すべてのトランク・メンバー・サーキットをまたがって暗号化されたストレージ・フローの負荷分散を行うことを可能とします。ひとつのトランクで最大 20Gbps をサポートし、Brocade 7840 筐体としては、この二つのトランクをサポートします。これは一筐体で非常に大きな負荷分散可能な暗号化データ帯域(40Gbps)を持てるということです。Brocade のエクステンションを使うことでコストを追加することなく、IPsec による安全性を得ることができます。 BROCADE FOS のセキュリティ機能 Brocade FOS は RBAC などの多くのセキュリティ機能を提供します。これらの機能については本書では説明しませんが、FOS にはこれらの機能があることをご承知おきください。 HIGH AVAILABILITY 高い可用性を持つ RDR やテープのためのネットワークを構築する多くの機能があります。可用性はネットワークのリダンダンシやコンポーネントの多重化、フェイルオーバー/フェイルバック機能、ファームウェアのアップデート中の継続運用、帯域幅の確保によって強化されます。エクステンション HCL(HOT CODE LOAD) エクステンション HCL(Hot Code Load)は Brocade 7840 のみが持つ優れた機能の一つです。トンネルを停止することなくファームウェアのアップデートを行うことができます。ファームウェアのアップデートには多くの時間がかかり多くのエクステンション接続がダウンするという懸念があります。数年前までは WAN 帯域はそれほど大きくもなく、ファームウェアのアップグレードの最中に接続性を維持することは、それほど重要ではありませんでした。停止することによって処理されないデータ量は気になるほど大きくなかったからです。しかし今日においては 10Gbps の接続を使った場合、ファームウェアのアップグレード中に処理されないデータ量の合計は 0.5 テラバイト単位のものとなり無視できない量となります。RPO のポリシーを満たしストレージ管理者に負担をあたえない目的のために、 19 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 多くの企業において無停止運用が求められています。Brocade 7840 はファームウェア・アップグレード時にエクステンション接続を維持することが可能な唯一の製品です。 Brocade が提供するエクステンション HCL はデータ損失がなく、また常にデータ配信順序も維持します。エクステンション HCL をメインフレーム環境で使うことで IFCC を起こすことなくファームウェア・アップグレードを行うことができることは、この優れた機能の証明でもあります。 EXTENSION TRUNKING Brocade が提供する Extension Trunking を使うことで、それぞれのストレージ I/O は全ての WAN 帯域(トンネルを構成するすべてのサーキット)へアクセスすることができます。エクステンション・トンネルとは VE ポートで定義されるもので、このトンネルの最大大域は Brocade 7840 エクステンション・スイッチの場合 20Gbps、Brocade FX8-24 エクステンション・ブレードの場合 10Gbps、Brocade 7800 エクステンション・スイッチの場合 6Gbps となっています。トンネルに複数のサーキットを持たせることで高可用性を可能とします。Extension Trunking はデータをすべてのサーキットに分散させます。そしてこれらのサーキットは様々な経路や様々なサービス・プロバイダーに分散することができます。すべてのサーキットが同じバンド幅であることや同じ遅延である必要はありません。負荷分散は Deficit Weighted Round Robin(DWRR)方式によっておこなわれます。これはフェイルオーバー・フェイスバック可能でデータ損失やデータ不一致を起こさない負荷分散方式です。この機能はメインフレーム環境において不可欠なものであるだけでなく、オープン・システム RDR においてもまた、より永続的な環境をつくることができます。もしひとつの IP パスがある理由 (サービス・プロバイダーであったり、ローカルやリモート・サイトの問題であったり、スイッチやルータ、光モジュールやケーブル等の問題であったりして) でダウンし、そしてサーキットが異なるサービス・プロバイダーやルータ、スイッチ、経路に分散されていて、ひとつのパスだけが生き残っていれば、停止状態となりません。ARL を使うことで残った経路をもとにバンド幅が最適化するように再調整することもできます。Extension Trunking はデータ損失もなく、上位レイヤープロトコルへのデータの順次保証も行います。ストレージ・アプリケーションはタイムアウトすることもなく、エラー・リカバリを行うこともありません。 20 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF ARL (ADAPTIVE RATE LIMITING) ネットワークのどこでレーリミティングが起こるかは重要なことです。それはストレージ・フローが集約された後であり、IP ネットワークの前になります。Brocade エクステンションはできるだけ WAN に近く接続するべきです。そうすることですべてのデータ・フローの集合をセキュリティと QoS の恩恵を受けながら全体的管理することができます。ストレージ・アレイが提供する”自動調整”のレート・リミティングは自分自身の調整を行うだけです。2 台以上のストレージ・アレイがある場合、自動調整のレート・リミティングは意味をなしません。更にストレージ・アレイの自動調整のレート・リミティングは WAN 内で発生したアカウントの変化を知ることができません。例えばメインのパスである OC-192(10Gbps)がオフラインとなり、ストレージ・アプリケーション以外と共有するバックアップ用の 2 つの OC-48 を (5Gbps)使う場合、性能の低下を考えなければなりません。ストレージ・アレイの自動調整のレート・リミティングはこの性能低下状態を打開る手段はありません。端的に言えばバンド幅が半分になった状態で回避不可能な混雑を管理するために、ストレージ付随のレプリケーション IP ポートは TCP フロー制御を使うしかありません。TCP はこのような状況で効果的なフロー制御管理を行うことはできず、結果としてストレージのスループットは貧弱となり、実際に縮退したバンド幅にも至らない性能しか出すことができません。 Brocade の ARL はそのようなことはありません。ARL は FC デバイスの入力や WAN のパスに関係なく、IP ネットワークを介してレプリケーションを行っているすべてのサーキットのレート・リミティング調整を自動で行います。ARL は Brocade エクステンション・サーキットがオンライン/オフラインになったり、使用可能な IP バンド幅が変更されたりすると自動的にレート・リミティング調整を行います。ARL は同じ WAN インフラを使用するすべての Brocade エクステンション製品にまたがって動作します。ストレージ・アプリケーション以外と WAN 接続を共有することはよくあることです。ARL は他の IP ストレージやストレージ・アプリケーション以外と WAN を共有する状態で動作するように設計されています。ストレージ・アレイの自動調整のレート・リミティングはこのような状態で設計されていません。Brocade 7840 は、バンド幅が縮退している状態において低いプライオリティのデバイスを犠牲にし高いプライオリティのアプリーションのバンド幅を維持するように設定することができます。ARL はそれぞれのサーキット毎にレート・リミット調整を動的に行います。そして絶えず変化する WAN 環境の中で 21 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF WO-TCP(WAN 最適化 TCP)の効果を引き出します。先に示した例ではバンド幅が半分となった WAN サービスにおいて Brocade ARL は WO-TCP(WAN 最適化 TCP)とともに無停止運用を維持しつつ使用可能なバンド幅を最大に利用します。 ARL は最適化運用を考える上でもっとも重要な機能です。ストレージ付随のレプリケーション IP ポートの自動調整レート・リミティングは WAN バンド幅の変化に効果的に対応することができず、大きすぎるレートや小さすぎるレートによって非最適化性能の原因となります。絶えず変動するワークロードは個々のストレージ・アレイを調整することが非現実的であることを考えなければなりません。さらに LUN/ボリュームをストレージ・アレイの自動調整のレート・リミティングによって是正するように再配置することは実質的に不可能です。個々のストレージ付随のレプリケーション IP ポート用に独立した WAN 帯域を使うことは不均衡を生み出します。唯一の解決法はストレージ・アレイに Brocade ARL を使うことです。メトリックと DF ビットすべての WAN 接続が均等にプロビジョニングされるわけではなく、またそれはサービス・プロバイダーであったり、中間に入るデバイスであったり、様々な接続におけるコストに依存するものでしょう。これはバックアップ・サーキットを主サーキットとは異なる設定をしなければならないことを意味します。2 つの WAN 接続がある例を考えてみましょう。主接続は 9216 バイト(MTU=216)のジャンボ・フレームをサポートします。もう一つはさぼど高価ではない 2 つ目の接続でジャンボ・フレームをサポートしないものとします。 (MTU=1500) これに対処するにはふたつの方法があります。最初に説明する例は Brocade のとる方法ではありません。FCIP データグラムに DF ビット(フラグメントをさせないためのビット)をセットしないというものです。DF ビットをセットしないということは、これらのパケットをフラグメントすることを許すということです。もし IP データグラムがネットワークがサポートする MTU を超えた場合、サポートされている MTU に合わせるためにルータがデータグラムをフラグメントします。フラグメンテーションはリソースを大きく消費するオペレーションであり、ルータのハードウェアでは行えません。データグラムが宛先のデバイスに到着するとソフトウェアによってそれは実行されます。受信側はこれらのフラグメントされたものを再構築しようと努め、それには時間とプロセッサ・リソースを必要とします。一般的に言われているのは IP フラグメンテーションは非常に効率の悪いプロセスであ 22 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF り、高速データ転送には向かないということです。幸いにもこの状況を打破する良い方法があります。 Brocade がとっている方法は次のようなものです。DF ビットを FCIP データグラムにセットします。DF ビットをセットするというのは設定で行うわけではなく、Brocade の FCIP データグラムには最適化オペレーションのために常に DF ビットがセットされています。簡単に言えばサーキットの設定が正しくなければデータグラムがネットワークに流れないということです。大きなサイズのデータグラムはフラグメントされず、ドロップされます。具体的な例で説明しますと、同じフェイルオーバー・グループに二つのサーキットを違うメトリックで構成します。メインのサーキットはメトリック 0 とし、MTU は 9216 バイトで設定します。バックアップのサーキットはメトリックを 1 とし、MUT を 1500 バイトとします。メインのサーキット側の WAN に障害がおき、バックアップのサーキットに切り替わった場合、ジャンボ・フレームはスタンダード・フレームとなります。(9216→1500 バイト) メイン・サーキット(メトリック 0)がキープ・アライブ・タイムアウト(KATOV:ディフォルトで 1 秒)によってダウンし FCIP データグラムがこのサーキットに流れなくなると、この時点で IP ネットワークは代わりに立ち上がったバックアップ・サーキット(メトリック 1)に収束されます。DR アプリケーションがタイムアウトする前にバックアップ・サーキットが立ち上がり、データは損失なくバックアップ・サーキットを使って転送を再開します。 Brocade 7840 は自動的で迅速に、かつ繰り返しダウンしたサーキットに代わってバックアップ・サーキットを立ち上げようとします。主回線がオンラインに復帰するとメトリック 0 のメイン・サーキットが立ち上がろうとし、成功するとオンラインに復帰します。メトリック 0 のサーキットがオンラインに復帰すると、同じフェイルオーバー・グループのメトリック 1 のサーキットがオフラインになります。メトリック 0 からメトリック 1 へ、またはメトリック 1 からメトリック 0 への移行は Brocade LLL によってロスレス・プロセスとして行われます。 Brocade 7840 は違う MTU パス間での経路変更を、トラフィックを停止することなく、またフレーム損失やフレームの順次違いを起こすことなく行うことができます。ここに示した例では IP ネットワークのオペレーションが縮退している間はストレージは最適ではない MTU のパスを使用することになります。しかしオペレーションはオンラインを維持し転送中のデータを落とすこともありません。縮退した IP ネットワーク・オペレーションにおい 23 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF ても効率は悪いですが IP フラグメンテーションの必要はありません。ただし通常の IP ネットワーク・オペレーションにおいて非効率にサポートされている MTU パケット・サイズよりも小さいサイズにする必要もありません。メインとバックアップの両サーキットを用意することはもっとも効果があります。図 3. Brocade による異なる MTU パス間での経路変更信頼性 (RELIABILITY)/可用性 (AVAILABILITY)/保守性 (SERVICEABILITY) [RAS] Brocade 7840 は無停止運用を成し遂げるために全体のシステムの中で他の機器とともに動作するコンポーネントの一つです。Brocade 7840 は問題の早期解決や、障害や縮退の根本原因の特定を容易におこなうことができる特徴を持っています。 Brocade Fabric Vision テクノロジーが Brocade エクステンション製品で使われえおり、稼働時間を最大限にしたり、管理を簡素化したり、これまでにない洞察力や可視化能力をストレージ・ネットワークにまたがって提供します。さらに製品に組み込まれたパワフルな監視、管理、診断ツールは、プロアクティブに情報を収集することで可用性を高め、劇的なコスト削減を実現します。 MONITORING AND ALERTING POLICY SUITE (MAPS) Brocade のお客様から「どうやったら問題解決を迅速に効率よく行うことができるのだろう？」という質問をいただきます。OEM のサポートチームは問題が深刻化する前に、そしてリモート・データ複製(RDR)アプリケーションが止まってしまう前に問題を解決することで苦慮しています。この状態は問題がネットワークにあるのか、ストレージ側にあるのかすばやく特定できないことによって更に悪化します。お客様も OEM ベンダーも Brocade が提供する FC 接続やネットワーク・デバイスの健全性や SLA にあった IP ネットワーク能力についてプロアクティブに監視し効果的なトラブルシューティングの能力に大きな興味 24 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF を持っています。ストレージ・アレイはプロアクティブにワーニングを発したりネットワークの問題を特定するような立場にありません。ネットワークキング・システムにインテリジェンスを与えることは重要なことです。データ接続が様々なエラーに遭遇し出した時、大変な状況になるまで、適当な対応がはっきりしないことがあります。エラーと影響には大きな関係があるので、長年の実績と経験が必要になってきます。Brocade はオープン・システムとメインフレームともに 20 年以上のエクステンションの経験からオペレーショナル・エクセレンスを提供します。Brocade は Brocade FOS と Brocade Network Advisor に監視/アラート/アクション/レポートの包括的なセットを提供するために MAPS を導入しました。MAPS は高い信頼性や素早いトラブルシューティング、そしてインフラの設計を成し遂げるためのオペレーションを支援します。提供されるポリシー・ベースの閾値を使ったモニタリング/アラート・ツールは、トンネル/ サーキット/QoS の各階層を包括してストレージ・エクステンション・ネットワークの健全性をプロアクティブに監視します。管理者は特定のポートやスイッチに対して、既存もしくはカスタマイズしたルールとポリシーを使って、複数のファブリックを一度に設定することができます。 MAPS は使用効率やパケット・ロス、往復遅延、揺らぎ、トンネル/トランク/サーキット /PrePriority-TCP-QoS(PTQ)の状態変移を監視します。それぞれの PTQ(class-F, Low, Med, High)のスループット、Duplicate Ack、パケット・カウント、パケット・ロス、スロースタートを含む情報を独立して監視します。 MAPS は様々な状況でつかうことができます。一例としてはエラーを示すサーキットの防御です。MAPS はシンプルで既にセットされた閾値レベルを使って簡単に展開することができます。そして Brocade の経験を基にした応答を得ることができます。必要に応じてあらゆる要素を MAPS 内でカスタマイズすることができます。このようなタイプの構成、監視、レート、診断システムはストレージ・アレイ付随の IP レプリケーションでは持つことができません。 FLOW VISION Brocade エクステンションを使う利点がいくつかあります。大規模への拡張性は利点でもありますが、他にもあります。トンネルを通るフローの可視化は利点の一つです。すべてのフローが同等に作られるわけではなく、Brocade で管理されるトンネルは管理者にそれぞれ 25 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF のアプリケーション可視化を可能にします。SLA にあっているかをストレージ管理者はネットワークとフローの振る舞いを監視することで確認しますが、それぞれの発端となるデバイスとポートから管理するとなると、それは非常に難しいことです。ネットワーク・フローのトラブルシューティングは時として難しく、気が重い作業です。ストレージ管理者は IP ネットワークに疎く、IP ネットワーク管理者はストレージに疎いため問題をより悪化してしまうことがあります。これらの間には非常に異なる文化と異なる運用ガイドラインがあります。フローや TCP やサーキットやトンネルを構成するレプリケーション環境を維持するために、ストレージ管理者が単にネットワーク管理者頼ることは難しいことであり、監視や可視化を考えることがさらに重要となってきます。ストレージのフローのトラブルシューティングを行う時、その原因が被害者であるか、それとも加害者であるかを想像してみてください。もしネットワークに何か問題があればすべてのフローは被害者となりますが、ネットワークに何の問題もないとすれば、フローの失敗は加害者となります。加害者となるフローは過度のリソースを使い、他のフローの失敗(犠牲者)を導きます。これはストレージから IP ネットワークへの流れにおいてしばしば起こります。Brocade エクステンションはストレージの SLA に対処するための機能とツールを提供します。加害者となるフローがある中で Brocade のエクステンション・トンネルによって保護されたフローは彼らの SLA に合致します。ストレージ・アレイに付随する IP ポートからのフローは、確固たる技術がないため克服しがたい状況になることがあるでしょう。 Flow Vision は管理者がトラブルシューティングを簡素化したり、パフォーマンスを最大限化したり、混雑を解消したり、リソースを最適化したりするために特定のアプリケーション・フローの特定、監視、解析を可能とします。Brocade 7840 はエクステンション・ネットワークを介してやり取りされる F ポート間の End-to-End の特定の LUN フローを監視することができます。また E ポートからのフローも監視することができます。これらの機能を総称して Flow Vision と呼び、これは Brocade FOS および Gen5 ASIC の一要素として提供されます。LUN レベルの精度で秒単位の I/O オペレーション(IOPS)とデータ・レートを監視することができます。Flow Vision には以下の機能が含まれます。・ Flow Monitor: 自動フロー学習、無停止型のフロー性能監視を含むストレージ・エクステンション・ネットワークを介するフローの包括的な可視化を提供します。管理者 26 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF は特定のストレージ・デバイスからのすべてのフロー(対向のストレージ・デバイスも悪しくは LUN に対する書き込みや読み込み、もしくはストレージ・エクステンション・ネットワーク越しのフロー)を監視することができます。それに加え、アプリケーション性能に影響するリソース状態を特定するために特定のフレーム・タイプの LUN レベル監視を行うこともできます。・ Flow Generator: これはアプリケーションを展開する前に、経路確認、QoS zone 設定、 Extension Trunking 構成、WAN アクセス、IPsec ポリシー設定、そして光モジュール/ ケーブル/ポートの確認を含む間違いのないストレージ・エクステンション・インフラの確認と事前検証のための組み込み型のトラフィック・ジェネレータです。 Brocade Fabric Vison テクノロジーの詳細については、下記サイトをご参照ください。 http://www.brocade.com/solutions-technology/technology/san-fabric-technology/fabric-visio n.page 図 4 を参照ください。Brocade エクステンションは全てのネットワークの構築ニーズにマッチします。・インターフェイス速度はいくつですか？ 40GbE, 10GbE, GbE 接続があります。・パスの MTU はいくつですか？ Brocade PMTU が使えます。・主回線のパスとバックアップのバスはどうなっていますか？ IP パスが切り替わるときパケットの損失はありません。・ QoS は必要ですか？ PTQ がそれぞれ独立した TCP セッションに各優先度をアサインします。・ Ethernet ベースの QoS は必要ですか？ 802.1P Layer 2(L2)Class of Service(CoS)が使えます。・ IP ベースの QoS は必要ですか？ DSCP が使えます。・全二重およびポーズ・フレームを決定する必要がありますか？ GbE オートネゴの有効・無効を指定できます。・ひとつの物理的接続において異なる VLAN を介する複数のサーキットをサポートすることはできますか？ 802.1Q VLAN タギングが使えます。・ Network Address Translation(NAT)は必要ですか？内部 vs.外部デバイスをアサインします。 27 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 図 4. IP ネットワーク内への Brocade エクステンションの構築検証ツール Brocade エクステンションは IP ネットワークの検証とトラブルシューティングのための様々なツールを提供します。 WAN TOOL WAN tool は Brocade 7840 に提供され複数の IP ネットワークパスに対して正確なテストを行います。WAN tool はサーキットに対し特定のレートでトラフィックを生成します。達成したスループット、ふらつき、経験遅延、混雑、パケット損失、ネットワーク再オーダーについて報告をします。WAN tool はサーキットが持つ PMTU、VLAN タギング、IPv4/IPv6、ジャンボ・フレームなどの特徴をサポートします。WAN tool の一番の目的はサーキットを展開する前に IP ネットワークを検証することです。またサーキットの信頼性を確認するための診断ツールとしても使い易いものとなっています。 WAN tool はエクステンション・トラフィックをエミュレーションすることで、IP ネットワークからそれがどのように見えるかをテスト結果をもって知ることができます。WAN tool をバックグラウンドで走らせることで、最大８つのセッション(DP 毎に 4 セッション)を同時に走らせてテストすることができます。それぞれのテスト・セッションはひとつのサーキットと同様です。同時に行えるテストは 8 サーキットかふたつのフルサイズのトランクされたトンネルとなります。これらは混雑や順次配信やパケット損失の検出を容易にする UDP に似たシミュレーションです。しかし WAN tool はサーキットと同様に TCP を走らせます。したがって IP ネットワーク・セキュリティ・メカニズムはテストを妨げることもありませんし、また IP ネットワーク・セキュリティ装置のテストにもなります。 28 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF PING と TRACE ROUTE Brocade エクステンションは IP ネットワーキング・ツールとして良く知られる ping と trace route の両方をサポートします。Ping は IP データグラムが宛先に間違いなく届きその返りがあるかどうかを確認するのに使う Internet Control Message Protocol(ICMP) echo です。これは通常 end-to-end 接続の検証を行うための最初のツールです。 Trace Route は ping に似ていますが、IP データグラム上の TTL(time to live)が開始値 1 から繰り返し毎に 1 つずつ増加することが違っています。ルータが TTL の値が 1 のデータグラムを受信するとデータグラムを破棄し ICMP メッセージを送り出し元に返し破棄したことを示します。このメッセージには破棄したルータの IP アドレスが含まれ、それによって破棄された経路を示します。痕跡経路を示すためトラブルシューティングに大変便利なツールです。 BROCADE FOS RAS 機能 Brocade FOS は RASlog などの多くの RAS 機能を提供します。これらの機能について本書では説明をおこないませんが、これらの機能があることをご承知おきください。 IP ネットワーク構築ストレージ・アレイ付随の IP レプリケーションは、再送、エラー・リカバリ、順次配信、バンド幅の統合(コントローラ・ポートの追加が必要)を提供します。ストレージ・アレイのポートの価格は高価であり、Brocade エクステンションのポートの価格と比べると一桁ほども違います。多くのポートをレプリケーションに割り当てることは、高いデータ・レートの需要とインフラの拡大を満たすことができますが、高価となることを考えねばなりません。 IP ネットワークはデータグラムの順番を保証するものではありません。ストレージ・アレイ付随の IP レプリケーションは、順次が保証できないパケットをどう処理するのでしょう？ほとんど対処できないのが現実です。Brocade エクステンションを使ったストレージ・アレイの FC レプリケーションではこの問題を簡単に対処できます。Brocade はこの技術的ギャップを明確に埋めることができます。 29 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF インターフェイスどれだけのスピードのインターフェイスが必要でしょうか？Brocade 7840 は 16 個の 1GbE/10GbE と 2 個の 40GbE と 24 個の 16Gbps の FC ポートを備えています。二つの 40GbE インターフェイスを使って複数の 10Gbps サーキットを走らせることもできます。ポートと光モジュールのリダンダンシは複数の Ethernet インターフェイスをまたぐ 20Gbps の VE ポートで実現することができます。すでにデータセンターに敷設されている利用可能なインターフェイスに応じて、最適なスピードとインターフェイスの数を Brocade 7840 で選択することができます。 PERPRIORITY-TCP-QOS (PTQ) QoS をどこに適応するかが問題です。もっとも有効な QoS の設定場所は別のストレージ・アプリケーションが WAN に送り込まれる前の時点です。多くの場合 IP ネットワークには QoS は設定されていませんし、少なくともストレージ・アプリケーション用に QoS が設定されていることはありません。したがって少なくともストレージ管理者がつけた優先順位に基づいて IP ネットワークに順次配信されることが重要となってきます。Brocade エクステンションはデータ転送のエンドポイント(送り出し/受け入れの TCP のポイント)に位置します。これらのエンドポイントは QoS のマーク付をするデータにとって最も効果的な場所であり、様々なアプリケーションに適用されます。メインであれバックアップであれ特定のサーキットへの適切な QoS マーキングの関連付は、ここで簡単に行えます。Brocade はそれぞれの優先度が自立した WO-TCP セッションを持つ PTQ という機能を備えています。もし QoS を IP ネットワーク内に設置したいのであれば、IP ネットワーク管理者と居力して 802.1P/DSCO の QoS 値を展開することができます。Brocade エクステンションを使うことで QoS を簡単かつ自動で行うことができます。 Brocade PTQ はそれぞれのサーキット内にそれぞれの QoS 優先度をアサインし、それらは独自の自立した TCP セッションを持ちます。それに加えそれぞれのサーキット内のそれぞれの優先度は必要があれば 802.1P(L2 Cos), DSCP(L3 DiffServ), もしくは両方を使って個別にマークすることができます。それぞれの接続が異なった QoS の特性と要件を持っているので、この強固な QoS の図式は異なるパスを横断するストレージ接続を可能とします。一つの TCP セッション内で複数の QoS 優先度を行うことは有効ではありません。同じ管理下にあるトンネルを使わない複数の TCP セッションもまた効果的ではありません。PTQ はトンネル内のすべてのサーキットメンバーのすべての WO-TCP セッションをまたいで共 30 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF 同管理します。PTQ は MAPS で監視することができます。詳細については本書の MAPS の章を参照ください。ストレージ・アレイ付随の IP レプリケーションはこのレベルの QoS 機能を提供することができません。いかなるストレージの IP ポートも異なる送信元からくるフローを制御することはできません。フェイルオーバー中に QoS マーキングを変更することは難しいか不可能です。ポーズ・フレーム (IEEE 802.3X) Brocade エクステンションは Gigabit Ethernet(GbE)インターフェイスでオートネゴシエーションをサポートします。Gigabit Ethernet のオートネゴシエーションはリンク・スピードのネゴシエーションには使われません。スピードは常に Gigabit Ethernet です。Gigabit Ethernet のオートネゴシエーションはリンク・デュプレックス(全二重もしくは半二重)とポーズ・プレー無(802.3x)のサポートの決定に使われます。ディフォルトではオートネゴシエーションは有効となっており、ポーズ・フレームの on または off と全二重のみサポートします。ほとんどのデータセンターの Ethernet スイッチがディフォルトでオートネゴシエーションが有効となっており、これらのスイッチのディフォルトではポーズ・フレームは無効となっています。いくつかの Ethernet スイッチは IEEE802.3x ポーズ・フレームをサポートしていません。実際にはネットワーク管理者が Ethernet スイッチ上でポーズ・フレームを有効にすることはほとんどありません。ポーズ・フレームは DC LAN スイッチ上で Head of Line Blocking(HoLB)を引き起こす可能性があり、Ethernet ISL ですべてのフローが点々と停止する原因となり、結果として性能を低下させます。いくつかのストレージ・アレイでは IP レプリケーション・ポートでフロー制御のためにポーズ・フレームを使ており、設定が必須となっています。残念ながら接続する DC LAN スイッチではほとんどのケースにおいてポーズ・フレームはディフォルトで無効となっています。 IP インフラを介してストレージ・フロー制御を行うもっと良い方法は Brocade の ARL を使うことです。ARL の詳細については本書の ARL の章を参照ください。これは Brocade のネットワーク構築のもう一つの例です。 ETHERNET 共有と VALN タギング(IEEE 802.1Q) Brocade エクステンションは VLAN タギング(IEEE 802.1Q)をサポートします。VLAN タギングは異なる VE ポートから一つ物理的接続を使うような場合にしばしば使われます。バー 31 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF チャル・ファブリックによるロジカル・スイッチを使うような場合、このような異なる VE ポートからの使用がよくあります。これらのトンネルは共通の Ethernet インターフェイスを共有します。なぜならインターフェイスのバンド幅は大きく(10Gbps もしくは 40Gbps) 簡単に複数のトランクに対応できるからです。とりあえずインターフェイスの数を増やすという考え方よりも、少ないインターフェイスを活用するほうが賢明です。この場合、 Ethernet 接続をデータセンターLAN スイッチ上で特定の一つの VLAN にまとめることはできません。VLAN タギングを使うことで、それぞれの VLAN の宛先は LAN スイッチが受信した時点でソートされます。Brocade 7840 から出てくるそれぞれのサーキットは IP ネットワークを介する個別のパスを確保するためにその VLAN を特定します。必要であるならば様々なトンネルの複数のサーキットは同じ大きな Ethernet インターフェイスを共有することができます。これは多くのお客様が使用する重要な構築機能のひとつです。 NETWORK ADDRESS TRANSLATION (NAT) Brocade エクステンションは OP ネットワーク上で NAT をサポートします。環境に応じた最適な構築のための具体的な機能が用意されています。 LINK AGGREGATION Link Aggregation (IEEE802.1ax LACP, LAG)は Brocade エクステンション製品ではサポートしていません。LAG の目的は Extension Trunking を使用すれことによってより効果的な手法で達成されるので、Extension Trunking を使う場合 LAG は必要ありません。Extension Trunking は Link Aggregation を達成するだけでなく、ひとつの論理的リンクを作成したり、 LLL や配信順序を保証したりといった、ほかのストレージ特有の重要な機能も持っています。 Extension Trunking は FC 側と LAN 側の両方によって構成され、ストレージ・アプリケーションにとって優れた LAG を提供することができます。LAG そのものは Extension Trunking が解決できるもののほんの一部のみを解決するだけであって、効果は Extension Trunking よりも低いものとなります。LAG はフロー・ベースであるのに対し、Extension Trunking はバッチ・ベースであり、より細かいものとなっています。リンク切断があった場合 LAG は転送中のデータに対しロスレスで対応できませんが、Extension Trunking はロスレスを保証します。(LLL) LAG を構成するすべてのリンクの構成は同じでなければなりませんが、Extension Trunking を使った場合、トランク内のサーキットには制限はなく独自に設定できます。 32 / 33 リモート・データ・レプリケーションを評価する DATA CENTER NETWORK TECHNICAL BRIEF まとめ本書では Brocade エクステンションをストレージ・アレイ付随の IP レプリケーションと比較し、同等もしくは低い TCO においていかに Brocade エクステンションに利点があるかを説明しています。これはストレージ間でのレプリケーションであれば、オープン・システム環境にもメインフレーム環境にも適応できます。Brocade の専用ハードウェアとファームウェアにはさまざまな技術革新が織り込まれています。Brocade は 20 年近いエクステンションの軽軽を持ち、革新的技術を提供してまいりました。これらの技術によって Brocade エクステンション・ソリューションはエンタープライズ・クラスの品質を証明し、性能、信頼性、可用性、セキュリティ、拡張性、運用管理において実証されています。豊富な機能と検証ツールを使うことで様々な IP ネットワークへの構築が可能です。Brocade Fabric Vision テクノロジーとともに提供される包括的な管理プラットフォームはストレージ・ネットワークに対して前例のない洞察力と可視化性を提供します。機器に実装されたパワフルな管理、監視、診断ツールを使って簡素化された監視を可能とし、可用性を増加させ、劇的なコスト削減を実現します。このような優れた管理機能を提供できるのは Brocade しかありません。結論としてストレージ間の RDR の本来の目的を満たす最高の手段として、そして優れたソリューション価値を実現するためには Brocade のエクステンションが必要ということです。 © 2014 Brocade Communications Systems, Inc. All Rights Reserved. 09/14 GA-TB-501-00 ADX, Brocade, Brocade Assurance, the B-wing symbol, DCX, Fabric OS, HyperEdge, ICX, MLX, MyBrocade, OpenScript, VCS, VDX, and Vyatta are registered trademarks, and The Effortless Network and The On-Demand Data Center are trademarks of Brocade Communications Systems, Inc., in the United States and/or in other countries. Other brands, products, or service names mentioned may be trademarks of others. Notice: This document is for informational purposes only and does not set forth any warranty, expressed or implied, concerning any equipment, equipment feature, or service offered or to be offered by Brocade. Brocade reserves the right to make changes to this document at any time, without notice, and assumes no responsibility for its use. This informational document describes features that may not be currently available. Contact a Brocade sales office for information on feature and product availability. Export of technical data contained in this document may require an export license from the United States government. 33 / 33 リモート・データ・レプリケーションを評価する