IBM Power Systems インターネット・セミナー Power ナイト・スクール 第9回 VIOS ベスト・プラクティス ～Virtual I/O Server がさらにわかる設計・構築ノウハウ集～ 2013/12/10 Power Systems テクニカル・セールス rev 1.2 © 2013 IBM Corporation •© IBM Corporation 2013. All Rights Reserved. •ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供 の目的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むもので もありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にか かわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じ た場合も、IBMは責任を負わないものとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証 または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、ま たそのような結果を生むものでもありません。 •本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示 するものではありません。本講演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をも っていつでも変更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。本講 演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示するこ とを意図したものでも、またそのような結果を生むものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用し た測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミン グの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユ ーザーがここで述べられているものと同様の結果を得られると確約するものではありません。 •記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示され たものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。 •IBM、IBM ロゴ、ibm.com、[当該情報に関連し商標リスト中に掲載されたＩＢＭブランド、製品名称があれば追加する]は、世界の多くの国で登録された International Business Machines Corporationの商標です。 •他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。 •現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 •Adobe, Adobeロゴ, PostScript, PostScriptロゴは、Adobe Systems Incorporatedの米国およびその他の国における登録商標または商標です。 •IT Infrastructure Libraryは英国Office of Government Commerceの一部であるthe Central Computer and Telecommunications Agencyの登録商 標です。 •インテル, Intel, Intelロゴ, Intel Inside, Intel Insideロゴ, Intel Centrino, Intel Centrinoロゴ, Celeron, Intel Xeon, Intel SpeedStep, Itanium, および Pentium は Intel Corporationまたは子会社の米国およびその他の国における商標または登録商標です。 •Linuxは、Linus Torvaldsの米国およびその他の国における登録商標です。 •Microsoft, Windows, Windows NT および Windowsロゴは Microsoft Corporationの米国およびその他の国における商標です。 •ITILは英国The Minister for the Cabinet Officeの登録商標および共同体登録商標であって、米国特許商標庁にて登録されています。 •UNIXはThe Open Groupの米国およびその他の国における登録商標です。 •Cell Broadband Engineは、Sony Computer Entertainment, Inc.の米国およびその他の国における商標であり、同社の許諾を受けて使用しています。 •JavaおよびすべてのJava関連の商標およびロゴは Oracleやその関連会社の米国およびその他の国における商標または登録商標です。 •Linear Tape-Open, LTO, LTOロゴ, UltriumおよびUltriumロゴは、HP, IBM Corp.およびQuantumの米国およびその他の国における商標です。 3 IBM Power Systems 更新履歴 4 – 2013年 12月 06日 初版 (rev. 1.0) 発行 – 2013年 12月 24日 修正 (rev. 1.1) – 2014年 1月 29日 不要文字削除 (rev. 1.2) © 2013 IBM Corporation IBM Power Systems 本日のナイトスクールの目的と内容 目的 – 当コースでは、VIOSを構成するに当たって、冗長構成のポイントや、パフォーマン スデータに基づいたサイジング等、実践的なスキルを身に付けて頂きます。 内容 – 提案時の統合方針の作成や構成設計に苦慮した経験をお持ちの方、あるいは以 下のような方に、特にお勧めのコースです。 • 『PowerVMで統合化を検討する際、VIOSをどう設計していいのか分からない』 • 『VIOSでIOを統合化した際、信頼性を高める工夫を知りたい』 • 『VIOSのサイジングはどうすればいいのだろう？』 – このコースは、Powerビジネスに携わる初心者の技術者を主な対象としています。 – コース受講後は、Powerシステムのデザインや、運用手順の検討などにもご活用い ただくことを目標としています。 5 © 2013 IBM Corporation IBM Power Systems 本日の内容 VIOS ベスト･プラクティス １．VIOS概要 • VIOSとは？ • VIOS冗長化による信頼性向上 ２．VIOSパフォーマンス • Virtual Ether • Virtual SCSI • VIOS 構築事例紹介 ３．PowerVM I/O 仮想化環境構築デモ 6 © 2013 IBM Corporation IBM Power Systems VIOS概要 7 © 2013 IBM Corporation IBM Power Systems Virtual I/O Server (VIOS) 8 © 2013 IBM Corporation IBM Power Systems Virtual I/O Server 概要 – Virtual I/O を実行するための専用オペレーティング・システム – AIX をベースとしてカスタマイズされた OS イメージ • VIOS 2.x は AIX 6.1 ベース – 作成した LPAR に VIOS を導入して使用 • AIX / Linux 区画と同様にシステム・リソース (CPU, メモリー, I/O アダプター) を割り当て プロセッサーの割り当ては Shared / Dedicated のいずれも選択可能 VIOS 導入用ディスク(rootvg) が必要 – SEA / Virtual SCSI / Virtual FibreChannel (NPIV) を使用する場合に必須 物理 ネットワーク a5 a4 物理ディスク a3 物理ディスク a2 物理ディスク a1 物理ディスク 物理ディスク Power System サーバー イーサネット アダプター VIOS rootvg ファイバー アダプター ファイバー アダプター 仮想 Fibre 仮想 SCSI 仮想 Ether LPAR #01 LPAR #02 LPAR #03 AIX V6.1 Linux AIX V7.1 仮想 仮想 仮想 Fibre SCSI Ether 仮想 仮想 仮想 Fibre SCSI Ether 仮想 仮想 仮想 Fibre SCSI Ether 仮想Ether 仮想 SCSI 仮想 Fibre POWER Hypervisor 9 © 2013 IBM Corporation IBM Power Systems ネットワークの仮想化 10 © 2013 IBM Corporation IBM Power Systems Virtual Ethernet 11 © 2013 IBM Corporation IBM Power Systems Virtual Ethernet (1) 概要 – 仮想的なイーサネット・インターフェース – 仮想イーサネットの作成は HMC (または IVM )から実施 – LPAR に導入された OS は仮想イーサネット・アダプターとして認識 – 実際は POWER Hypervisor を通じたメモリー間のデータ・コピー • パーティション間の高速通信が可能 (Gigabit を超える通信も可能) – VIOS は前提ではないが、筐体外部との通信は Virtual Ethernet だけでは不可 – 外部との通信をする場合には以下のいずれを行う必要がある • SEA (後述) を構成する • 同一筐体内の LPAR の一つをルーターとして構成する 12 © 2013 IBM Corporation IBM Power Systems Virtual Ethernet (2) * VE : Virtual Ethernet Power Systems LPAR1 192.168.1.1 192.168.2.1 LPAR2 192.168.1.2 192.168.3.2 LPAR3 LPAR4 192.168.2.3 192.168.3.4 VE VE VE VE VE VE 1 2 1 3 2 3 POWER Hypervisor Virtual Switch 設定した VLAN ID 13 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter 14 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter (SEA) (1) 概要 – Virtual Ethernet と筐体外部のネットワークを結びつけるブリッジの役割 – VIOS に割り当てられた、物理イーサネットと Virtual Ethernet を利用して、SEA を 構成 – Virtual Ethernet から外部ネットワークに L2 レベルでの通信が可能 • 筐体外部のノードも各 Virtual Ethernet の MAC アドレスを認識 15 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter (SEA) (2) ※ VE : Virtual Ethernet ※ PE : Physical Ethernet Power Systems Virtual I/O Server LPAR1 LPAR2 LPAR3 SEA PE VE VE VE VE Node1 1 1 Virtual Switch 1 2 PE POWER Hypervisor External Switch 16 © 2013 IBM Corporation IBM Power Systems ディスクの仮想化 17 © 2013 IBM Corporation IBM Power Systems Virtual SCSI 18 © 2013 IBM Corporation IBM Power Systems Virtual SCSI 概要 – 物理的に VIOS に割り当てた FC また SCSI アダプターを通じて、VIOS 上の ディスク装置を VIOC に仮想的に割り当てる技術 – 物理ボリューム・LUN (PV)、あるいは論理ボリューム (LV) 単位でのディスク領域 の割り当て • いずれの場合も VIOC からは PV (hdisk) として認識 • LUN を認識するためのデバイス・ドライバー (SDDPCM など) は VIOS に導入し、VIOC に導入する必要は無い – Virtual SCSI はサーバー・クライアント構成 • VIOS に Virtual SCSI Server Adapter (vhost) • VIOC に Virtual SCSI Client Adapter (vscsi) • Virtual SCSI Server Adapter (vhost) と Client Adapter (vscsi) との紐付けは HMC で 定義 • VIOS が認識するディスク(PV) もしくは LV と vhost を VIOS 上で紐付け – Virtual SCSI 経由のディスクはブートディスクとして認識可能 19 © 2013 IBM Corporation IBM Power Systems Virtual SCSI 概念図 VTD: Virtual Target Device FC : Fibre Channel Power Systems Virtual I/O Server LVM FC FC SAS 物理 ディスク SAN Switch 20 hdisk Logical Volume VTD VSCSI VTD vhost vhost LPAR1 LPAR2 hdisk hdisk vscsi vscsi LV-PV Mapping PV-PV Mapping POWER Hypervisor Physical Disks (Fibre Attached) © 2013 IBM Corporation IBM Power Systems N_Port ID Virtualization (Virtual Fibre) 21 © 2013 IBM Corporation IBM Power Systems N_Port ID Virtualization (NPIV) 概要 – NPIV の技術を用いて、物理 FC ポートを複数の LPAR で共有する機能 – N_Port ID Virtualization (NPIV) とは • 物理 FC ポートを仮想化する業界標準の手法 (ANSI T11 ファイバチャネル標準に含まれる) • 従来、1つの物理 FC ポート(N_Port) には、1つのN_Port ID が対応していたが、NPIV では N_Port と N_Port ID の対応を仮想化して、複数の N_Port ID を1つの N_Port で共用 – Power Systems での NPIV の実装 • VIOS / VIOC 上に仮想 FC アダプターを構成 • VIOS の物理 FC アダプターと仮想 FC アダプターとをマッピング • VIOC に固有の N_Port ID (WWPN) を割り当て • VIOC は物理ファイバーアダプターが割り当てられたのと同様の認識 • NPIV とVirtual SCSI(PV-PVなど) は混在可能 – NPIV 経由のディスクはブートディスクとして認識可能 – FC アダプターは 8Gbps に対応している必要がある – SAN スイッチやストレージ装置が NPIV に対応している必要がある 22 © 2013 IBM Corporation IBM Power Systems Virtual SCSI と NPIV ■ Virtual SCSI 構成 VIOS ディスク認識 物理ファイバー アダプター 他社製ディスク SAN PV 物理ファイバー アダプター PV VIOC 1:1でマッピング VTD 仮想ホスト アダプター 仮想SCSI アダプター PV 仮想ホスト アダプター 仮想SCSI アダプター PV VTD デバイスドライバー IBMディスク ■ N_Port ID Virtualization 構成 VIOS 物理ファイバー アダプター 他社製ディスク SAN IBMディスク 23 物理ファイバー アダプター VIOC パススルー 仮想ファイバー ホスト 仮想ファイバー アダプター PV 仮想ファイバー ホスト 仮想ファイバー アダプター PV デバイスドライバー © 2013 IBM Corporation IBM Power Systems VIOS における冗長構成 24 © 2013 IBM Corporation IBM Power Systems VIOS における冗長構成の必要性とメリット 冗長構成の必要性 – VIOS は I/O を集約した区画となるため、VIOS 自身が冗長構成されていない場合 、単一障害点となり、障害時にはサーバー全体に与える影響が大きい – このため、VIOS を構成する場合には、同一筐体内で VIOS を二重化することが 強く推奨 メリット – VIOS が単一障害点になることを回避するだけでなく、構成によっては I/O アダプタ ーの専有割り当てよりも、VIOC の可用性を向上することが可能 – VIOS を二重化し、各 VIOS に割り当てる物理アダプターを冗長化することにより「 VIOS の二重化」 x 「アダプターの冗長化」による一層の可用性の向上を実現 25 © 2013 IBM Corporation IBM Power Systems ネットワークの冗長化 26 © 2013 IBM Corporation IBM Power Systems SEA 高可用性構成 (1) - アダプターの二重化 – VIOS 上の物理アダプターを二重化 • VIOS 上で EtherChannel Backup を構成 Power Systems Virtual I/O Server SEA LPAR1 LPAR2 LPAR3 EtherChannel Backup PE PE VE 1 VE VE VE Node1 1 1 2 PE Virtual Switch POWER Hypervisor External Switch 27 External Switch © 2013 IBM Corporation IBM Power Systems SEA 高可用性構成 (2) - VIOSの二重化 (SEA Failover) – VIOS 区画を二重化 • VIOS が提供する SEA Failover 機能を使用する構成 優先度の低いSEAをブロック Power Systems VIOS1 LPAR1 LPAR2 VIOS2 SEA SEA PE VE VE VE VE VE VE PE Node1 1 2 1 1 2 1 PE Virtual Switch POWER Hypervisor External Switch 28 External Switch ハートビートのためのコントロール・チャネル © 2013 IBM Corporation IBM Power Systems SEA 高可用性構成 (3) - VIOSの二重化 (SEA-NIB) – VIOS 区画を二重化 • 各 VIOS で別の SEA を構成し、VIO クライアント上で EtherChannel Backup を構成 Power Systems PE: 物理イーサネット・アダプター VE: 仮想イーサネット･アダプター VIOS1 SEA PE LPAR1 LPAR2 EtherChannel Backup EtherChannel Backup VE VE VE VE VE VIOS2 SEA VE PE Node1 1 1 2 1 2 2 PE Virtual Switch POWER Hypervisor External Switch 29 External Switch © 2013 IBM Corporation IBM Power Systems VIOS 二重化構成における片側 VIOS 停止時の動作 SEA Failover プライマリーの VIOS が停止した場合、直ちにセ カンダリーの VIOS に引き継ぐ EtherChannel Backup (NIB) の ping 検知により、 使用する Virtual Ethernet を切り替え、経由する VIOS を変更 プライマリーの VIOS が復旧すると、直ちに切り 戻しが発生する EtherChannel Backup (NIB) は ping 検知で切り替 わっているため、VIOS が復旧しても、プライマリー経 路には切り戻らない 停止時 復旧時 30 SEA-NIB 切り戻す場合は EtherChannel Backup の強制 Failover を実施 © 2013 IBM Corporation IBM Power Systems VIOS 二重化構成における SEA 可用性の比較 SEA Failover VIOS 間で同じ VLAN ID の SEA を作成 SEA-NIB VIOS 毎に異なる VLAN ID の SEA を作成 コントロールチャネルとなる VE を作成 VIOSの設定 VIO クライアント 区画の設定 障害対応 Trunk Priority, ha_mode, ctl_chanの設定が 必要 SEA と同じ VLAN ID の VE を作成 異なる VLAN ID の VE 間で NIB を構成 (pingオプションが必須) SEA のリンクダウン検知は瞬時に切替 SEA のリンクダウンを検知しない Primary VIOS 停止時は瞬断が発生 障害復旧後は自動フェイルバック 筐体外部への ping 疎通確認による障害検知のため、 時間がかかる 障害復旧後もフェイルバックしない サポート有り サポートなし Tagged VLAN 負荷分散 SEA Failover with Load Sharing 機能* を利用 クライアント毎にプライマリで利用する VIOS を選択可 することで、複数VLANが構成されている場合、 能 VLAN毎に負荷分散が可能 *VIOS V2.2.1.0 以降 で提供 運用の容易性の観点より SEA Failover を推奨 31 © 2013 IBM Corporation IBM Power Systems ディスクの冗長化 32 © 2013 IBM Corporation IBM Power Systems Virtual SCSI 高可用性構成 (1) - ディスクの二重化 Power Systems VIOS LPAR1 LVM SAS Physical Disk Physical Disk Logical Volume Logical Volume Logical Volume Logical Volume VTD VSCSI VTD vhost LVM Mirror hdisk0 hdisk1 vscsi POWER Hypervisor ※ LV-PV / PV-PV どちらでも可 33 © 2013 IBM Corporation IBM Power Systems Virtual SCSI 高可用性構成 (2) - VIOSの二重化(MPIO) Power Systems Virtual I/O Server 1 LPAR1 Virtual I/O Server 2 LVM LVM hdisk hdisk hdisk VSCSI VTD FC FC vhost MPIO vscsi vscsi VSCSI VTD vhost FC FC POWER Hypervisor SAN Switch SAN Switch Physical Disks (Fibre Atｔached) 34 ※ PV-PV のみ © 2013 IBM Corporation IBM Power Systems Virtual SCSI 高可用性構成 (3) - VIOSの二重化 (LVM ミラー) Power Systems LPAR1 VIOS1 LVM VIOS2 LVM LVM Mirror Logical Volume Logical Volume SAS Physical Disks VSCSI VTD hdisk0 hdisk1 VSCSI VTD vhost vscsi0 vscsi1 vhost POWER Hypervisor SAS Physical Disks ※ LV-PV / PV-PV どちらでも可 35 © 2013 IBM Corporation IBM Power Systems VIOS二重化構成での片側VIOS停止時の挙動 MPIO 停止時 LVM ミラー パスのプライオリティーに従ってセカンダリーパ スに移動 AIX 上でミラーリングが Stale となり、hdiskが missing の状態になる Primary パスが復旧したことを検知して自動的 にパスの切り戻しが発生 ・ミラーの Stale 及び hdisk の missing は自動復 旧しない ・ミラー障害のディスクに対してvaryonvg を実行す ることで復旧 復旧時 (# varyonvg rootvg など) (unmirrorvg と mirrorvg を再度実行する必要は無 い) ・varyonvg を実行する際に、アクセス不可の hdisk 上にあるシステム・ダンプ領域の変更が必要 36 © 2013 IBM Corporation IBM Power Systems VIOS二重化における Virtual SCSI 高可用性構成の比較 MPIO ディスクの種類 データの冗長化 ディスク・サイズ ディスク・ SAN 接続の外部ストレージ LVM ミラー ディスクの種類を問わない Power の内蔵ディスクも使用可能 ストレージ・サブシステムの機能で実施 LVM ミラーによるRAID1構成 RAID構成の種類は問わない LUNサイズとしては必要容量と同じ 必要サイズの2倍必要 PV-PV マッピングのみ LV-PV マッピング PV-PV マッピング マッピング VIOS停止後の戻し 特になし。パスの回復を確認 作業 varyonvg の実行 SAN 接続の外部ディスクがある場合は MPIO 構成を推奨 37 © 2013 IBM Corporation IBM Power Systems Virtual I/O Server 活用のメリット 38 © 2013 IBM Corporation IBM Power Systems システム・リソースの有効活用 VIOS を構成しない場合 – I/O 負荷の低い LPAR にも物理アダプターの割り当てが必要 • Fibre Channel アダプターや Ethernet アダプターをアダプター単位での割り当て – LPAR 数の増加に比例して必要な PCI (I/O) スロット数が増加 • Power Systems 本体が提供するスロット数で不足の場合、I/O ドロワー等の追加が必要 • システムを搭載するために必要な EIA 数が増加し、ラック・スペースに影響 VIOS を構成する場合 – 物理アダプターを複数 LPAR で共有可能 • 大きな帯域が不要な LPAR 間で、広帯域を提供するアダプターを共有する • アダプター数の削減に伴って、スイッチのポート数削減やケーブル数の削減も可能 – 複数 LPAR でアダプターを共有し、PCI (I/O) スロット数を削減可能 • システムを搭載するために必要な EIA 数を抑え、TCO 削減に寄与 •I/O アダプターの使用効率を高め、トータルのI/O アダプター数や拡張筐体数を削減 •筐体数の削減による、スペース、電力、空調、管理運用のコストの削減 39 © 2013 IBM Corporation IBM Power Systems 構成の柔軟性・拡張性が向上 VIOS を構成しない場合 クラウド環境の 提供に最適 – LPAR 追加の際には物理アダプターの割り当てが必要 • 筐体内に空きアダプターが無い場合は物理的な追加が必要 VIOS を構成する場合 – 物理アダプターを追加せずに LPAR を追加可能 • • 新規LPARを 容易に追加可能 リソース・プールとしての機能を提供 今後想定される様々な需要に応じて LPAR を追加可能 (即応性) 物理 ネットワーク a5 a4 物理ディスク a3 物理ディスク a2 物理ディスク a1 VIOS イーサネット アダプター (共有) ファイバー チャネル アダプター (共有) LPAR #01 AIX V6.1 ブリッジ LPAR #02 Linux LPAR #03 AIX V7.1 a5 a2 a3 仮想 SCSI アダプター 仮想 イーサネット アダプター 物理ディスク 物理ディスク a1 仮想 SCSI a4 仮想 Ether 仮想 SCSI 仮想 Ether 仮想 SCSI 仮想 Ether 仮想 イーサネット 仮想 SCSI POWER Hypervisor •LPAR や プロセッサー仮想の機能と組み合わせ、サーバーの追加が短期間かつ低コストで可能 40 © 2013 IBM Corporation IBM Power Systems システムの可用性・信頼性が向上（LPMの活用） Live Partition Mobility (LPM) LPMを利用しない場合 – 筐体内のリソース不足に対応不可能 – システムの移行作業が困難 – H/Wメンテナンスの場合、システム停止が必要 LPM を利用する場合 VIOS – ビジネスの継続性が向上 • 複数サーバー間でLPARワークロードを柔軟に分散や移動で きる為、不測の負荷向上にも対応可能 – 容易なシステム移行 • サーバー移行の際にも、LPMによりOS導入等の手間を掛け ないスマートな移行が可能 SAN – サービス管理の容易化 • 計画保守時にLPARを移動させておくことでサービス停止を 回避可能 •論理区画の瞬間移動により、計画停止さえも削減。 •筐体の交換・更新作業も、アプリケーションを無停止で実現可能。 ※Live Partition Mobility（LPM）の詳細は、参考資料を参照下さい。 41 © 2013 IBM Corporation IBM Power Systems VIOS概要のまとめ 42 © 2013 IBM Corporation IBM Power Systems まとめ VIOSはVirtual I/O を実行するための専用オペレーティング・システム – AIX をベースとしてカスタマイズされた OS イメージ – SEA / Virtual SCSI / Virtual FibreChannel (NPIV) を使用する場合に必須 VIOSは冗長化が可能 – 冗長構成の必要性 • VIOS は I/O を集約した区画となるため、VIOS 自身が冗長構成されていない場合、単一 障害点となり、障害時にはサーバー全体に与える影響が大きい • このため、VIOS を構成する場合には、同一筐体内で VIOS を二重化することが強く推奨 – 主に用いられる構成 • ネットワーク：SEA Failover • ディスク：MPIO 43 © 2013 IBM Corporation IBM Power Systems VIOSパフォーマンス 44 © 2013 IBM Corporation IBM Power Systems テスト目的 45 © 2013 IBM Corporation IBM Power Systems テスト目的 仮想アダプター構成時の Virtual I/O Server に必要な Processing Unit (PU) 値のおおよその見積りデータを取得する – 1Gb イーサネット・アダプターを使用した SEA 構成時の VIOS の CPU 使用量の まとめ – 10Gb イーサネット・アダプターを使用した SEA 構成時の VIOS の CPU 使用量の まとめ – Virtual SCSI におけるスループットと VIOS の CPU 使用量のまとめ ご注意： 測定結果は Power Systems ならびにディスクのピーク性能を示すものではありません。 46 © 2013 IBM Corporation IBM Power Systems テスト環境 47 © 2013 IBM Corporation IBM Power Systems テスト環境 VIOS 冗長構成： - SEA: SEA Failover 構成 - Virtual SCSI: MPIO 構成 (VIOS #1がプライマリ) 4つの LPAR が VIOS 経由で外部接続 – VIOS 区画のイーサネットおよび FC アダプターを、複数の LPAR (VIOC) が共有して使用 物理Ether: 1Gbps Ethernet adapter / 10Gbps Ethernet adapter 物理Fibre: 8Gbps FC adapter Power System サーバー (Power 795) VIOS #1 LPAR #1 LPAR #2 LPAR #3 LPAR #4 VIOS #2 1.0PU(*) 4core 4core 4core 4core 1.0PU(*) Shared / Dedicated / Dedicated/ Dedicated / Dedicated/ Shared / 物理 物理 SEA SEA Ether 4GB Memory 4GB Memory 4GB Memory 4GB Memory 4GB Memory Ether4GB Memory 物理 Fibre VTD 仮想 SCSI 物理 Fibre VTD 仮想 Ether 仮想 SCSI 仮想 Ether 仮想 SCSI 仮想 Ether 仮想 SCSI 仮想 Ether 仮想 SCSI 仮想 Ether 仮想 SCSI 仮想 Ether POWER Hypervisor Ethernet Switch SAN Switch 物理 Ether V7000 ディスク RAID5 48 通信ターゲットサーバー *: VIOS区画のPU値はテスト・ケースによって変更 © 2013 IBM Corporation IBM Power Systems 検証結果と考察 49 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter 50 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter 検証 1Gb イーサネット・アダプターを使用した SEA 検証 – ストリーミング系処理 • 単一 LPAR 環境 仮想アダプター環境での largesend オプションの設定による VIOS の CPU 使用量の比較 • 複数 LPAR 環境 10Gb イーサネット・アダプターを使用した SEA 検証 – ストリーミング系処理 • 単一 LPAR 環境 • 複数LPAR環境 51 © 2013 IBM Corporation IBM Power Systems 1Gb イーサネット・アダプター検証結果 VIOS #1 LPAR #1 複数 LPAR によるネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR2 LPAR #4 VIOS #2 Ethernet Switch 通信ターゲットサーバー SEA の1Gbps Ethernet Adapter の帯域を使用 Network I/O (仮想) LPAR1 LPAR #3 POWER Hypervisor – 4 LPAR から同時に ftp 転送処理を行い、転送速度と VIOS の CPU 使用量を測定 – 送信側は VIOS の SEA 経由のため、トータルで 1Gbps x1 の帯域、 受信側も物理イーサネット・アダプターの 1Gbps x1 の帯域 – ネットワーク帯域を増やすには、SEA および 受信側での対応が必要 4LPAR スループット（MB/s） LPAR #2 LPAR3 LPAR4 140 120 MB/s 100 80 60 40 20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:18 13:18 0 Physical CPU - vios1 52 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 VIOSのCPU使用量は 約0.35PU (largesend:on時) 13:18 VIOS区画： PU: 1.0、VP: 1 cappedモード PhysicalCPU 13:18 CPU使用量 VIOS CPU使用量1.0 © 2013 IBM Corporation IBM Power Systems 10Gb イーサネット・アダプター検証結果 VIOS #1 複数 LPAR による ftp ネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR #1 LPAR #2 LPAR #3 LPAR #4 VIOS #2 POWER Hypervisor – 4 LPAR から同時に転送処理を行い、転送速度とVIOSのCPU 使用量を測定 – 送信側は VIOS の SEA 経由のため、トータルで 10Gbps x1 の帯域、受信側も 物理イーサネット・アダプターの 10Gbps x1 の帯域 – ネットワーク帯域を増やすには、SEA および 受信側での対応が必要 4LPAR Network MBytes/sec by Time of Day (all nodes) スループット（MB/s） LPAR内多重度：1 LPAR内多重度：2 LPAR内多重度：3 Ethernet Switch 通信ターゲットサーバー LPAR内多重度：4 1200 1000 約 900 MB/s の帯域を使用 MB/s 800 LPAR4 LPAR3 600 LPAR2 LPAR1 400 200 02:29 02:28 02:28 02:28 02:27 02:27 02:27 02:26 02:26 02:26 02:25 02:25 02:24 02:24 02:24 02:23 02:23 02:23 02:22 02:22 02:22 02:21 02:21 02:21 02:20 02:20 02:25 VIOSのCPU使用量は 約1.5PU (largesend:on時) 02:29 02:28 02:28 02:28 02:28 02:27 02:27 02:27 02:26 02:26 02:26 02:25 02:25 02:25 02:25 02:24 02:24 02:24 02:23 02:23 02:23 02:22 02:22 02:22 02:22 02:21 02:21 02:21 02:20 02:20 02:20 02:19 2.0 1.8 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0.0 02:19 CPU使用量 PhysicalCPU 02:19 53 02:20 Physical CPU - vios1 VIOS CPU使用量 VIOS区画： PU: 2.0、VP: 2 cappedモード 02:19 02:19 0 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter サイジングまとめ SEA 経由で通信する場合に VIOS の CPU を消費 – LPAR のワークロードに応じた VIOS の CPU リソースを確保する必要がある • お客様環境の使用帯域 (MB/s)、および転送パケット量 (パケット/秒) に応じて必要リソース を検討 • ストリーミング系処理の場合、largesend の設定による CPU 使用率の抑制効果が大きい – 検証結果より • ftp にて SEA 1Gb イーサネットの帯域を使用する場合の VIOS の CPU 使用量 largesend off: 約 0.80 PU largesend on: 約 0.35 PU • ftp にて 10Gb イーサネット・アダプターを使用し、約 900MB/s の転送を行う場合の VIOS の CPU 使用量 largesend on: 約 1.5 PU 54 © 2013 IBM Corporation IBM Power Systems 仮想 SCSI (Virtual SCSI) 55 © 2013 IBM Corporation IBM Power Systems 1 VIOC 仮想 SCSI テストケース 4 VIOC テスト・ケースは以下のとおり テスト・ケース1 テスト・ケース2 テスト・ケース3 テスト・ケース4 アクセスタイプ 負荷環境 プロセス多重度 ブロックサイズ Sequential Read 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB Random Read Sequential Write Random Write 性能測定ツールとして ndisk64 (V7.4) を使用 負荷測定ツールとして nmon を使用 – グラフ化には nmon analyzer、nmon consolidator を使用 56 © 2013 IBM Corporation IBM Power Systems 仮想 SCSI テスト結果 Random Read (代表点をプロット) 横軸を VIOC における帯域 (MB/s) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Read 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 0 100 200 300 400 VIOCのRead (MB/s) 500 600 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 横軸を VIOC における転送回数 (IOPS) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Read 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 0 57 1000 2000 VIOCのRead (IOPS) 3000 4000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB VIOSのCPU使用量は MB/sにもIOPSにも、おお よそ比例 ブロックサイズ毎に異なる 傾き たとえばブロックサイズ 512KBの場合では、約 500MB/sのデータ読み込 みにおいて、約0.3PUの CPUを使用 たとえばブロックサイズ 4KBの場合では、約 3,500IOPSのデータ読み 込みにおいて、約0.2PU のCPUを使用 © 2013 IBM Corporation IBM Power Systems 仮想 SCSI テスト結果 Random Write (代表点をプロット) 横軸を VIOC における帯域 (MB/s) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Write 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 200 400 600 800 1000 VIOCのWrite (MB/s) 1200 1400 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 横軸を VIOC における転送回数 (IOPS) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Write 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 58 5000 10000 15000 20000 25000 VIOCのWrite (IOPS) 30000 35000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB VIOSのCPU使用量は MB/sにもIOPSにも、おお よそ比例 ブロックサイズ毎に異なる 傾き たとえばブロックサイズ 512KBの場合では、約 1,100MB/sのデータ書き 込みにおいて、約0.65PU のCPUを使用 たとえばブロックサイズ 4KBの場合では、約 30,000IOPSのデータ書 き込みにおいて、約 0.7PUのCPUを使用 © 2013 IBM Corporation IBM Power Systems 仮想 SCSI サイジングまとめ ご使用環境（ご提案環境）におけるI/Oタイプとブロックサイズに応じて、今回の結果を VIOSのサイジング目安としてご活用ください。 Power Systems や Storage のモデル、アプリケーション等、環境によって結果が多 少変動する可能性はあります。 – Random Read • VIOSのCPU使用量はMB/sにもIOPSにもおおよそ比例 • ブロックサイズ毎に異なる傾き ブロックサイズ512KBの場合では、約500MB/sの読み込みにおいて、約0.3puのCPUを使用 ブロックサイズ4KBの場合では、約3,500IO/sの読み込みにおいて、約0.2puのCPUを使用 – Random Write • VIOSのCPU使用量はMB/sにもIOPSにもおおよそ比例 • ブロックサイズ毎に異なる傾き ブロックサイズ512KBの場合では、約1,100MB/sの書き込みにおいて、約0.65puのCPUを使用 ブロックサイズ4KBの場合では、約30,000IO/sの書き込みにおいて、約0.7puのCPUを使用 59 © 2013 IBM Corporation IBM Power Systems VIOSパフォーマンス まとめ 60 © 2013 IBM Corporation IBM Power Systems VIOS パフォーマンスまとめ VIOSのパフォーマンス – LPAR が VIOS を介して I/O を行う場合に、VIOS の CPU を消費 • LPAR のワークロードに応じた VIOS の CPU リソースを確保する必要がある • VIOS を経由するネットワーク・アクセスおよびストレージ・アクセスに必要な CPU リソー スをトータルで見積もる 例) 1つの VIOS 区画を介するネットワークとストレージのI/Oに、それぞれ下記 CPU リ ソースが必要と見積もられる場合 ネットワーク(SEA)：1Gb イーサネット・アダプターの帯域を使用 → 0.35PU ストレージ(vSCSI)： ブロックサイズ4KB のRandom Read 約3,500IO/s → 約0.2PU ⇒ トータルで、0.55PU が必要 – 突発的な I/O 負荷に柔軟に対応できるように uncapped モードの利用を検討 61 © 2013 IBM Corporation IBM Power Systems VIOS構築事例 62 © 2013 IBM Corporation IBM Power Systems 構成事例：某製造業様（ネットワーク構成） VIOS LPARS VIOS LPARS LPARS #1 #2 VIOS LPARS VIOS LPARS LPARS #1 #2 FSP FSP Power740 #1 VIOS LPARS VIOS LPARS LPARS #1 #2 FSP Power740 #2 Power740 #3 HMCセグメント NIM 63 HMC #1 © 2013 IBM Corporation IBM Power Systems Power740 構成案 Power740 #1 CPU：Power7 3.7GHz x 6 Memory：64GB 64 LPAR Name # of CPU # of VP Mem (GB) 2Port FC 4Port NIC LPAR#1 0.2 1 1 LPAR#2 1 1 10 LPAR#3 0.3 1 1 LPAR#4 0.4 1 8 LPAR#5 0.1 1 4 LPAR#6 0.2 1 4 LPAR#7 0.4 1 9 予備 2.4 VIOS #1 0.5 1 2 2 5 VIOS #2 0.5 1 2 2 5 合計 6 N/A 64 8 10 23 © 2013 IBM Corporation IBM Power Systems GUI による PowerVM I/O 仮想化環境構築デモ 65 © 2013 IBM Corporation IBM Power Systems GUI による PowerVM I/O 仮想化環境構築 デモ 従来では VIOS の構成は HMC からの構成と VIOS でのコマンドラインの構成が必要でした 現行の VIOS では推奨される冗長構成であっても、HMC の GUI 操作のみで基本的な構成が可 能です ・” GUI による PowerVM I/O 仮想化環境 構築” より抜粋 http://www-06.ibm.com/systems/jp/power/techinfo/aix/pdf/vios_gui.pdf 66 © 2013 IBM Corporation IBM Power Systems デモでご紹介する仮想 I/O 構築の機能 本デモでは、従来 CLI でしか構成できなかったステップを実機でのデモにてご覧いただきます 11VIOS VIOSおよびVIOC区画への仮想イーサネット・アダプター構成 およびVIOC区画への仮想イーサネット・アダプター構成 22VIOS VIOS区画の再起動 区画の再起動 33Shared SharedEthernet EthernetAdapter Adapter(SEA) (SEA) の設定 の設定 1.1.VIOSおよびVIOC区画への仮想SCSIアダプター構成 VIOSおよびVIOC区画への仮想SCSIアダプター構成 2.2.VIOS区画の再起動 VIOS区画の再起動 3.3.仮想ターゲットデバイス(Virtual 仮想ターゲットデバイス(VirtualTarget Targetdevice(VTD))の設定 device(VTD))の設定 ・”Virtual I/O Server (VIOS) 初めての構築” より抜粋 http://www-06.ibm.com/systems/jp/power/techinfo/aix/pdf/VIOS_V2.2.1_Installation_20120330_V1.0.pdf 67 © 2013 IBM Corporation IBM Power Systems （参考）ハードウェアおよび VIOS 環境 当デモは下記の環境で構成しております – HMC 7042-CR7 Version: 7 Release: 7.6.0 Service Pack: 1 – サーバー 9119-FHB (Power 795) AH760_043 – VIOS VIOS V2.2.2.2 HMC GUI による SEA 作成・VTD マッピング・仮想 FC と物理 FC マッピング は、作業対象 LPAR-HMC 間のネットワーク疎通が前提です。当デモ環境に おいても、LPAR-HMC 通信用ネットワークを設けています 68 © 2013 IBM Corporation IBM Power Systems デモ環境 ネットワーク 下図がデモ環境のネットワーク構成です 仮想イーサネットの構成では、SEA を HMC の GUI から構成可能です オプションで SEA Failover 構成も選択することが可能です VIOS#1 (p7950008) VIOC (p7950003) SEA ent7 PE ent1 VIOS#2 (p7950009) SEA ent7 VE ent5 Prty:1 VE ent6 (cont) VE ent1 VE ent6 (cont) VE ent5 Prty:2 VLAN ID 100 VLAN ID 110 VLAN ID 100 VLAN ID 110 VLAN ID 100 Virtual Switch PE ent1 Control Channel (keep alive) POWER Hypervisor External Switch 69 External Switch 図のスペース制約から、SEA Failover構成におけるSEAの優先順位設定(Priority)を“Prty”と記載しています。 また、コントロール・チャネルを“(cont)”と記載しています。 © 2013 IBM Corporation IBM Power Systems デモ環境 外部ストレージ 下図がデモ環境の外部ストレージ構成です 仮想 SCSI の構成では、VTD を HMC の GUI から作成可能です VTD vhost1 vscsi3 vscsi2 hdisk2 hdisk3 MultiPath Fibre VTD vhost1 hdisk3 Fibre Fibre MultiPath VIOS#2 (p7950009) VIOC (p7950003) Fibre VIOS#1 (p7950008) POWER Hypervisor SAN Switch LUN SAN Switch SAN Storage 70 © 2013 IBM Corporation IBM Power Systems 当コースのまとめ 71 © 2013 IBM Corporation IBM Power Systems まとめ VIOSはPowerVM環境でIOを仮想化統合する際に用いられる – ネットワーク、ディスク環境 VIOSは冗長構成が可能 – IOが統合化されても高信頼性を提供 VIOSのCPU負荷は概ねIOの転送量に比例する – GBitEtherx1、ブロックサイズ4kで3500IOPS程度のDiskを用いる際、0.55PU前後 のリソースが必要 PowerVM I/Oの仮想化はGUI環境でも実施できる 72 © 2013 IBM Corporation IBM Power Systems 73 © 2013 IBM Corporation IBM Power Systems 参考：検証内容詳細 74 © 2013 IBM Corporation IBM Power Systems 1Gb イーサネット・アダプター 検証 テスト環境 – VIOS区画: PU:1.0, VP:1 (capped) – ソフトウェア • VIOS 区画: VIOS V2.2.1.3 • VIOC 区画: AIX V7.1 (7100-01-03-1207) – VIOS の SEA アダプターとして下記アダプターを使用 • 1Gbps イーサネット・アダプター – MTU size: 1500 (固定) テスト・ツール – ネットワークの負荷掛けに ftp コマンドを使用 • ftp コマンド (2GB 転送) put "| dd if=/dev/zero bs=1024k count=2000" /dev/null 入力として /dev/zero、出力として /dev/null を使用 75 © 2013 IBM Corporation IBM Power Systems 1Gb イーサネット・アダプター検証結果 VIOS #1 LPAR #1 単一 LPAR による ftp ネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: off) LPAR #2 LPAR #3 LPAR #4 VIOS #2 POWER Hypervisor Ethernet Switch 通信ターゲットサーバー – SEA を使用する場合、VIOS のCPU を消費 • 1Gbps の帯域を使用する場合、VIOS の CPU 使用量は、約 0.8PU (largesend: off) Network I/O (仮想) LPAR1 スループット (MB/s) SEA (1Gb) の帯域をフル に使用 LPAR1 140 LPAR内多重度：1 LPAR内多重度：3 LPAR内多重度：2 LPAR内多重度：4 120 MB/s 100 80 60 40 20 12:10 12:09 12:09 12:09 12:09 12:09 12:09 12:08 12:08 12:08 12:08 12:08 12:08 12:07 12:07 12:07 12:07 12:07 12:07 12:06 12:06 12:06 12:06 12:06 12:06 12:05 12:05 12:05 12:05 12:05 12:05 12:04 0 SEA (1Gb) の帯域をフルに使用す る場合、VIOSは約0.8PU使用 (largesend: off) Physical CPU - vios1 PhysicalCPU 76 12:10 12:09 12:09 12:09 12:09 12:09 12:09 12:08 12:08 12:08 12:08 12:08 12:08 12:07 12:07 12:07 12:07 12:07 12:07 12:06 12:06 12:06 12:06 12:06 12:06 12:05 12:05 12:05 12:05 12:05 12:05 VIOS区画： PU: 1.0、VP: 1 cappedモード 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 12:04 CPU使用量 VIOS CPU使用量 © 2013 IBM Corporation IBM Power Systems 1Gb イーサネット・アダプター検証結果 VIOS #1 単一 LPAR による ftp ネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR #1 LPAR #2 LPAR #3 LPAR #4 VIOS #2 POWER Hypervisor Ethernet Switch 通信ターゲットサーバー – SEA を使用する場合、VIOS のCPU を消費 • 1Gbps の帯域を使用する場合、VIOS の CPU 使用量は、約 0.35PU (largesend: on) • largesend を有効にすることにより、CPU 使用量を低く抑えることが可能 Network I/O (仮想) SEA (1Gb) の帯域をフル に使用 LPAR1 LPAR1 スループット (MB/s) 140LPAR内多重度：1 LPAR内多重度：3 LPAR内多重度：2 LPAR内多重度：4 120 MB/s 100 80 60 40 20 12:55 12:55 12:55 12:55 12:55 12:55 12:54 12:54 12:54 12:54 12:54 12:54 12:53 12:53 12:53 12:53 12:53 12:53 12:52 12:52 12:52 12:52 12:52 12:52 12:51 12:51 12:51 12:51 12:51 12:51 12:50 12:50 12:50 0 Physical CPU - vios1 12:55 12:55 12:55 12:55 12:54 12:54 12:54 12:54 12:54 12:54 12:53 12:53 12:53 12:53 12:53 12:53 12:52 12:52 12:52 12:52 12:52 12:52 12:51 12:51 12:51 12:51 12:51 12:51 12:50 12:50 12:50 77 CPU使用量 VIOS区画： PU: 1.0、VP: 1 cappedモード SEA (1Gb) の帯域をフルに使用す る場合、VIOSは約0.35PU使用 largesend の設定によりCPU使用 量に大きく影響 PhysicalCPU 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 12:55 VIOS CPU使用量 © 2013 IBM Corporation IBM Power Systems (参考) largesend オプション largesend オプション – TCP 大量送信機能 (セグメンテーション・オフロードとも呼ばれる) を使用可能にす るオプション 設定方法 – VIOS の SEA、VIOC の仮想イーサネット・アダプターは、デフォルトで無効 – 有効にするには、VIOS、VIOC それぞれにおいて設定 • VIOS での設定 SEA の largesend 属性により設定 » 例) $ chdev -dev entX -attr largesend=1 • VIOC (AIX) では次の何れかの方法で設定 仮想イーサネット・インターフェースの mtu_bypass 属性により設定 » AIX 6.1 TL7 SP1 以降、または AIX 7.1 TL1 SP1 以降 » 例) # chdev -l enY -a mtu_bypass=on 仮想イーサネット・インターフェースに対し ifconfig コマンドにより設定 » 例) # ifconfig enY largesend » ifconfig コマンドによる変更はリブート時に無効になるため、リブート後も有効にす るには、起動時に実施されるスクリプトなどで設定する 78 © 2013 IBM Corporation IBM Power Systems 1Gb イーサネット・アダプター検証結果 VIOS #1 LPAR #1 複数 LPAR によるネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR2 LPAR #4 VIOS #2 Ethernet Switch 通信ターゲットサーバー SEA の1Gbps Ethernet Adapter の帯域を使用 Network I/O (仮想) LPAR1 LPAR #3 POWER Hypervisor – 4 LPAR から同時に ftp 転送処理を行い、転送速度と VIOS の CPU 使用量を測定 – 送信側は VIOS の SEA 経由のため、トータルで 1Gbps x1 の帯域、 受信側も物理イーサネット・アダプターの 1Gbps x1 の帯域 – ネットワーク帯域を増やすには、SEA および 受信側での対応が必要 4LPAR スループット（MB/s） LPAR #2 LPAR3 LPAR4 140 120 MB/s 100 80 60 40 20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:18 13:18 0 Physical CPU - vios1 79 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:20 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 13:19 VIOSのCPU使用量は 約0.35PU (largesend:on時) 13:18 VIOS区画： PU: 1.0、VP: 1 cappedモード PhysicalCPU 13:18 CPU使用量 VIOS CPU使用量1.0 © 2013 IBM Corporation IBM Power Systems 10Gb イーサネット・アダプター テスト環境 テスト環境 – VIOS区画: PU:2.0, VP:2 (capped) (*1) – ソフトウェア • VIOS 区画: VIOS V2.2.2.2 • VIOC 区画: AIX V7.1 (7100-02-02-1316) – VIOS の SEA アダプターとして下記アダプターを使用 • 10Gb イーサネット SR アダプター – MTU size: 1500 (固定) – largesend: on (VIOS、VIOC ともに固定) テスト・ツール – ストリーミング系処理の負荷掛け • ftp コマンド (10GB 転送) put "| dd if=/dev/zero bs=1024k count=10000" /dev/null 入力として /dev/zero、出力として /dev/null を使用 – トランザクション系処理の負荷掛け • netperf (*2) 80 *1: VIOS区画のPU値はテスト・ケースによって変更 # netperf -l 120 -H TARGET_HOST -t TCP_RR -D 2 -- -r 200,100 *2: http://www.netperf.org/netperf/ » TCP 要求/応答 タイプのワークロードを実行 » 要求サイズ:200B、応答サイズ:100B © 2013 IBM Corporation IBM Power Systems 10Gb イーサネット・アダプター ストリーミング系処理 VIOS #1 単一 LPAR による ftp ネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR #1 LPAR #2 LPAR #3 LPAR #4 VIOS #2 POWER Hypervisor – SEA を使用する場合、VIOS のCPU を消費 Ethernet Switch 通信ターゲットサーバー • 2.0 PU capped • 約 900MB/s の帯域を使用する場合、VIOS の CPU 使用量は、約 1.5PU (largesend: on) Network I/O (仮想) LPAR1 LPAR1 スループット (MB/s) LPAR内多重度：1 1200 LPAR内多重度：3 LPAR内多重度：2 約 900 MB/s の帯域を使用 LPAR内多重度：4 1000 MB/s 800 600 400 200 02:01 02:01 02:01 02:01 02:01 02:01 02:00 02:00 02:00 02:00 02:00 02:00 02:00 01:59 01:59 01:59 01:59 01:59 01:59 01:59 01:59 01:58 01:58 01:58 01:58 01:58 01:58 01:58 01:57 01:57 01:57 01:57 0 Physical CPU - vios1 VIOS CPU使用量 81 VIOSのCPU使用量は 約1.4 PU (largesend:on時) 02:01 02:01 02:01 02:01 02:01 02:01 02:00 02:00 02:00 02:00 02:00 02:00 02:00 02:00 01:59 01:59 01:59 01:59 01:59 01:59 01:59 01:58 01:58 01:58 01:58 01:58 01:58 01:58 01:58 01:57 01:57 2.0 1.8 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0.0 01:57 CPU使用量 VIOS区画： PU: 2.0、VP: 2 cappedモード PhysicalCPU © 2013 IBM Corporation IBM Power Systems 10Gb イーサネット・アダプター ストリーミング系処理 (複数区画) VIOS #1 複数 LPAR による ftp ネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR #1 LPAR #2 LPAR #3 LPAR #4 VIOS #2 POWER Hypervisor – 4 LPAR から同時に転送処理を行い、転送速度とVIOSのCPU 使用量を測定 – 送信側は VIOS の SEA 経由のため、トータルで 10Gbps x1 の帯域、受信側も 物理イーサネット・アダプターの 10Gbps x1 の帯域 – ネットワーク帯域を増やすには、SEA および 受信側での対応が必要 4LPAR Network MBytes/sec by Time of Day (all nodes) スループット（MB/s） LPAR内多重度：1 LPAR内多重度：2 LPAR内多重度：3 Ethernet Switch 通信ターゲットサーバー LPAR内多重度：4 1200 1000 約 900 MB/s の帯域を使用 MB/s 800 LPAR4 LPAR3 600 LPAR2 LPAR1 400 200 02:29 02:28 02:28 02:28 02:27 02:27 02:27 02:26 02:26 02:26 02:25 02:25 02:24 02:24 02:24 02:23 02:23 02:23 02:22 02:22 02:22 02:21 02:21 02:21 02:20 02:20 02:25 VIOSのCPU使用量は 約1.5PU (largesend:on時) 02:29 02:28 02:28 02:28 02:28 02:27 02:27 02:27 02:26 02:26 02:26 02:25 02:25 02:25 02:25 02:24 02:24 02:24 02:23 02:23 02:23 02:22 02:22 02:22 02:22 02:21 02:21 02:21 02:20 02:20 02:20 02:19 2.0 1.8 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0.2 0.0 02:19 CPU使用量 PhysicalCPU 02:19 82 02:20 Physical CPU - vios1 VIOS CPU使用量 VIOS区画： PU: 2.0、VP: 2 cappedモード 02:19 02:19 0 © 2013 IBM Corporation IBM Power Systems 10Gb イーサネット・アダプター トランザクション系処理 (複数区画) VIOS #1 LPAR #1 LPAR #2 複数LPAR によるネットワーク転送 仮想アダプター接続 (VIOS 経由、largesend: on) LPAR #4 VIOS #2 POWER Hypervisor – 4 LPAR からnetperfを使用して同時に送受信を行い、パケット転送量とVIOSのCPU 使用量を測定 – スループットがアダプターの帯域に達していなくても、大量のパケットを処理する場合、 VIOSのCPUリソースを消費する – 送受信 計約160,000パケット/秒 で、約2.8PU使用 4LPAR 4LPAR 約 25 MB/s の帯域を使用 パケット転送量 (パケット/秒) スループット (MB/s) Network MBytes/sec by Time of Day (all nodes) 30 LPAR #3 Ethernet Switch 通信ターゲットサーバー 約 160,000パケット/秒 転送 Network Packets/sec by Time of Day (all nodes) LPAR内多重度：1 LPAR内多重度：2 LPAR内多重度：3 LPAR内多重度：4 180000 LPAR内多重度：1 LPAR内多重度：2 LPAR内多重度：3 LPAR内多重度：4 160000 25 140000 120000 パケット/s MB/s 20 LPAR4 LPAR3 15 LPAR2 LPAR1 LPAR4 100000 LPAR3 LPAR2 80000 LPAR1 10 60000 40000 5 20000 12:04 12:04 12:03 12:03 12:03 12:02 12:02 12:02 12:01 12:01 12:01 12:00 12:00 12:00 11:59 11:59 11:59 11:58 11:58 11:58 11:57 11:57 11:57 11:56 11:56 11:56 11:55 11:55 11:55 11:54 11:54 11:54 12:04 12:04 12:03 12:03 12:03 12:02 12:02 12:02 12:01 12:01 12:01 12:00 12:00 12:00 11:59 11:59 11:59 11:58 11:58 11:58 11:57 11:57 11:57 11:56 11:56 11:56 11:55 11:55 11:55 11:54 11:54 0 11:54 0 Physical CPU vs Entitlement - vios1 PhysicalCPU VIOS CPU使用量 VIOSのCPU使用量は 約2.8PU (largesend:on時) 3.5 3.0 CPU使用量 VIOS区画： PU: 2.0、VP: 4 uncappedモード entitled 4.0 2.5 2.0 1.5 1.0 0.5 12:04 12:04 12:03 12:03 12:03 12:03 12:03 12:02 12:02 12:02 12:02 12:01 12:01 12:01 12:01 12:00 12:00 12:00 12:00 12:00 11:59 11:59 11:59 11:59 11:58 11:58 11:58 11:58 11:57 11:57 11:57 11:57 11:56 11:56 11:56 11:56 11:56 11:55 11:55 11:55 11:55 11:54 11:54 11:54 11:54 0.0 83 © 2013 IBM Corporation IBM Power Systems Shared Ethernet Adapter サイジングまとめ SEA 経由で通信する場合に VIOS の CPU を消費 – LPAR のワークロードに応じた VIOS の CPU リソースを確保する必要がある • お客様環境の使用帯域 (MB/s)、および転送パケット量 (パケット/秒) に応じて必要リソース を検討 • ストリーミング系処理の場合、largesend の設定による CPU 使用率の抑制効果が大きい • トランザクション系処理の場合、帯域だけでなく、転送パケット数にも考慮が必要 – 検証結果より • ftp にて SEA 1Gb イーサネットの帯域を使用する場合の VIOS の CPU 使用量 largesend off: 約 0.80 PU largesend on: 約 0.35 PU • ftp にて 10Gb イーサネット・アダプターを使用し、約 900MB/s の転送を行う場合の VIOS の CPU 使用量 largesend on: 約 1.5 PU • netperf にて SEA 10Gbイーサネット・アダプターを使用する場合の VIOS の CPU 使用量 送受信 計約 16万 パケット/秒 の転送時: 約 2.8 PU 84 © 2013 IBM Corporation IBM Power Systems 仮想 SCSI (Virtual SCSI) 85 © 2013 IBM Corporation IBM Power Systems 1 VIOC 仮想 SCSI テストケース 4 VIOC テスト・ケースは以下のとおり テスト・ケース1 テスト・ケース2 テスト・ケース3 テスト・ケース4 アクセスタイプ 負荷環境 プロセス多重度 ブロックサイズ Sequential Read 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 1 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB 4 VIOC 1/2/4 4KB / 8KB / 16KB / 32KB / 64KB / 128KB / 256KB / 512KB Random Read Sequential Write Random Write 性能測定ツールとして ndisk64 (V7.4) を使用 負荷測定ツールとして nmon を使用 – グラフ化には nmon analyzer、nmon consolidator を使用 86 © 2013 IBM Corporation IBM Power Systems （参考） ndisk64 ツール DISK に対して、特定のアクセス・パターンの負荷をかけるツール nstress (https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/ wiki/Power%20Systems/page/nstress) に含まれる 負荷テスト・ツールの一つ 主要なオプションは以下のとおり -S -R -t <secs> -F <file> -M <num> -s <size> -r <read%> -b <size> -q Sequential Disk I/O test (file or raw device) Random Disk I/O test (file or raw device) Timed duration of the test in seconds (default 5) <file> contains list of filenames, one per line (upto 2047 files) Multiple processes used to generate I/O file Size, use with K, M or G (mandatory for raw device) Read percent min=0,max=100 (default 80 =80%read+20%write) Block size, use with K, M or G (default 4KB) flush file to disk after each write (fsync()) 今回使用したパラメーターは以下のとおり ndisk64 -F LIST [-S (sequential) | -R (random)] [-r100 (read 100%) | -r0 (write 100%)] -b [4k, 8k, 16k, 32k, 64k, 128k, 256k, 512k] -s 8G -t 60 -M [1, 2, 4多重] –q 87 © 2013 IBM Corporation IBM Power Systems このページはブランクです 88 © 2013 IBM Corporation 89 32KB 256KB 32KB 256KB 4KB 4KB 8KB 64KB 8KB 64KB 512KB 512KB 16KB 128KB 16KB 128KB 20:04 20:06 entitled 20:03 20:04 20:01 20:03 20:04 19:59 19:55 19:53 19:52 19:50 19:48 19:46 19:44 19:42 19:41 19:39 19:37 20:01 1000 0 19:57 7000 6000 5000 4000 3000 2000 19:59 Disk Transfers/sec by Time of Day (all nodes) 19:57 19:55 19:53 19:52 19:50 19:48 19:46 19:44 19:42 19:41 19:39 19:35 19:33 19:31 2プロセス多重 19:58 20:00 20:01 20:03 PhysicalCPU 19:53 19:55 19:56 1.2 19:48 19:50 19:52 Unfolded VPs 1プロセス多重 19:44 19:45 19:47 Physical CPU vs Entitlement - p795022 2013/01/20 19:39 19:40 19:42 0 19:37 1000 19:30 Disk total KB/s p795031 - 2013/01/20 19:35 Disk total KB/s p795031 - 2013/01/20 19:34 19:36 19:37 2000 19:33 4000 19:31 IO/sec 19:28 0 19:30 200 19:29 19:31 19:32 400 19:26 600 MB/sec 4プロセス多重 1800 1600 1400 1200 1000 800 600 400 200 0 19:28 3000 回/sec 17:16 17:17 Disk Write KB/s 19:26 17:17 17:14 17:16 17:09 17:11 17:12 17:14 2プロセス多重 17:11 17:12 17:06 17:08 17:09 17:03 17:04 17:06 17:08 1VIOC使用 19:26 19:28 1.2 1.0 0.8 0.6 0.4 0.2 0.0 VIOSのCPU使用量 entitled 17:03 17:04 17:00 17:01 16:56 16:58 17:00 17:01 Disk Read KB/s 17:09 17:10 17:12 17:13 17:15 17:17 17:18 PhysicalCPU 16:56 16:58 16:50 16:52 16:53 16:55 1プロセス多重 16:58 16:59 17:01 17:02 17:04 17:06 17:07 VIOS CPU 使用量 16:52 16:53 16:55 VIOC 転送回数(IOPS) 16:48 16:50 16:44 16:45 16:47 16:48 800 16:45 16:47 16:39 16:40 16:42 KB/sec 千 1000 16:42 16:44 16:39 16:40 回/sec VIOC 帯域(MB/s) 16:45 16:47 16:48 16:50 16:51 16:53 16:55 16:56 16:39 16:40 16:42 16:44 VIOSのCPU使用量 IBM Power Systems 仮想 SCSI テスト結果① Sequential Read (nmon analyzer出力) 4VIOC使用 Disk MBytes/sec by Time of Day (all nodes) 4プロセス多重 Physical CPU vs Entitlement - p795022 2013/01/20 1.0 Unfolded VPs 0.8 0.6 0.4 0.2 0.0 ・・・・・・ © 2013 IBM Corporation IBM Power Systems 仮想 SCSI テスト結果① Sequential Read (代表点をプロット) 横軸を VIOC における帯域 (MB/s) としてプロットしたグラフ VIOSのCPU使用量 (PU) Sequential Read 1 0.8 0.6 0.4 0.2 0 0 500 1000 VIOCのRead (MB/s) 1500 2000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 横軸を VIOC における転送回数 (IOPS) としてプロットしたグラフ VIOSのCPU使用量 (PU) Sequential Read 1 0.8 0.6 0.4 0.2 0 0 90 1000 2000 3000 4000 5000 VIOCのRead (IOPS) 6000 7000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB VIOSのCPU使用量は MB/sにもIOPSにも、おお よそ比例 ブロックサイズによらず、 ほとんど同じ傾き 約1.5GB/sのデータ読み 込みにおいて、約0.8PU のCPUを使用 約6,000IOPSのデータ読 み込みにおいて、約 0.8PUのCPUを使用 （考察）ブロックサイズに依存しない理由 ndiskの引数として小さいブロックサイズ を指定しても、OSの先読み(Read Ahead) 機能によって、前もって大きなブロックと してReadする。 © 2013 IBM Corporation 91 32KB 256KB 32KB 256KB 4KB 4KB 8KB 64KB 8KB 64KB 512KB 512KB 16KB 128KB 16KB 128KB PhysicalCPU entitled 20:48 1.2 20:42 20:44 20:45 20:47 20:44 20:45 20:47 20:38 20:36 20:34 20:33 20:31 20:29 20:27 20:25 20:23 20:40 4000 3500 3000 2500 2000 1500 1000 500 0 20:42 Disk Transfers/sec by Time of Day (all nodes) 20:40 20:38 20:36 20:34 20:33 20:31 20:29 20:27 20:25 20:22 20:20 20:18 20:16 2プロセス多重 20:40 20:42 20:43 20:45 20:46 U nfol ded VPs 1プロセス多重 20:31 20:32 20:34 20:35 20:37 20:39 Physic al CPU vs Enti tleme nt - p795 02 2 2 013 /0 1/2 0 20:23 0 20:23 20:25 20:26 20:28 20:29 20 0 20:22 40 0 20:20 1 00 0 20:14 Disk to tal KB/ s p795 03 1 - 201 3/ 01/ 20 20:18 Disk to tal KB/ s p795 03 1 - 201 3/ 01/ 20 20:16 IO /se c 20:12 0 20:14 50 20:11 600 20:12 60 0 20:09 4プロセス多重 20:11 MB/sec 1 00 20:09 80 0 回/sec 18 :00 1 7:5 8 17: 57 1 7:5 5 17 :54 1 7:5 2 Disk Write KB/s 20:14 20:15 20:17 20:18 20:20 20:21 1 .2 1 .0 0 .8 0 .6 0 .4 0 .2 0 .0 VIOSのCPU使用量 17 :58 1 8:0 0 17: 57 17 :55 17: 54 1 7:5 2 17: 49 17 :50 17: 46 17 :47 1VIOC使用 20:09 20:10 20:12 17 :58 1 8:0 0 17 :55 1 7:5 7 17 :52 1 7:5 4 17: 50 1 7:4 9 17: 46 17 :47 17: 43 1 7:4 4 1 7:4 1 1 7: 39 2プロセス多重 17 :49 1 7:5 0 17 :46 1 7: 47 en titl ed 17: 43 17 :44 1 7:4 1 1 7: 39 17 :36 1 7:3 8 17 :33 17 :3 5 Disk Re ad KB /s 17: 43 1 7:4 4 17: 39 1 7:4 1 Physi calCPU 17 :36 1 7:3 8 17 :33 1 7: 35 17: 30 1 7:3 2 17: 27 1 7:2 8 1プロセス多重 17: 36 1 7:3 8 17 :33 1 7:3 5 VIOC 転送回数(IOPS) 17 :3 0 1 7:3 2 17 :27 1 7:2 8 17 :24 1 7:2 5 VIOC 帯域(MB/s) 17 :30 1 7:3 2 VIOS CPU 使用量 17 :27 17 :2 9 17: 25 1 7:2 4 1 50 17 :25 17 :21 1 7:2 2 KB/ sec 2 00 17: 24 17: 22 1 7:2 1 回 /sec 千 17 :22 17: 21 VIO Sの CPU使用 量 IBM Power Systems 仮想 SCSI テスト結果② Random Read (nmon analyzer出力) 4VIOC使用 Disk MBytes/sec by Time of Day (all nodes) 500 4プロセス多重 400 300 200 100 0 Physical CPU vs Entitlement - p795022 2013/01/20 1.0 Unfolded VPs 0.8 0.6 0.4 0.2 0.0 ・・・・・・ © 2013 IBM Corporation IBM Power Systems 仮想 SCSI テスト結果② Random Read (代表点をプロット) 横軸を VIOC における帯域 (MB/s) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Read 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 0 100 200 300 400 VIOCのRead (MB/s) 500 600 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 横軸を VIOC における転送回数 (IOPS) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Read 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 0 92 1000 2000 VIOCのRead (IOPS) 3000 4000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB VIOSのCPU使用量は MB/sにもIOPSにも、おお よそ比例 ブロックサイズ毎に異なる 傾き たとえばブロックサイズ 512KBの場合では、約 500MB/sのデータ読み込 みにおいて、約0.3PUの CPUを使用 たとえばブロックサイズ 4KBの場合では、約 3,500IOPSのデータ読み 込みにおいて、約0.2PU のCPUを使用 © 2013 IBM Corporation 93 32KB 256KB 32KB 256KB 4KB 4KB 8KB 64KB 8KB 64KB 512KB 512KB 16KB 128KB 16KB 128KB 21:38 21:36 21:35 21:33 21:31 21:29 21:28 10000 21:24 21:22 21:20 21:18 21:16 21:13 21:11 21:35 21:38 21:38 21:33 21:31 21:35 21:33 21:31 21:29 15000 21:27 30000 21:29 Disk Transfers/sec by Time of Day (all nodes) 21:27 21:24 21:22 21:20 21:18 21:16 21:13 21:09 21:07 21:05 21:02 2プロセス多重 21:26 21:24 21:23 21:21 entitled 21:19 21:17 21:16 21:14 PhysicalCPU 21:12 21:11 21:09 21:07 21:05 21:00 20:58 20:56 1プロセス多重 21:10 21:09 21:07 21:05 Unfolded VPs 1.2 21:03 Physical CPU vs Entitlement - p795022 2013/01/20 21:02 0 20:53 Disk total KB/s p795031 - 2013/01/20 21:02 5000 0 21:00 Disk total KB/s p795031 - 2013/01/20 21:00 2000 20:58 4000 20:58 20000 20:57 25000 8000 20:56 IO/sec 20:55 6000 20:51 1200 20:53 MB/sec 4プロセス多重 20:51 10000 回/sec 18:41 18:35 18:37 18:38 18:40 Disk Write KB/s 20:53 1.2 1.0 0.8 0.6 0.4 0.2 0.0 VIOSのCPU使用量 18:41 18:35 18:37 18:38 18:40 18:30 18:32 18:33 18:26 18:27 18:29 1VIOC使用 20:51 18:41 18:37 18:38 18:40 18:30 18:32 18:33 18:26 18:27 18:29 18:21 18:23 18:24 2プロセス多重 18:32 18:33 18:35 entitled 18:27 18:29 18:30 PhysicalCPU 18:21 18:23 18:24 18:16 18:18 18:19 Disk Read KB/s 18:23 18:24 18:26 18:16 18:18 18:19 18:10 18:12 18:13 18:15 1プロセス多重 18:18 18:19 18:21 18:15 18:16 VIOC 転送回数(IOPS) 18:10 18:12 18:13 18:15 VIOC 帯域(MB/s) 18:10 18:12 18:13 VIOS CPU 使用量 18:05 18:07 18:08 18:02 18:04 KB/sec 600 500 400 300 200 100 0 18:05 18:07 18:08 18:02 18:04 回/sec 千 18:05 18:07 18:08 18:02 18:04 VIOSのCPU使用量 IBM Power Systems 仮想 SCSI テスト結果③ Sequential Write (nmon analyzer出力) 4VIOC使用 Disk MBytes/sec by Time of Day (all nodes) 1000 4プロセス多重 800 600 400 200 0 Physical CPU vs Entitlement - p795022 2013/01/20 1.0 Unfolded VPs 0.8 0.6 0.4 0.2 0.0 ・・・・・・ © 2013 IBM Corporation IBM Power Systems 仮想 SCSI テスト結果③ Sequential Write (代表点をプロット) 横軸を VIOC における帯域 (MB/s) としてプロットしたグラフ VIOSのCPU使用量 (PU) Sequential Write 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 200 400 600 800 VIOCのWrite (MB/s) 1000 1200 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 横軸を VIOC における転送回数 (IOPS) としてプロットしたグラフ VIOSのCPU使用量 (PU) Sequential Write 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 94 5000 10000 15000 20000 VIOCのWrite (IOPS) 25000 30000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB VIOSのCPU使用量は MB/sにもIOPSにも、おお よそ比例 ブロックサイズ毎に異なる 傾き たとえばブロックサイズ 512KBの場合では、約 1,100MB/sのデータ書き 込みにおいて、約0.65PU のCPUを使用 たとえばブロックサイズ 16KBの場合では、約 23,000IOPSのデータ書 き込みにおいて、約 0.7PUのCPUを使用 © 2013 IBM Corporation 95 32KB 256KB 32KB 256KB 4KB 4KB 8KB 64KB 8KB 64KB 512KB 512KB 16KB 128KB 16KB 128KB 22:25 22:27 22:26 22:16 22:14 22:12 22:10 22:08 22:06 22:04 22:02 22:24 0 22:26 5000 22:22 10000 22:24 15000 22:20 20000 22:22 25000 22:18 30000 22:20 Disk Transfers/sec by Time of Day (all nodes) 22:18 22:16 22:14 22:12 22:10 22:08 22:06 22:04 22:00 21:58 21:56 21:54 2プロセス多重 22:18 22:20 22:22 22:24 entitled 22:11 22:13 22:15 22:16 PhysicalCPU 22:02 22:00 21:58 21:56 21:52 21:50 1プロセス多重 22:02 22:04 22:06 22:07 22:09 Unfolded VPs 21:54 21:52 Disk total KB/s p795031 - 2013/01/20 21:50 21:48 21:46 21:44 21:42 Disk total KB/s p795031 - 2013/01/20 21:55 21:57 21:58 22:00 Physical CPU vs Entitlement - p795022 2013/01/20 21:48 21:46 IO/sec 900 800 700 600 500 400 300 200 100 0 21:44 MB/sec 4プロセス多重 21:42 12000 10000 8000 6000 4000 2000 0 回/sec 19:23 Disk Write KB/s 21:48 21:49 21:51 21:53 1.2 1.0 0.8 0.6 0.4 0.2 0.0 VIOSのCPU使用量 19:23 19:17 19:18 19:20 19:21 19:12 19:14 19:15 19:07 19:09 19:10 1VIOC使用 21:42 21:44 21:46 19:21 19:23 19:17 19:18 19:20 19:21 19:12 19:14 19:15 19:07 19:09 19:10 19:03 19:04 19:06 2プロセス多重 19:17 19:18 19:20 entitled 19:10 19:12 19:14 19:15 PhysicalCPU 19:03 19:04 19:06 18:58 18:59 19:01 Disk Read KB/s 19:04 19:06 19:07 19:09 VIOC 転送回数(IOPS) 18:58 18:59 19:01 18:52 18:53 18:55 18:56 1プロセス多重 18:59 19:01 19:03 18:52 18:53 18:55 18:56 VIOC 帯域(MB/s) 18:53 18:55 18:56 18:58 VIOS CPU 使用量 18:47 18:48 18:50 18:44 18:45 KB/sec 600 500 400 300 200 100 0 18:47 18:48 18:50 18:44 18:45 回/sec 千 18:47 18:48 18:50 18:52 18:44 18:45 VIOSのCPU使用量 IBM Power Systems 仮想 SCSI テスト結果④ Random Write (nmon analyzer出力) 4VIOC使用 Disk MBytes/sec by Time of Day (all nodes) 4プロセス多重 Physical CPU vs Entitlement - p795022 2013/01/20 1.2 1.0 0.8 0.6 0.4 0.2 0.0 Unfolded VPs ・・・・・・ © 2013 IBM Corporation IBM Power Systems 仮想 SCSI テスト結果④ Random Write (代表点をプロット) 横軸を VIOC における帯域 (MB/s) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Write 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 200 400 600 800 1000 VIOCのWrite (MB/s) 1200 1400 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB 横軸を VIOC における転送回数 (IOPS) としてプロットしたグラフ VIOSのCPU使用量 (PU) Random Write 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 96 5000 10000 15000 20000 25000 VIOCのWrite (IOPS) 30000 35000 4KB 8KB 16KB 32KB 64KB 128KB 256KB 512KB VIOSのCPU使用量は MB/sにもIOPSにも、おお よそ比例 ブロックサイズ毎に異なる 傾き たとえばブロックサイズ 512KBの場合では、約 1,100MB/sのデータ書き 込みにおいて、約0.65PU のCPUを使用 たとえばブロックサイズ 4KBの場合では、約 30,000IOPSのデータ書 き込みにおいて、約 0.7PUのCPUを使用 © 2013 IBM Corporation IBM Power Systems 仮想 SCSI サイジングまとめ ご使用環境（ご提案環境）におけるI/Oタイプとブロックサイズに応じて、今回の結果を VIOSのサイジング目安としてご活用ください。 Power Systems や Storage のモデル、アプリケーション等、環境によって結果が多 少変動する可能性はあります。 – ①Sequential Read • VIOSのCPU使用量はMB/sにもIOPSにもおおよそ比例 • ブロックサイズには非依存 （OSの先読み機能のため） 約1.5GB/sの読み込みにおいて、約0.8puのCPUを使用 約6,000IO/sの読み込みにおいて、約0.8puのCPUを使用 – ②Random Read • VIOSのCPU使用量はMB/sにもIOPSにもおおよそ比例 • ブロックサイズ毎に異なる傾き ブロックサイズ512KBの場合では、約500MB/sの読み込みにおいて、約0.3puのCPUを使用 ブロックサイズ4KBの場合では、約3,500IO/sの読み込みにおいて、約0.2puのCPUを使用 – ③Sequential Write • VIOSのCPU使用量はMB/sにもIOPSにもおおよそ比例 • ブロックサイズ毎に異なる傾き ブロックサイズ512KBの場合では、約1,100MB/sの書き込みにおいて、約0.65puのCPUを使用 ブロックサイズ16KBの場合では、約23,000IO/sの書き込みにおいて、約0.7puのCPUを使用 – ④Random Write • VIOSのCPU使用量はMB/sにもIOPSにもおおよそ比例 • ブロックサイズ毎に異なる傾き ブロックサイズ512KBの場合では、約1,100MB/sの書き込みにおいて、約0.65puのCPUを使用 ブロックサイズ4KBの場合では、約30,000IO/sの書き込みにおいて、約0.7puのCPUを使用 97 © 2013 IBM Corporation IBM Power Systems このページはブランクです 98 © 2013 IBM Corporation
© Copyright 2024 Paperzz
