Flex System® x240 SAN Boot 構築導入ガイド

Flex System ®
x240
SAN Boot
構築導入ガイド
Windows Server 2008 R2 SP1 編
+ Brocade SAN スイッチ
Flex System SAN Boot 構築導入ガイド
~Flex System x240 と Storwize V7000 による SAN Boot 環境への Windows Server 2008
R2 SP1 インストール~
2013 年 12 月
担当: System x Technical Sales
IBM、ServerGuide、Flex System は、IBM Corporation の商標です。
Microsoft、Windows および Windows ロゴは、Microsoft Corporation の米国およびその他の国における商標です。
Intel、Xeon は、Intel Corporation の米国およびその他の国における商標です。
他の会社名、製品名、およびサービス名等はそれぞれ各社の商標または登録商標です。
2
お願い
ここに記載されている情報とそれに対応する製品をご使用になる前に、「本書をご利用になる前
に」の事
項を必ずご確認ください。
3
本書をご利用になる前に
【免責】
当内容は、お客様、販売店様、その他関係者が、System x, Flex System などを活用することを目的
として作成しました。
詳細につきましては、URL( http://www.lenovo.com/legal/jp/ja/ )の利用条件をご参照ください。
当技術資料に含まれるレノボ・エンタープライズ・ソリューションズ株式会社および Lenovo Ent
erprise Solutions (以下総称して、LES) 以外の製品に関する情報は、各提供ベンダーより提供され
たものであり、LES はその正確性または完全性についてはいかなる責任も負いません。
当技術資料の個々の項目は、LES にて検証されていますが、お客様の環境において全く同一また
は同様な結果が得られる保証はありません。お客様の環境、その他の要因によって異なる場合が
あります。お客様自身の環境にこれらの技術を適用される場合は、お客様自身の責任と費用にお
いて行なってくださいますようお願いいたします。
Copyright 2015 レノボ・エンタープライズ・ソリューションズ株式会社
4
INDEX
お願い ............................................................................................................................................... 3
本書をご利用になる前に .................................................................................................................. 4
INDEX............................................................................................................................................. 5
要約 .................................................................................................................................................. 7
1.
SAN Boot とは ......................................................................................................................... 8
1.1.
1.2.
1.3.
1.4.
2.
本書の構成 .............................................................................................................................. 13
2.1.
2.2.
2.3.
2.4.
3.
サーバー運用の新形態 ~ SAN Boot~ ............................................................................... 8
Remote Boot の仕組みと利点............................................................................................. 9
Remote Boot の欠点と解決方法 .......................................................................................10
SAN Boot の典型的構成イメージ..................................................................................... 11
Flex System の構成 ...........................................................................................................13
本書で使用したシステム環境一覧 .....................................................................................15
Flex System の構造と使用する用語 .................................................................................17
構築の流れ .........................................................................................................................18
事前に準備するもの ................................................................................................................ 19
3.1. ソフトウェア......................................................................................................................19
3.1.1.
デバイス・ドライバー、マルチパスドライバー .......................................................19
3.1.2.
ユーティリティー.......................................................................................................19
3.2. ハードウェア......................................................................................................................20
4.
管理用 PC へのユーティリティーのインストール .................................................................. 21
4.1.
5.
管理系ネットワーク・インターフェースの設定 ..................................................................... 23
5.1.
5.2.
5.3.
5.4.
6.
JRE....................................................................................................................................21
CMM, Ethernet スイッチ, FC スイッチ への管理用 IP アドレスの割り当て ................23
Storwize V7000 ストレージ装置への管理用 IP アドレスの割り当て ..............................31
本書で想定するネットワーク設定 .....................................................................................33
本書での FC スイッチ設定 ................................................................................................34
SAN の構成とファイバー・チャネル・スイッチ・モジュールの設定.................................... 40
6.1. SAN Boot におけるマルチパス制御..................................................................................40
6.2. 電源の投入 .........................................................................................................................42
6.2.1.
WWPN の確認............................................................................................................42
6.3. 二次経路の切断 ..................................................................................................................53
6.4. ファイバー・チャネル・スイッチでの Zoning (ゾーニング)............................................54
7.
Storwize V7000 ストレージ装置の設定.................................................................................. 63
7.1.
8.
Mapping.............................................................................................................................63
x240 における uEFI の設定 .................................................................................................... 74
5
8.1. システム uEFI の設定 .......................................................................................................74
8.2. FC 拡張カード uEFI の設定 .............................................................................................78
8.2.1.
QLogic HBA、 uEFI モードの場合(FC 拡張カードの設定) ......................................81
9.
OS の導入 ...............................................................................................................................86
9.1. Windows Server 2008 R2 SP1 のインストール ...............................................................86
9.2. SDDDSM(マルチパス制御ドライバ)の導入......................................................................86
9.2.1.
IBM Subsystem Device Driver Device Specific Module version 2.4.3.4-4 for
Microsoft Windows Server 2003/2008/2008 R2 (x64) editions の場合...................................87
9.3. 二次経路の設定 ..................................................................................................................90
9.3.1.
フェイル・オーバー/フェイル・バックの確認..........................................................97
9.3.2.
予備機への切り替え .................................................................................................100
10.
APPENDIX....................................................................................................................... 107
10.1.
SAN Boot に関する考慮点..........................................................................................107
10.1.1. サポート例外申請について ......................................................................................107
10.1.2. 同一ストレージ装置からのブートサーバー台数について .......................................107
10.1.3. 内蔵ディスクの使用 .................................................................................................108
10.1.4. Windows Server 2008 R2 環境でのライセンス・アクティベーションについて ...108
10.2.
SAN Boot に関するマイクロソフト社の見解.............................................................109
10.3.
参考情報 ....................................................................................................................... 110
10.3.1. 参考資料 ................................................................................................................... 110
参考 URL................................................................................................................................. 110
6
要約
本書では Flex System の SAN Boot 環境を構築するための主要なプロセスについて取り上げました。
Flex System x240、ファイバー・チャネル・スイッチ・モジュールを利用し、外部ディスクに Storwize
V7000 を利用したシステムにおいて、機器をセットアップし、Windows Server 2008 R2 SP1 を SAN boot 構
成にてインストールして設定するために必要な手順を、ステップバイステップで紹介しています。
本書では、一定の環境が用意されれば、本書を参照しながら実際に SAN Boot 環境の構築が可能となる
ことを目指しています。また Flex System を用いた SAN Boot 構成の検討・導入はもとより、その構造や技
術的特徴について速習されたい方の参考資料としてもご活用くだされば幸いです。
活用局面: □ 提案時 ■ 構築時 □ 運用時
情報 : □ Marketing ■ Technical
シリーズ: ■ 単発 □ 定期発行
対象機種: □ 全機種 ■ 特定機種( x240)
7
1. SAN Boot とは
1.1. サーバー運用の新形態 ~SAN Boot~
SAN Boot とは、ファイバー・チャネルで接続された SAN ストレージ装置に OS インストールしてサーバーを起動
する機能で、「Remote Boot」の一形態です。
「Remote Boot」とは、サーバーの筐体内の(ローカルの)ディスクからブートする Local Boot に対して、外部の
(リモートの)ディスク装置に OS を導入し起動する構成を指します。
Flex System は、この SAN Boot 構成に対応しており、SAN ストレージ装置上に Windows Server を導入す
ることができます。
本資料では、Flex System で Windows Server 2008 R2 SP1 の SAN Boot 環境を構築する際の手順と注意点に
ついて示します。
8
1.2. Remote Boot の仕組みと利点
Remote Boot の仕組みは、通常のパソコンに外付けハードディスクを接続し、そこに OS をインストールして
いると考えれば分かりやすいでしょう。
上図のように、通常使用するサーバー本体にはハードディスクを内蔵せず、外付けのディスク装置に OS をイ
ンストールしておきます。
こうしておくことでサーバー本体が故障した場合に、あらかじめ用意しておいた同一機種の待機サーバーに
外付けディスク装置を繋ぎかえるだけで、すぐさまサーバサービスを再開することが可能になります。このよう
な運用を一般的に「コールドスタンバイ」と呼びます。
9
1.3. Remote Boot の欠点と解決方法
ただ、前ページの様な単純なコールドスタンバイ運用には以下のような欠点もあります。
 外付けディスク装置の障害には無力
OS が入っている外付けディスク装置が故障した場合、復旧が困難となります。
 物理的なケーブルの繋ぎ替えによる複雑さ
実際の設置環境には外付けディスク装置のケーブルだけではなく、LAN やコンソール、電源など、さま
ざまなケーブルが入り乱れています。このような状況の中で実際にケーブルを繋ぎかえる運用は、人為
的ミスの潜在的な危険性を顕在化させます。
 RAID 構成情報の移行手順が複雑
外付けディスク装置の障害に備えて、サーバーに内蔵した RAID カードで RAID を構成することは有用な
耐障害手段です。ただ、通常の PCI アダプターなどの RAID コントローラーでは、RAID 構成は RAID カー
ド上、つまりサーバー内部に存在するため、サーバーを切り替えると、当然ながら RAID 構成情報が失
われてしまいます。そのため、あらかじめリムーバブルメディアなどにバックアップしておいた構成情報
を待機系のサーバーに手動でコピーするなどの方法をとる必要があります。これも人為的ミスの潜在的
な危険性を増大させます。
このような、単純な Remote Boot の弱点を克服できるのが SAN Boot です。SAN と SAN ストレージ装置によっ
て以下のように問題点を解決できます。
 外付けディスク装置の障害→ 外付けディスク装置の冗長化で解決!
RAID を組み、ディスク単体障害に備えるのはもちろん、サーバーとの接続経路や外付けディスク装置
内のコントローラー、ファン、電源等も二重化した外付けディスクアレイ製品を採用することで、単一障
害点をなくすことが出来ます。
 物理的なケーブルの繋ぎ替えによる複雑さ→ 経路の SAN 化で解決!
サーバーと外付けディスク装置の接続を、SAS や USB ではなく、ファイバー・チャネルで接続して SAN を
構築します。SAN ではあらかじめ複数のサーバーを 1 台のディスク装置につないでおき、管理ユーティリ
ティー上で使用しない経路を遮断しておくことが出来ます。したがって、待機系のサーバーとディスク装
置の経路を平常時にはソフトウェア的に遮断しておき、非常時に再開するだけでサーバーの切り替え
が完了します。これは単純に管理ユーティリティー上での設定変更のみですむため、物理的にケーブ
ルの抜き差しをする方法と比べてはるかに安全です。
 RAID 構成情報の移行手順が複雑 → RAID 機能付外付けディスク装置で解決
両サーバーからアクセス可能な、外付けディスク装置側に RAID コントローラーを持たせ、サーバーには
ディスク装置へのインターフェースカードだけを内蔵します。こうすることでサーバー内ではなくディスク
装置側に RAID 構成を持つため、待機系のサーバーも RAID 構成を引き継ぐことが可能になり、構成情
報のコピー等を行う必要がなくなります。
10
1.4. SAN Boot の典型的構成イメージ
下図は、2 台のサーバーで構成される、典型的な SAN Boot 構成を表しています。このように、単一障害点を
なくした機器で高い可用性を実現できる、コールドスタンバイ構成を構築することができます。
ただこの方法でも、待機系サーバーへの切り替え時には設置場所や電源の確保、コンソールや LAN の準備
などの作業は必要になってしまいます。
11
※SAN Boot 構成において稼働系サーバーと待機(予備)系サーバーは同一のハードウェア構成(本体の型
番、本体に装着するオプション)を推奨致します。ファームウェア、uEFI 等に関しましては同じバージョンのも
のを御使用するようお願い致します。
特に同一の 4 桁の型番の本体(例えば Flex System x240[8737]等 4 桁の型番)や同一の 7 桁の型番の HBA
(例えば QLogic Flex System FC3172 2-port 8Gb FC Adapter [69Y1938]等 7 桁の型番)を装着する事
は原則必須となっています。
この最低条件であれば、例えば CPU のクロックまたはメモリーのサイズが異なっても、使用する OS 側の稼動
要件を満たしているのであれば起動するという事がいえるかと存じます。OS 側の稼動要件につきましては使
用する OS の供給元の WEB サイト等にて御確認するようお願い致します。
ただし発表される時期によって同じ Flex System x240[8737]等 4 桁の型番であっても、チップセットや NIC 等
の Revision が異なる場合ございます。その違いによって全く OS が起動しないという事例は今までにございま
せんが、予期せぬ問題が発生する事は現時点では否定できません。システムボード(マザーボード)の詳細
な公開情報はないため、そういう点においても考慮するという事であれば、稼働系サーバーと待機(予備)系
サーバーはどちらもできるだけ同一の 7 桁の型番の本体(例えば Flex System x240[8737R2J]等 7 桁の型番、
またベースモデルの 7 桁の型番で同じ本体として判断してかまいません)にする事が好ましいといえますが
必ずしも同現象を回避できる事をお約束できるわけではございませんので予め御了承ください。
各ファームウェアに関しては Readme や Change History、WEB サイトの情報に従うようお願い致します。
「Fix Central」
→ http://www.ibm.com/support/fixcentral/
では次章より、具体的な構築の手順について説明します。
12
2. 本書の構成
2.1. Flex System の構成
Flex System に含まれる機器は、システムの構成によって増減しますが、本書では、下に示した構成のみを
扱うこととします。Flex System Enterprise Chassis (8721)を複数増設して、Storwize V7000 ストレージ装
置への接続を想定している為、本書では外部スイッチ(SAN24B-4)に接続する構成になっています。またそ
の構成の場合は、QLogic 製の Flex System FC3171 8Gb SAN スイッチ(69Y1930)をパススルー
(Transparent Mode)に設定し、NPIV 対応である Brocade 製の外部スイッチ(SAN24B-4)に接続する必要があ
ります。
SAN24B-4 および Flex System FC3171 8Gb SAN スイッチの情報については以下をご参照ください。
Brocade (レノボ・エンタープライズ・ソリューションズ株式会社 )
http://www.brocadejapan.com/partnerships/oems/lenovo/overview
Flex System FC3171 8Gb SAN Switch
http://www.ibm.com/systems/jp/flex/networking/fibrechannel/fc3171_8gb_s.html
本書ではストレージ装置として、Storwize V7000 を使用して解説致します。
接続形態としては、以下の構成になります。図は簡略化して表示しています。
<結線図>
ファイバーチャネル × 8
ケーブル (CL-CL)
13
なお本書ではハードウェアのインストールやラックへの搭載、電源の確保等の準備は既に正常に完了され
ている環境を前提とします。またシステムの基本構成である、CMM、FC スイッチ、x240 の UEFI、HBA の BIOS、
Storwize V7000 ストレージ装置のコントローラーファームウェアなど、各種コンポーネントに対する最新ファー
ムウェア更新は完了された状態として省略しています。(最新の状態で無い場合、機器が本書で記載された
とおりの動作をしない場合もあり得ます。)
14
2.2. 本書で使用したシステム環境一覧
本書では、以下の機器構成で作成致しました。
 Flex System
Flex System Enterprise Chassis (7893-92X)
スイッチ・モジュール Flex System ファブリック EN4093 10Gb スケーラブル・スイッチ(49Y4270)
ベイ 1: ・
スイッチ・モジュール 同上
ベイ 2: ・
スイッチ・モジュール Flex System FC3171 8Gb SAN スイッチ(69Y1930)
ベイ 3: ・
スイッチ・モジュール 同上
ベイ 4: ・
ファームウェア
CMM: 2PET12D
FC スイッチ(Flex System FC3171 8Gb SAN スイッチ): 9.1.1.12.0
Flex System x240 (7863-10X)
CPU:
インテル Xeon プロセッサ E5540 2.53GHz
メモリー:
4GB
ディスク:
内蔵HDDなし
ファイバー・チャネル・アダプ Flex System FC3172 2ポート 8Gb FC アダプター(69Y1938)
タ
ー:
OS:
Windows Server 2008 R2 SP1
ファームウェア
uEFI: 1.31
IMM2: 2.60
DSA: 9.41
FC アダプター(Flex System FC3172 2 ポート 8Gb FC アダプター): 7.00.00
 SAN スイッチ
基本ファブリック・スイッチ
System Storage SAN24B-4(249824E)
 SAN ストレージ装置
Storwize V7000(2076-124)
HDD
600GB × 8、 200GB × 2
15
 ソフトウェア
サーバー向け
・ SDDDSM 2.4.3.4-4 for Windows Server 2003/2008/2008 R2 (x64)
本書で使用した構成は必ずしもサポートされる構成を掲載しているわけではございませんので予め御了承
ください。Flex System と System Storage(DS3500/Storwize V7000)による SAN Boot 構成のサポートに
ついては、各ストレージ機器の最新の SSIC の情報や各 Readme 等を参照してください。記載のない構成に
ついては個別サポートで対応可能な場合がありますので、弊社担当営業にご相談ください。
SSIC
http://www.ibm.com/systems/support/storage/config/ssic/displayesssearchwithoutjs.wss?start_over=yes
16
2.3. Flex System の構造と使用する用語
下図は、Flex System の主要コンポーネントを示しています。
このうち、CMM (Chassis Management Module)はサービスプロセッサーおよびキーボード/ビデオ/マウス/と
して機能します。CMM は IP アドレスで各モジュールにアクセスすることで Flex System x240 およびモジュール
類を構成します
スイッチ・モジュールは I/O モジュールともいわれ、Flex System x240 を外部の Ethernet および SAN に接続す
るためのスイッチング・ゲートウェイとなります。Flex System では I/O モジュールは最大 4 個装着することがで
き、本書では 1 番目、2 番目のスイッチ・ベイには Ethernet スイッチを装着して、Flex System x240 に搭載され
たオンボード NIC をそれぞれ 1 つずつ外部に接続するために使用されます。3 番目、4 番目のスイッチ・ベイに
は Flex System x240 に追加搭載された I/O 拡張カードのメディア・タイプに適したスイッチが搭載されます。
SAN Boot のために Flex System x240 にはファイバー・チャネル拡張カードを搭載しますので、ここには SAN ス
イッチ・モジュールを搭載し、Flex System x240 を外部の SAN やストレージ装置に接続するために使用しま
す。
本書では、Flex System x240 のことを「x240」、x240 を収納する Flex System エンタープライズ・シャーシ本体
のことを「シャーシ」、Chassis Management Module を「CMM」、Ethernet スイッチ・モジュールのことを
「Ethernet スイッチ」、ファイバー・チャネル・スイッチ・モジュールのことを「FC スイッチ」、SAN24B-4 のことを
「SAN スイッチ」と呼びます。また、、I/O モジュール Bay 1 にセットされた Ethernet スイッチを「Ethernet スイッチ
1」、I/O モジュール Bay 2 の Ethernet スイッチを「Ethernet スイッチ 2」、I/O モジュール Bay 3 の FC スイッチを
「FC スイッチ 1」、I/O モジュール Bay 4 の FC スイッチを「FC スイッチ 2」と呼びます。さらに、各 x240 上に搭載さ
れたファイバー・チャネル拡張カードを「FC 拡張カード」もしくは「HBA」(“ホスト・バス・アダプタ”の略)と呼び
ます。
17
2.4. 構築の流れ
本書の環境で行った SAN Boot 構成の導入手順概要は下図のとおりです。具体的な操作内容は次章より説
明します。
ストレージ装置
FC スイッチ
初期設定
Flex System x240
ハードウェアの組み立て
CMM、Ethernet スイッチ、FC スイッチへの管理用 IP アドレスの割り当て
ストレージ装置への管理用 IP
アドレスの割り当て
SAN の構成
Qlogic
HBA
UEFI
モード
ComputeNode(x240)の電源をオンにし
HBA BIOS を起動した状態を維持
ゾーニング
(本項では FC スイッチでは
なく SAN スイッチで設定)
RAID 構成および
LUN の作成
マッピング(LUN と各
ComputeNode(x240)の紐付け)
※
ファームウェアが古い場合
OS の導入
Qlogic
HBA
UEFI
モード
HBA BIOS の起動論理ドライブ
(BootLUN)の指定
片系のパスの切断(一時的にシングルパス化)
LUN に OS を導入
マルチパス化
マルチパスドライバーの導入
片系のパスの接続(マルチパス化)
18
3. 事前に準備するもの
3.1. ソフトウェア
以下のものをウェブサイトからダウンロードします。
本書作成日現在のダウンロード先もそれぞれについて併記していますが、万一リンク先が変更されていた場
合、以下より該当のファイルを検索してください。
「レノボ x86 サーバー技術情報」
→http://www.lenovojp.com/server/technical/
「Fix Central」
→ http://www.ibm.com/support/fixcentral/
3.1.1.
デバイス・ドライバー、マルチパスドライバー
①
QLogic FC STOR Device Drivers for Windows 2008 - IBM PureFlex System
http://www.ibm.com/support/entry/portal/docdisplay?lndocid=migr-5090396
②
SDDDSM 2.4.3.4-4 for Windows Server 2003/2008/2008 R2 (x64)
http://www.ibm.com/support/docview.wss?uid=ssg1S4000350#Storwize
3.1.2.
③
ユーティリティー
JRE 1.6.0 以降
(1.6 系最新) http://www.java.com/ja/download/
これらは主に管理用 PC にインストールするユーティリティ・ソフトウェアです。すべて、CD-R や USB ストレ
ージ等に保存しておきます。
19
3.2. ハードウェア
15 ページ「2.2 本書で使用したシステム環境一覧」で説明した機器の他に、以下のハードウェアを
用意します。
①
管理用 PC
Flex System の各種機器を設定するための管理用 PC が必要となります。x240 に OS をインストー
ルする前に各種機器を設定するため、x240 自身を管理用 PC として兼用することはできません。
そのため、外部に別途用意しなければなりません。管理用 PC には、x240 のバックアップをネット
ワーク経由で取得する為にバックアップサーバーを購入している場合にはそれを利用すること
が可能です。また、Flex System と TCP/IP で通信可能な任意の Windows PC を管理用 PC として
利用することもできます。いずれにせよ、x240 以外に何らかの Windows PC またはサーバーをご
用意ください。
以下、導入の上で必須ではありませんが、導入作業を円滑に進めるために望ましい機器を挙げま
す。
②
イーサネットハブ(スイッチングハブ)
Flex System は、設定する機器が多いため、通常はセットアップ時に管理 LAN を構築します。セ
ットアップ時に、本番の LAN に接続できない場合には、臨時にセットアップ用のハブを用意して、
管理 LAN を構築します。4 ポート以上のハブまたはイーサネットスイッチで構いません。(もしも
用意できない場合は、Ethernet スイッチを使って代用することも可能です。)
20
4. 管理用 PC へのユーティリティーのインストール
管理端末に、Flex System システムの各種機器を設定するためのソフトウェアを導入します。管理端末にイン
ストールするソフトウェアは、以下のとおりです。
 JRE
4.1. JRE
まず、JAVA 実行環境(JRE)をインストールします。これは CMM の一部の画面(リモート制御、I/O モジュール
へのアクセス画面等)で使用されます。
(注): 後述の Storage Manager に必要な JRE は、本書の環境ではインストール時に専用の JRE が同時にイン
ストールされますので、別途のインストールは不要です。
1.
19 ページ「3. 事前に準備するもの」で用意した JRE のファイルを管理用 PC の任意のフォルダにコピーし、
ダブルクリックして起動します。
21
2.
使用許諾契約を確認し同意可能な場合は「インストール」をクリックします。インストールが行われます。
完了までしばらくお待ちください。
22
5. 管理系ネットワーク・インターフェースの設定
本項では、Flex System シャーシの CMM、Ethernet スイッチ、FC スイッチの管理系ネットワーク・インタ
ーフェース、Storwize V7000 ストレージ装置の管理用 IP アドレスを設定します。CMM、Ethernet スイッ
チ, FC スイッチは各 1 つずつ設定します。すべて同一のサブネットに含める必要があります。Storwize
V7000 ストレージ装置は各コントローラーに 1 つずつ設定します。したがって、あらかじめ接続先のネッ
トワークの管理者に申請して、有効な固定 IP アドレスの割り当てを受けておいてください。
これより、実際の設定方法をご案内します。
5.1. CMM, Ethernet スイッチ, FC スイッチ への管理用 IP アドレスの割り当て
CMM の初期設定については以下のガイドを参考に設定してください。
IBM Flex System CMM (Chassis Management Module) 初期設定ガイド
http://www.ibm.com/jp/domino04/pc/support/Sylphd07.nsf/jtechinfo/SYJ0-03B3F39
※ 本書では CMM の IP アドレスは[192.168.93.102]に設定しています。
※ CMM の初期設定に I/O モジュールの IP アドレスの設定がないので、初期設定が終わった後に
CMM から各 I/O モジュールの IP アドレスを設定してください。
23
Ethernet スイッチ, FC スイッチに接続された外部のネットワークと通信を可能にする手順は、以下のよ
うになっています。
1.
Flex System の電源を入れます。
2.
管理用 PC の Ethernet ポートと CMM の Ethernet ポートをストレート・ケーブルまたはクロス・ケ
ーブルで接続するか、Ethernet スイッチを介してストレート・ケーブルで接続します。
※ スイッチを使用する場合、ネットワーク上に DHCP サーバーが無いことを確認してください。Flex
System の CMM は最初にデフォルトの固定アドレスを適用します。
3.
管理用 PC のネットワーク設定画面を開き、ネットワーク・インターフェースに CMM と通信可能な
アドレスを割り当てます。Flex System の CMM のデフォルト・アドレスは[192.168.70.100 /
255.255.255.0]ですが、本項では[192.168.93.102 / 255.255.255.0]を割り当てています。その為、
下図のように[192.168.93.252 / 255.255.255.0]等を割り当てます。
24
4.
管理用 PC 上で Web ブラウザーを開きます。URL フィールドに CMM の IP アドレス
[https://192.168.93.102]を入力します。
5.
認証画面が開きます。
以下のユーザー名と初期設定で登録したパスワードでログインしてください。
ユーザー名:USERID
25
6.
トップ画面が表示されます。[Chassis Management]->[ I/O Modules]を選択し、クリックします。
7.
「I/O Modules」画面が表示されます。「IO Module 1」から「IO Module 4」のいずれかを選択し、
Device Name 欄のリンクをクリックします。本項では「IO Module 3」を選択します。
26
8.
「I/O Module Properties」が表示されます。「General」タブをクリックします。
9.
「Enable external(non-management)ports」のチェックボックスにチェックが入っているか確認しま
す。チェックが入っていれば各 x240 がこの FC スイッチに接続された外部のネットワークと通信可
能になります。もし、入っていなければチェックを入れて「Apply」ボタンを押します。
10. 引き続き、残りの「Device Name」で同じ操作をして「Enable external(non-management)ports」の
チェックボックスにチェックが入っているか確認をしてください。
27
11. 次に Ethernet スイッチ、FC スイッチに管理用 IP アドレスを割り当てます。まず、CMM にログインし
ます。[Chassis Management]->[Component IP Configuration]を選択し、クリックします。
12. 「Component IP Configuration」が表示されます。「I/O Modules」の「Bay」欄の「1」から「4」のいず
れかを選択し、「Device Name」欄のリンクをクリックします。本項では「Bay」欄の「1」を選択しま
す。
28
13. 以下のような画面が表示されます。「IPv4」タブを選択し、クリックします。
14. 「Enable IPv4」のチェックボックスにチェックがされていて、「Configuration Method」が「Use Static
IP Address」を選択しているか確認してください。もし、されていない場合、「Enable IPv4」のチェ
ックボックスにチェックをつけて、「Configuration Method」に「Use Static IP Address」を選択してく
ださい。「New Static IP Configuration」の「IP Address」、「Subnet Mask」、「Gateway Address」に
値を入力してください。本項では IP アドレス[192.168.93.124/255.255.255.0]を設定しています。
15. 値を入力後、「Apply」ボタンを押します。
29
16. 「IPv4 Address Configuration」が表示されます。「Close」ボタンを押します。
17. IP アドレスを設定した画面を閉じます。「Close」ボタンを押します。
18. 「Component IP Configuration」が表示されます。引き続き、「I/O Modules」の「Bay」欄の「1」から
「4」のいずれかを選択し、IP アドレスを設定してください。
30
5.2. Storwize V7000 ストレージ装置への管理用 IP アドレスの割り当て
Storwize V7000 の初期設定については、以下のガイドをご参照ください。
Storwize V7000 V6.1.0 Quick Installation Guide (Japanese Version)
http://www.ibm.com/support/docview.wss?uid=ssg1S7003427&myns=s028&mynp=OCST3FR7&
mync=E
※ Storwize V7000 の IP アドレスは、デフォルトとして[192.168.70.121]がキャニスター1 のイーサネット
ポート 1 のサービス・アドレスとして事前構成されています。
※ 同じく、デフォルトの IP アドレスとして[192.168.70.122]がキャニスター2 のイーサネットポート 1 のサ
ービス・アドレスとして事前構成されています。
※ これらの IP アドレスと競合するものはネットワーク内に接続しないでください。
設定されている IP アドレスを変更する手順は、以下のようになっています。
1.
管理用 PC でブラウザを起動し、Storwize V7000 の IP アドレスを入力して「Enter」を押しま
す。
2.
Storwize V7000 のストレージ管理のトップページが表示されます。ユーザ名、パスワード
を入力し、ログインボタンを押します。デフォルトではユーザ名「superuser」、パスワード
「passw0rd(0 は数字のゼロ)」が設定されています。本書ではデフォルトの設定でログインしま
す。
31
3.
[v7000-2]->[ホーム]->[概要]が表示されます。左にあるアイコンから[設定]->[ネットワーク]をク
リックします。
※ [v7000-2]のところはシステムにより名前が違うことがあります。本項では[v7000-2]という名前が表
示されます。
※ 前の操作画面が残っている場合があるため、ログイン後に[v7000-2]->[ホーム]->[概要]が表示
されない可能性があります。
4.
[v7000-2]->[設定]->[ネットワーク]が表示されます。「管理 IP アドレス」をクリックし、表示されて
いるポートをクリックすると「IP アドレス」、「サブネット・マスク」、「ゲートウェイ」を入力できる画面
がでてくるので、変更したい値にそれぞれ変えてください。変更後、「OK」ボタンを押します。
5.
Storwize V7000 からログアウトします。
32
5.3. 本書で想定するネットワーク設定
ここまでの作業で必要な全ての機器に対して管理用 IP アドレスの設定が完了しました。本書では以
下の IP アドレスと管理用ネットワーク(192.168.93.0/24)を構築したものとして次章以降の説明に進み
ます。
Ethernet スイッチ
管理用 PC
(192.168.93.252)
SAN スイッチ 1
(192.168.93.222)
SAN スイッチ 2
(192.168.93.223)
FC スイッチ 1
(192.168.93.126)
Storwize V7000 ストレ
ージ装置
(
)
LAN ケーブル
×6
CMM
各 Ethernet スイッチと管理モジュールは内部
でネットワーク接続されているため、 Ethernet
ファイバーチャネル × 8
ケーブル (CL-CL)
FC スイッチ 2
(192.168.93.127)
スイッチを直接管理用ネットワークに接続す
る必要はありません。管理用 PC は管理モジュ
ールを経由して Ethernet スイッチの管理画面
に入ることができます。
33
5.4. 本書での FC スイッチ設定
本項の環境では FC スイッチはパススルーとして設定する必要があります。
FC スイッチがパススルーモードで動作しているか、以下の手順で確認してください。
1.
管理用 PC でブラウザを起動し、FC スイッチ 1 の IP アドレス[https://192.168.93.126]を入力して
「Enter」を押します。本項では FC スイッチ 1 の IP アドレスは[192.168.93.126/255.255.255.0]を
割り当てています。
2.
「Login to Switch」が表示されます。ログイン名、パスワードを入力し、「Connect」ボタンをクリック
します。デフォルトとしては、ログイン名「USERID」、パスワード「PASSW0RD(0 は数字のゼロ)」が
設定されています。本項ではログイン名「admin」、パスワード「password」でログインします。
34
3.
トップ画面が表示されます。Quick Tools から[Switch]->[Advanced Switch Properties]を選択し、
クリックします。
4.
「Advanced Switch Properties」が表示されます。「Transparent Mode」のチェックボックスにチェ
ックがあることを確認します。チェックがついていない場合、チェックボックスをクリックし、チェッ
クが入ったことを確認して「OK」ボタンをクリックします。
※すでに、「Transparent Mode」になっている場合、「Timeout Values」は表示されません。
35
5.
設定を変更した場合のみ、「Quick Tools」が表示されます。「了解」ボタンを押して FC スイッチ 1
を再起動してください。
6.
引き続き、FC スイッチ 2 に対して同じ操作をしてください。
FC スイッチがパススルーモードで動作していることを確認した後、マップポートの設定をします。
マップポートの設定方法については、以下の手順で確認してください。
1.
管理用 PC でブラウザを起動し、FC スイッチ 1 の IP アドレス[https://192.168.93.126]を入力して
「Enter」を押します。
2.
「Login to Switch」が表示されます。ログイン名、パスワードを入力し、「Connect」ボタンをクリック
します。
36
3.
トップ画面が表示されます。Quick Tools から[Port]->[Map Ports]を選択し、クリックします。
4.
「Map Ports」が表示されます。使用する Bay(x240 が装着する Flex System 内のベイ)毎に FC スイ
ッチの Ext(外部ポート)の中から Primary にしたいポートを選択します。(今回は Flex System シャ
ーシ内の x240 は Bay1 のみ、FC スイッチは Ext 1:0 を Primary、Ext 2:15 を Backup として使用する
場合の例です)
37
5.
同様に使用する Bay 毎に FC スイッチの Ext の中から Backup にしたいポートを選択します。
6.
すべての使用する Bay 毎の設定が完了した後、「OK」ボタンをクリックします。
38
7.
「Updating Switch Binding」が表示されます。「OK」ボタンをクリックします。
8.
引き続き、FC スイッチ 2 に対して同じ操作をしてください。
39
6. SAN の構成とファイバー・チャネル・スイッチ・モジュールの設定
6.1. SAN Boot におけるマルチパス制御
SAN boot 構成で、Flex System と Storwize V7000 ストレージ装置のマルチパス(複数の経路)の SAN のト
ポロジーと物理結線は以下のようになります。
Storwize V7000 ストレ
ージ装置
(
)
ファイバーチャネル × 8
ケーブル (CL-CL)
x240 のファイバー・チャネル拡張アダプタ(HBA)は 1 枚で 2 つの HBA ポートを持ちます。1 番目、2 番目
の HBA ポートは FC スイッチ(Bay3, Bay4)に接続されます。Bay3 のファイバー・チャネル・スイッチ・モ
ジュールは左の SAN スイッチ 1 に、Bay4 のファイバー・チャネル・スイッチ・モジュールは右の SAN スイ
ッチ 2 に接続します。
したがって上図の接続形態の場合、1 番目、2 番目の HBA はどちらも Storwize V7000 のキャニスター1
とキャニスター2 の両方と通信します。この対応関係は、SAN スイッチの Zoning 設定で、Alias Zoning に
よって明確に対応付ける必要があります。これは、54 ページ「6.4 ファイバー・チャネル・スイッチでの
Zoning (ゾーニング)」で説明します。
40
一方 Storwize V7000 ストレージ装置上の論理ドライブは、その論理ドライブを使用する x240 と排他的
に(=他の x240 からは見えないように)対応付けられます。上述したとおり、x240 には 2 つの HBA ポートが
ありますので、1 つの論理ドライブに対し、2 つの HBA ポートが対応付けられることになります。この対応
関係は、Storwize V7000 ストレージ管理の Mapping 設定で明確に対応付ける必要があります。これは
63 ページ「7.1 Mapping」で説明します。
サーバーと論理ドライブは、キャニスター1 系統とキャニスター2 系統の 2 つのどちらかの経路(パス)を
通して通信することができます。平常時にどちらの経路を使って通信するかは、Storwize V7000 上で
行うコントローラーの Ownership の設定(その論理ドライブの平常時の制御権をどちらのコントローラー
に持たせるか)によって決まります。Ownership を持っているコントローラー側の経路がデフォルトの経
路になります。SDDDSM の機能により、通信に使用している経路が切れたとしても、コントローラーがフ
ェールオーバーし、自動的にもう片方の経路に切り替わって通信が継続されます。
ただし、サーバー起動時(SDDDSM がロードされる前)には、1 系統と 2 系統の 2 つのパスのうち、いずれ
か片側を使って起動します。そのため、サーバーの起動時に 1 系統と 2 系統のどちらから起動するか
を、x240 FC 拡張カード BIOS で設定しておく必要があります。通常 x240 FC 拡張カード BIOS での起
動設定は、Storwize V7000 上で行う Ownership の設定とあわせて、デフォルトの経路の側で起動する
ように設定しなければなりません。
また、OS のインストール時には、当然ながら SDDDSM はまだインストールされていませんので、OS 導
入先の論理ドライブへ 2 つのパスが存在している場合、論理ドライブが 2 つに認識されてしまい、OS が
正常に導入できません。そのため、OS 導入時には、Ownership のない側のパスを切断しておく必要が
あります。Ownership のないパスの切断には以下の方法を用います。

SAN スイッチの Zoning 設定で行う
本書では、SAN スイッチの Zoning 設定をシングルパスにする方法でセットアップします。(マルチパスの
制御を行う SDDDSM を導入した後、Zoning 設定をマルチパスにします。)
OS インストール時の SAN 環境の設定の手順を、以下に簡単にまとめます。







サーバーの HBA と Storwize V7000 のコントローラーの WWPN を確認
SAN スイッチ上で、Zoning によって、サーバーの HBA とコントローラーをシングルパスになるよう対応
付ける
Storwize V7000 上で、Mapping によって、論理ドライブとサーバーの HBA を対応付ける
x240 FC 拡張カード BIOS の起動設定で、Ownership を持つ側から起動するように設定する
OS をインストールし、SDDDSM を導入する
SAN スイッチ上で、Zoning によって、サーバーの HBA とコントローラーをマルチパスになるよう対応付
ける
Storwize V7000 上で、Mapping によって、論理ドライブとサーバーの HBA を対応付けるポートを増や
す
それでは、次項より、これらの具体的な手順について説明します。
41
6.2. 電源の投入
6.2.1. WWPN の確認
ゾーニングに必要となる Storwize V7000 の WWPN を確認します。
1. Flex System のファイバー・チャネル・スイッチ・モジュールと Storwize V7000 ストレージ装置の両
コントローラーを下図のようにファイバー・チャネルケーブルで接続します。
Storwize V7000 ストレ
ージ装置
(
)
ファイバーチャネル × 8
ケーブル (CL-CL)
2. Storwize V7000 ストレージ装置の電源が入っていない場合は投入します。
3. 管理用 PC でブラウザを起動し、Storwize V7000 の IP アドレスを入力して「Enter」を押しま
す。
42
4. Storwize V7000 のストレージ管理のトップページが表示されます。ユーザ名、パスワード
を入力し、ログインボタンを押します。
5. ログイン後、左にあるアイコンから[モニター]->[システムの詳細]を選択し、クリックします。
43
6. [v7000-2]->[モニター]->[システムの詳細]が表示されます。「キャニスター」の左にある「+」をク
リックし、表示された「キャニスター1」をクリックします。右のスクロールバーを一番下まで移動さ
せて、「ポート」の中の状況がアクティブになっている WWPN をメモなどに残してください。
7. 引き続き、「キャニスター2」をクリックして、同じように WWPN を確認してください。
8. 右上にある「ログアウト」をクリックしてログアウトします。
x240 の HBA の WWPN の確認と設定をします。
1.
Flex System の x240 も電源が入っていない場合は投入します。
2.
x240 の電源ボタンを押し、x240 を起動します。
44
3.
ロゴが表示され、[F1]キーを押します。
4.
[↓]キーを押して、”System Settings”を選択し[Enter]を押します。
45
5.
[↓]キーを押して、”Storage”を選択し[Enter]を押します。
6.
”FC3172-8Gb FC Adapter-(WWPN)-Port 1”が選択されていることを確認し[Enter]を押しま
す。
46
7.
[↓]キーを押して、”Adapter Info”を選択し[Enter]を押します。
8.
「Adapter Info」が表示されます。「Adapter WWPN:」の値を確認し、メモなどに残してください。
9.
「ESC」を 2 回押して、”FC3172-8Gb FC Adapter-(WWPN)-Port 2”を選択し、「Enter」を押しま
す。9 からの操作をして WWPN を確認してください。
47
10. WWPN を確認した後、「ESC」を 2 回押して、再度”FC3172-8Gb FC Adapter-(WWPN)-Port 1”
を選択し、「Enter」を押します。
11. [↓]キーを押して、”Edit Boot Settings”を選択し[Enter]を押します。
48
12. ”Host Adapter UEFI”の設定を選択し[Enter]を押します。[Enable]を選択し[Enter]を押しま
す。”Host Adapter UEFI” を有効にすることで、Storwize V7000 から OS が起動できるようにな
ります。
HBA のファームウェアが古い場合、以下のように画面が表示され”Host Adapter UEFI”の設定を
[Enable] にした後、[Save Changes]を選択し、「Enter」を押す必要があります。
49
13. 「ESC」キーを 4 回押して、以下の画面が表示されたら<Y>キーを押して uEFI 設定を終了し再起
動させます。必要に応じて[Ctrl]キーと[Alt]キーと[Delete]キーを押して再起動させます。
50
14. ロゴが表示され、[F1]キーを押します。
15. [↓]キーを押して、”System Settings”を選択し[Enter]を押します。
51
16. [↓]キーを押して、”Storage”を選択し[Enter]を押します。
この状態のまま、uEFI 画面を終了せずに次項の作業に移ります。
(注: この状態にしておかないと Zoning 設定時にポートが見えません。)
次は、以下の手順に従って進めてください。
→54 ページ 6.4.ファイバー・チャネル・スイッチでの Zoning (ゾーニング)
52
6.3. 二次経路の切断
前述したように、OS インストール時には SDDDSM などのマルチパス制御機能が働かないため、ホスト
(ComputeNode[x240])から見た起動ドライブへの経路が複数あってはいけません。したがって、デュ
アルパス構成にする場合でも、OS インストール時にはシングルパスにしておく必要があります。40 ペ
ージ「6.1.SAN Boot におけるマルチパス制御」で述べたように、シングルパスにする方法はいくつか
ありますが、本書では二次側(バックアップ側)の経路になる側の Zoning および Mapping を設定しな
い方法を例として記述します。
イメージとして、Flex System のファイバー・チャネル・スイッチ・モジュールと Storwize V7000 ストレージ
装置の両コントローラーを下図のようにファイバー・チャネルケーブルで接続したように設定します。
切断
切断
切断
ファイバーチャネル × 8
ケーブル (CL-CL)
53
6.4. ファイバー・チャネル・スイッチでの Zoning (ゾーニング)
本項では各 x240 上の HBA と Storwize V7000 ストレージ装置のコントローラーを関連付ける、Zoning の
設定を行います。Zoning はファイバー・チャネル・スイッチ(SAN スイッチ)上で動作している Web インタ
ーフェースで行います。Zoning の目的は本来通信すべきデバイス同士だけに通信を認めるようにする
ことで SAN 内のトラフィックを抑え、パフォーマンスを向上させることです。とりわけ SAN Boot の場合、
起動デバイスとなっている SAN 上の論理ドライブをすばやく見つけねばならないため、この作業が必
要です。
なお、本項で説明する方法は、Flex System に Brocade 社製 SAN スイッチを使用した場合のものです。
他のメーカー製 SAN スイッチの場合、手順が異なりますのでご注意ください。
1.
まず、SAN スイッチ 1 の Zoning 設定を行います。Brocade 社製 SAN スイッチでは設定として Web ブ
ラウザーを用いて行います。管理用 PC でブラウザーを起動し、本項の場合、アドレスバーに
http://192.168.93.222/を入力し、Enter を押してください。
2.
ログインダイアログが出ますのでログインを行います。デフォルトアカウントは admin、デフォルトパ
スワードは password です。
54
3.
「Web Tools」画面が出ることを確認してください。
4.
3 の画面の左側ペインの 1 番上の Tasks – Manage – Zone Admin をクリックして、ゾーン作成アイコ
ンをします。(上の画面の赤丸で囲ったアイコンです。) ゾーニング設定の画面が表示されます。
55
5.
「Zone Administration」画面がでることを確認してください。まず画面真ん中の一番大きなエリア
で、3 つのタブが表示されているところに注目し、一番左の”Alias”タブを選択し New Alias をクリッ
クします。
6.
“New Alias”のボタンを押し作成する Alias の名前を入力します。左のツリー上の WWNs を開き、
各 WWN に対して適切でわかりやすい名前を全てに付けます。本書では Flex System シャーシの
ベイ 1 に入っている x240 内の HBA のポートの 1 番目として「SN102551B_HBA1_PORT1」としまし
た。
56
7.
左のツリー上の[Ports & Attached Devices]->[1]の中から HBA の WWPN を選択します。本書では
Flex System シャーシのベイ 1 に入っている x240 内の HBA のポートの 1 番目の WWPN を選択し「>」
ボタンをクリックします。
8.
5.~7.の操作を行って Storwize V7000 のキャニスター1 の WWPN にも Alias を設定します。5.の画
面真ん中の一番大きなエリアで、3 つのタブが表示されているところに注目し、一番左の”Alias”
タブを選択し New Alias をクリックします。
57
9.
“New Alias”のボタンを押し作成する Alias の名前を入力します。左のツリー上の WWNs を開き、
各 WWN に 対 し て 適 切 で わ か り や す い 名 前 を 全 て に 付 け ま す 。 本 書 で は
「SN78N1W2Y_NODE1_PORT2」としました。
10. 左のツリー上の[Ports & Attached Devices]->[1]の中から Storwize V7000 のキャニスター1 の
WWPN を選択し「>」をクリックします。
11. 引き続き、5.~7.の操作を行って Storwize V7000 のキャニスター2 の WWPN にも Alias を設定しま
す 。 Storwize V7000 の キ ャ ニ ス タ ー 2 の WWPN を 設 定 し た Alias の 名 前 を 本 書 で は
「SN78N1W2Y_NODE2_PORT2」としました。
58
12. シングルパスになるよう Zone を作成します。
“Zone”タブを選択してください
“New Zone”のボタンを押してください。作成する Zone の名前を聞いてきますので適切な名前を入力
します。本書では「SN102551B_XHYP1」としました。左側のツリーから先程作成した Alias を表示します。
Storwize V7000 のポートと x240 の HBA のポートを適切に 1 つだけ選択し、「>」を押すことにより右のペイ
ンに表示します。以後、必要な数だけの Zone をここで全て作成してください。
59
13. Zone Config を作成します。
Zone Config は Zone を有効にする設定の単位です。
“New Zone Config”ボタンを押して Zone Config の名前を入れてください。先のステップで作成した
Zone を全て「>」ボタンにて Zone Config に追加します。本書では「IBMSWITCH1000000533CD750D」
としました。
60
14. Zone Config を有効にします。”Enable Config”をクリックし先に作成した Zone Config を選択し OK
をクリックします。
15. Zone Config を有効する前に注意事項が表示され内容を確認し「はい」をクリックします。
これで作成した Zone Config が有効となり、Zone Config に属する全ての Zone が有効となります。
61
16. Zone Config を保存します。「Save Config」をクリックし、注意事項が表示されるので内容を確認し
「はい」をクリックします。
ゾーニングの作業は以上で終了です。
以上は SAN スイッチ 1 側(SAN スイッチ 1 側の経路)にのみ行った作業ですので SAN スイッチ 2 にも別途
アクセスをして必要に応じてパスが通らないように設定をします。
62
7. Storwize V7000 ストレージ装置の設定
7.1. Mapping
“Mapping”とは、各 x240 に搭載したファイバー・チャネル拡張アダプタ(HBA)と Storwize V7000 ストレ
ージ装置内に作成した論理ドライブを紐付ける操作です。これにより、各 x240 から Storwize V7000 ス
トレージ装置の論理ドライブがローカルのハードディスクとして認識されるようになります。併せて
Partitioning 機能により、紐付けられた論理ドライブ以外のドライブにはアクセスできないようになりま
す。これにより同一のストレージ装置を共有しているにもかかわらず、複数の x240 のディスク I/O が競
合してファイル破損を起こす危険性をなくします。
ホスト上から各ボリュームへのパスの合計が 8 パス以内の構成にします。ただし、OS によっては 4 パス
が上限となっている場合があります。8 パスを超える構成は Storwize V7000 でサポートされていませ
ん。Storwize V7000 で推奨されているパスの数は 4 パスになります。
Mapping は、Storwize V7000 にログインして、次の手順で行います。




MDisk の作成
ボリュームの作成
ホストの作成
Mapping の追加
以下より手順をご案内します。
1.
管理用 PC でブラウザを起動し、Storwize V7000 の IP アドレスを入力して「Enter」を押しま
す。
2.
Storwize V7000 のストレージ管理のトップページが表示されます。ユーザ名、パスワードを
入力し、ログインボタンを押します。
63
3.
ログインできましたら、左にあるアイコンから[プール]->[内部ストレージ]を選択し、左クリックしま
す。
4.
[v7000-2]->[プール]->[内部ストレージ]が表示されます。「ストレージの構成」ボタンを押しま
す。
64
5.
「内部ストレージの構成 ステップ 1/2」が表示されます。「推奨構成を使用する」または「別の構
成を選択する」のどちらかを選択します。本書では「別の構成を選択する」を選択した場合の手
順をご案内します。「別の構成を選択する」を選択し、「ドライブ・クラス」、「事前設定」を設定して
「次に >」ボタンを押します。
6.
「内部ストレージの構成 ステップ 2/2」が表示されます。「1 つ以上の新規プールを作成する」を
選択し、「プールの名前または接頭部」を入力し、「完了」ボタンを押します。
65
7.
「RAID アレイの作成」が表示されます。タスクが正常に完了されたのを確認し、「クローズ」ボタ
ンを押します。
8.
次にボリュームを作成します。左のアイコンから[ボリューム]->[プール別のボリューム]を選択し、
左クリックを押します。
66
9.
[v7000-2]->[ボリューム]->[プール別のボリューム]が表示されます。「新規ボリューム」ボタンを
押します。
10. 「新規ボリューム」が表示されます。「事前設定の選択」で汎用を選択し、「プールの選択」で先ほ
ど作成したプール名を左クリックします。
67
11. 「ボリューム名」、「サイズ」を入力するテキストボックスが新たに表示されるので、それぞれ入力し、
「作成」ボタンを押します。
※ 「サイズ」を入力する際、Windows Server 2008 R2 SP1 のシステム要件が 32GB 以上なので、シス
テム要件を充たすサイズを入力してください。本項ではサイズを 60GB にしています。
Windows Server 2008 R2 Service Pack 1 (SP1) システム要件
http://www.microsoft.com/ja-jp/server-cloud/local/windows-server/2008/r2/prodinfo/sysreqs.asp
x
12. 「ボリュームの作成」が表示されます。タスクが正常に完了されたのを確認し、「クローズ」ボタンを
押します。
68
13. 左のアイコンから[ホスト]->[ホスト]を選択し、左クリックを押します。
14. [v7000-2]->[ホスト]->[ホスト]が表示されます。「新規ホスト」ボタンを押します。
15. 「ホストの作成」が表示されます。「ファイバー・チャネル・ホスト」を選択し、左クリックを押します。
69
16. 「ホスト名」を入力し、「ファイバー・チャネル・ポート」でリストに追加するポートの WWPN を選択後、
「リストへのポートの追加」ボタンを押します。
17. 「ポート定義」に選択した WWPN が追加されたのを確認し、「ホスト作成」ボタンを押します。
70
18. タスクが正常に完了されたのを確認し、「クローズ」ボタンを押します。
19. 左のアイコンから[ホスト]->[ホスト別のポート]を選択し、左クリックを押します。
71
20. [v7000-2]->[ホスト]->[ホスト別のポート]が表示されます。Mapping をするホストを選択し、[処
置]->[マッピングの変更]を選択して、左クリックを押します。
※ このとき、定義されているポートの「ログインしているノードの数」欄の値が「1」であることを確認し
てください。「1」以外の場合、Zoning 設定が正しくない可能性があるので、Zoning 設定を見直して
ください。
21. 「ホスト・マッピングの変更」が表示されます。「非マップ・ボリューム」にある先ほど作成したボリ
ュームを選択し、「> マップ」ボタンまたは「>」ボタンを押します。「ホストにマップ済みのボリュー
ム」に選択したボリュームが移動したことを確認し、右下の「ボリュームのマップ」ボタンを押しま
す。
72
22. タスクが正常に完了されたのを確認し、「クローズ」ボタンを押します。
23. 正常に Mapping が終了した後は左のアイコンから[ホスト]->[ホスト・マッピング]を選択して表示
される下図のように、ホストに論理ドライブが紐付けられたか確認できます。
以上でインストール前の Storwize V7000 の作業は終了です。
73
8. x240 における uEFI の設定
8.1. システム uEFI の設定
SAN Boot 環境に OS をインストールする場合、内蔵ハードディスクを無効にしておく必要があります。
Swap 領域用などとして内蔵ハードディスクを使いたい場合は、OS のインストールが完了してから、再
度有効にします。
オンボード SAS コントローラーを無効化する方法で内蔵ハードディスクを使用しないようにします。内
蔵ディスクが搭載されていない x240 をご使用の場合も、念のため本作業を行ってください。
以下より手順をご案内します。
1.
インストールしたい x240 の IMM2 からリモートで接続またはコンソール・ブレイクアウト・ケーブル
を使用して操作をできるようにします。
2.
x240 の電源ボタンを押し、x240 を起動します。起動中に F1 キーを押して UEFI(System
Configuration and Boot Management)を起動します。
74
3.
[System Settings]を選択し Enter キーを押します。
4.
[Devices and I/O Ports] を選択し Enter キーを押します。
75
5.
[Enable / Disable Onboard Device(s)]を選択し Enter キーを押します。
6.
SAS Controller を[Disabled]に変更します。
76
7.
ESC キーを数回押して最初の画面(System Configuration and Boot Management)まで戻り[Save
Settings]を選択し保存します。
8.
Esc キーで画面を抜けて、Y キーでセットアップ画面を終了(Exit Setup)します。
9.
本作業を SAN Boot で運用する全ての x240 に対して行います。
77
8.2. FC 拡張カード uEFI の設定
各種デバイス・ドライバーがロードされる以前の段階、例えば OS の起動時などは BIOS によって起動
ドライブの検索が行われます。システム uEFI によって FC 拡張カード(HBA)の BIOS がロードされ、FC
拡張カードの BIOS が Storwize V7000 ストレージ装置内の論理ドライブを検索し、その中のブート・レ
コードを参照することによって OS が起動します。
したがって、FC 拡張カードの BIOS を有効化し、起動に使用するストレージ・デバイスと論理ドライブ
の所在を認識させる必要があります。これは、最新のファームウェアが FC 拡張カード(HBA)に適用さ
れている場合、自動的に認識されることによって実現されますが、古いファームウェアの場合、FC 拡
張カードの BIOS 設定画面で Storwize V7000 のコントローラーの WWPN を指定することによって実現
できます。実際に OS がインストールされる先は、そのコントローラーの配下で、設定している x240 の
HBA に Mapping されている論理ドライブのうち、LUN 0 のものになります。
ただし、OS が起動してマルチパス制御ドライバ(SDDDSM)が正常にロードされるまでは 2 重化された
経路(デュアルパス)を正常に認識できません。
古いファームウェアの場合、FC 拡張カードの BIOS の有効化とブート・デバイスの指定は、x240 の 2 つ
の HBA ポートのうち、1 つのみ有効にします。有効にする HBA は、Storwize V7000 ストレージ装置上
で Preferred Path に設定したコントローラーの側の HBA のポートです。(本書では、キャニスター1 系
統に論理ドライブの Preferred Path を設定していますので、キャニスター1 に接続されている方の
HBA のポートを設定します。)
78
FC 拡張カード(HBA)が古いファームウェアの場合、[System Settings] -> [Storage] -> [FC3172-8Gb
FC Adapter-(WWPN)-Port 1]を選択して表示される以下の画面のように、ブート・デバイスを指定す
るための”Add Boot Device”などの項目が表示されます。
古いファームウェアの場合は、以下の手順に従って進めてください。
→81 ページ 8.2.1.QLogic HBA、uEFI モードの場合(FC 拡張カードの設定)OS の導入
79
FC 拡張カード(HBA)が最新のファームウェアの場合、[System Settings] -> [Storage] ->
[FC3172-8Gb FC Adapter-(WWPN)-Port 1]を選択して表示される以下の画面のように、”Add Boot
Device”などの項目が無くなっており、特に設定を行う必要はありません。
その為、最新のファームウェアである場合は以下の手順に従って進めてください。
→86 ページ 9.OS の導入
80
8.2.1.
QLogic HBA、uEFI モードの場合(FC 拡張カードの設定)
1.
ロゴが表示され、[F1]キーを押します。
2.
[↓]キーを押して、”System Settings”を選択し[Enter]を押します。
81
3.
[↓]キーを押して、”Storage”を選択し[Enter]を押します。
4.
”IBM Flex System FC3172 2-port 8Gb FC Adapter-Port 1”を選択し[Enter]を押します。
82
5.
[↓]キーを押して、”Add Boot Device”を選択し[Enter]を押します。
6.
接続する先のストレージのコントローラーのポートの WWPN が表示されます。”WWPN
xxxxxxxxxxxxxxxx IBM xxxx”が選択されていることを確認し(選択されていない場合[↓]キ
ーを押して選択し)[Enter]を押します。
83
7.
”-LUN 0000000000000000”が選択されていることを確認し(選択されていない場合[↓]キーを
押して選択し)[Enter]を押します。
8.
”Commit Changes”が選択されていることを確認し(選択されていない場合[↓]キーを押して選
択し)[Enter]を押します。
84
9.
[ESC]キーを 4 回押して、以下の画面が表示されます。<Y>キーを押して uEFI 設定を終了し再起
動させます。必要に応じて[Ctrl]キーと[Alt]キーと[Delete]キーを押して再起動させます。
次は、以下の手順に従って進めてください。
→86 ページ 9.OS の導入
85
9. OS の導入
9.1. Windows Server 2008 R2 SP1 のインストール
本項では、Windows Server 2008 R2 SP1 のインストールを開始します。
「Flex System x240 (8737) - Windows Server 2008 R2 SP1 導入ガイド」にインストール手順があ
りますので参照し作業を行ってください。
Flex System x240 (8737) - Windows Server 2008 R2 SP1 導入ガイド
http://www.ibm.com/jp/domino04/pc/support/Sylphd07.nsf/jtechinfo/SYJ0-03A5775
※ QLogic 8Gb HBA の場合 Windows Server 2008 R2 をインストールする場合、QLogic 8Gb HBA のド
ライバーが含まれていないため、インストールする時に別途ドライバーを用意する必要がありま
す。
QLogic FC STOR Device Drivers for Windows 2008 - IBM PureFlex System
http://www.ibm.com/support/entry/portal/docdisplay?lndocid=migr-5090396
9.2. SDDDSM(マルチパス制御ドライバ)の導入
SDDDSM というソフトウェアは、Storwize V7000 へのマルチパス・アクセスを有効にし、パス障害が発
生した際に Failover をさせて、ディスクアクセスを途切れないようにする役割を持ちます。したがって、
これを導入して初めてマルチパスによる構成が可能になります。
以下より手順をご案内します。
19 ページ「3. 事前に準備するもの」で用意した「IBM Subsystem Device Driver Device Specific
Module version 2.4.3.4-4 for Microsoft Windows Server 2003/2008/2008 R2 (x64) editions」のファ
イルを x240 の任意のフォルダにコピーし解凍します。
86
9.2.1. IBM Subsystem Device Driver Device Specific Module version 2.4.3.4-4 for
Microsoft Windows Server 2003/2008/2008 R2 (x64) editions の場合
1.
解凍されたフォルダの中のファイル群にある、インストールプログラムを実行します。
87
2.
コマンドプロンプトが起動しますので、「Yes」を入力して「Enter」を押します。
3.
インストールが開始され、完了すると再起動を促されるので、「Yes」を入力して「Enter」を押しま
す。再起動が行われます。
88
4.
再起動後、「初期構成タスク」または「サーバーマネージャー」の「機能の追加」欄に”マルチパ
ス I/O(インストールされています)”があることを確認し、SDDDSM が正常にインストールされた
ことを確認してください。(SDDDSM がインストールされていない場合、チェックボックスにチェック
がついてない状態で”マルチパス I/O”と表示されます)
5.
「サーバーマネージャー」の[診断]->[デバイスマネージャー]を選択し、クリックします。[デバイ
スマネージャー]欄に[ディスクアダプター]->[IBM 2145 Multi-Path Disk Device]と[記憶領域コ
ントローラー]->[Microsoft Multi-Path Bus Driver]があることを確認し、SDDDSM が正常にインス
トールされたことを確認してください。
89
9.3. 二次経路の設定
前項で行った SDDDSM の導入により、Storwize V7000 ストレージ装置と x240 の経路が複数あっても
正常に動作するようになっています。 したがって二次側の経路の接続を設定します。
以下より手順をご案内します。
1.
まず、SAN スイッチにてゾーニングを設定します。管理用 PC でブラウザーを起動し、アドレスバ
ーに http://192.168.93.222/を入力し、Enter を押してください。
2.
ログインダイアログが出ますのでユーザー名、パスワードを入力し、「OK」ボタンを押してログイ
ンします。
90
3.
「Web Tools」画面が出ることを確認してください。
4.
3 の画面の左側ペインの 1 番上の Tasks – Manage – Zone Admin をクリックします。(上の画面の
赤丸で囲ったアイコンです。) ゾーニング設定の画面が表示されます。
91
5.
「Zone Administration」画面がでることを確認してください。“Zone”タブを選択してください。
「6.4 ファイバー・チャネル・スイッチでの Zoning(ゾーニング)」の手順で作成した Zone を
「Name」から選択します。左側のツリーから作成した Alias を表示します。右のペインに表示され
ていない Storwize V7000 のポートを適切に選択し、「>」を押すことにより右のペインに表示しま
す。
6.
Zone Config を有効にします。”Enable Config”をクリックし「1.4 ファイバー・チャネル・スイッチで
の Zoning(ゾーニング)」の手順で作成した Zone Config を選択し「OK」ボタンをクリックします。
92
7.
Zone Config を有効する前に注意事項が表示され内容を確認し「はい」をクリックします。
8.
Zone Config を保存します。「Save Config」をクリックし、注意事項が表示されるので内容を確認
し「はい」をクリックします。
9.
以上は SAN スイッチ 1 側(SAN スイッチ 1 側の経路)にのみ行った作業ですので SAN スイッチ 2 に
も別途アクセスをして同様な設定を繰り返します。
93
10. ゾーニングの作業は以上で終了です。次に、Mapping を行います。管理用 PC でブラウザを起
動し、Storwize V7000 の IP アドレスを入力して「Enter」を押します。
11. Storwize V7000 のストレージ管理のトップページが表示されます。ユーザ名、パスワード
を入力し、ログインボタンを押します。
12. ログイン後、左のアイコンから[ホスト]->[ホスト別のポート]を選択し、クリックします。
94
13. [v7000-2]->[ホスト]->[ホスト別のポート]が表示されます。ホストが複数ある場合、「7.1
Mapping」の手順で作成したホストを選択し、クリックします。[追加]->[ファイバー・チャネル・ポ
ート]を選択し、クリックします。本項では一つしかホストがない場合の手順になります。
14. 「ファイバー・チャネル・ポートの追加」が表示されます。「ファイバー・チャネル・ポート」で x240
の HBA の WWPN を選択後、「リストへのポートの追加」ボタンを押します。もし、x240 の HBA の
WWPN がない場合、x240 の OS が立ち上がっているのか確認した後、「再スキャン」ボタンを押し
てもう一度確認してください。
95
15. 「ポート定義」に選択した WWPN が追加されたのを確認し、「ホストへのポートの追加」ボタンを
押します。
16. タスクが正常に完了されたのを確認し、「クローズ」ボタンを押します。
以上でセットアップは終了です。
96
9.3.1. フェイル・オーバー/フェイル・バックの確認
マルチパス制御ドライバ(SDDDSM)が正常に働き、ポートのフェイル・オーバー/フェイル・バックが機能する
か確認します。本書ではポートのフェイル・オーバー/フェイル・バックを発生させるのに物理的にファイバ
ー・チャネル・ケーブルを抜き差しする方法を採ります。SDDDSM を使い「datapath query device」コマンドで
ポートのフェイル・オーバー/フェイル・バックの発生を確認します。
1.
まず、x240 を起動します。Windows Server にログインし、コマンドプロンプトを起動させます。
「cd」コマンドで「C:\Program Files\IBM\SDDDSM」フォルダに移動します。「datapath query
device」コマンドでパスの状態を確認します。
本書の環境のパスは 4 つとなります。パスが使用されているか「State」欄で判断します。OPEN が使用し
ている状態で、 CLOSE が使用していない状態です。
97
2.
フェイル・オーバーを確認するため、ファイバー・チャネル・ケーブルを引き抜き、以下のように
シングルパスの状態にします。
Path#3 で繋がっていたシングルパスの状態からファイバー・チャネル・ケーブルを抜き差しすること
で、Path#2 で繋がったシングルパスに変更します。パスが変更されたことを確認します。(本項では
Path#3 から Path#2 へ変更しましたが、決められたパスからパスへ変更しなければいけないといった
決まりはありません)
98
3.
次にフェイル・バックの確認をします。抜いたファイバー・チャネル・ケーブルを差込み、パスの
状態を確認します。
「State」欄の CLOSE になっていたところが、OPEN に変わるのを確認します。
4.
以上で、フェイル・オーバー/フェイル・バックの確認は終了です。
99
9.3.2. 予備機への切り替え
x240 が障害を起こして使用できなくなった際、他に使用できる x240(予備機)で SAN Boot を行えるよ
うにします。
必要な手順を、以下に簡単にまとめます。




予備機の HBA の WWPN を確認
SAN スイッチ上で、Zoning によって、予備機の HBA とコントローラーを対応付ける
Storwize V7000 上で、Mapping によって、論理ドライブと予備機の HBA を対応付ける
x240(予備機) FC 拡張カード BIOS の起動設定で、Ownership を持つ側から起動するように設定する
※ OS はすでにインストール済みで、マルチパス制御機能も働いているので以下の手順ではシング
ルパスに設定する必要はありません。
1.
「6.2.1 WWPN の確認」の手順から x240 の設定をしてください。「6.7 ファイバー・チャネル・スイ
ッチでの Zoning(ゾーニング)」の手順から x240 の HBA とコントローラーを対応付けてください。
2.
管理用 PC でブラウザを起動し、Storwize V7000 の IP アドレスを入力して「Enter」を押しま
す。
3.
Storwize V7000 のストレージ管理のトップページが表示されます。ユーザ名、パスワード
を入力し、ログインボタンを押します。
100
4.
ログイン後、[v7000-2]->[ホスト]->[ホスト]の画面でなければ、左のアイコンから[ホスト]->[ホス
ト]を選択し、左クリックを押します。
5.
以下の画面が表示されます。「新規ホスト」ボタンをクリックします。
101
6.
「ホストの作成」が表示されます。ホスト名を入力して[ファイバー・チャネル・ポート]->[ポート定
義]に x240 の HBA の WWPN を追加し、「ホストの作成」ボタンを押します。本項ではホスト名を
SN10252BB とします。
7.
タスクが正常に完了されたのを確認し、「クローズ」ボタンを押します。
102
8.
左のアイコンから[ホスト]->[ホスト別のポート]を選択し、左クリックを押します。
9.
[v7000-2]->[ホスト]->[ホスト別のポート]が表示されます。「ホスト・フィルター」で「SN102551B」
ホストが選択されているのを確認して[処置]->[全てのボリュームのマップ解除]を選択し、クリッ
クします。
103
10. 「ホストからのマップ解除」が表示されます。この操作が影響するマッピングの数を入力し、「マッ
プ解除」ボタンを押します。
11. タスクが正常に完了されたのを確認し、「クローズ」ボタンを押します。
104
12. 「ホスト・フィルター」から「SN10252BB」ホストを選択し、クリックします。[処置]->[マッピングの変
更]を選択し、クリックします。
13. 「ホスト・マッピングの変更」が表示されます。「非マップ・ボリューム」にある先ほどマッピングを
解除したボリュームを選択し、「> マップ」ボタンまたは「>」ボタンを押します。「ホストにマップ
済みのボリューム」に選択したボリュームが移動したことを確認し、右下の「ボリュームのマッ
プ」ボタンを押します。
105
14. タスクが正常に完了されたのを確認し、「クローズ」ボタンを押します。
15. 「8 x240 における uEFI の設定」の手順からシステムおよび FC 拡張カードの uEFI の設定をしてく
ださい。
16. x240(予備機)を起動して、OS が立ち上がるか確認してください。
17. 以上で、予備機への切り替えは終了です。
106
10. APPENDIX
10.1. SAN Boot に関する考慮点
10.1.1. サポート例外申請について
Flex System と Storwize V7000 による SAN Boot 構成のサポートについては、SSIC を参照してください。記
載のない構成については個別サポートで対応可能な場合がありますので、弊社担当営業にご相談くださ
い。
SSIC
http://www.ibm.com/systems/support/storage/config/ssic/displayesssearchwithoutjs.wss?start_over=yes
10.1.2. 同一ストレージ装置からのブートサーバー台数について
Storwize V7000 と接続する x240 の台数については、パーティション数や容量以上に、パフォーマンス上の条
件(特に I/O 負荷)を考慮して判断する必要があります。パフォーマンスは、コントローラー自体の性能だけ
でなく、何台のディスク装置(ハードディスクドライブ)でブートしているかが関係してきます。ひとつの指針とし
て、ディスク装置本数については、ディスク装置(HDD)はブートするブレードの数と同程度以上(例えば 14 台
の x240 をブートするなら、14 個以上のディスク装置(HDD)が推奨)が目安となります。最低でも、3 本で RAID5
に 1 本のホットスペア(合計 4 本の HDD)を構成することは必須となります。
パフォーマンスの要件はサーバーの使用用途やお客様の期待値などで異なるため、上記はあくまで構成検
討の際にガイドラインとしていただくことを意図しており、製品仕様やお客様実環境でのパフォーマンスを保
証する情報ではありません。それぞれのお客様環境、パフォーマンス上の目標値を検討されたうえで構成を
決定してください。サーバーの台数やパフォーマンス要件によっては HDD 数の増設や RAID10 の採用、より
上位のストレージ装置への変更も検討してください。
107
10.1.3. 内蔵ディスクの使用
Windows の SAN Boot 構成ではサーバーにディスクを内蔵することは必須ではありません。本書でも x240 の
内蔵ディスクは使用しないという前提で説明しています。ただし、I/O 負荷に大きな変動が予想され、ストレ
ージ装置の I/O 性能を上回るような急激な I/O 負荷の増加が想定される場合は、内蔵ディスクに OS スワップ
領域をおくことで、スワップ遅延や OS が不安定になることを防ぐ対策とすることが可能です。詳細は以下の
マイクロソフト社サポート技術情報をご参照下さい。なおこの構成をとった場合はメモリーダンプの取得が不
可能となることにご注意ください。
Windows Boot from Fibre Channel SAN – An Executive Overview and Detailed Technical Instructions for
the System Administrator
Brief Description
Boot from SAN in Windows Server 2003 and Windows Server 2008
http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=f4095fae-553d-4700-aafa-1
cce38b5618f
10.1.4. Windows Server 2008 R2 環境でのライセンス・アクティベーションについて
Windows Server 2008 R2 環境では、SAN Boot 構成をとること自体にはライセンスの条件はありませんが、運
用によってはライセンス・タイプを考慮する必要があります。
具体的には、たとえば x240 の HW 障害時に代替の x240 に論理ディスクを mapping 変更してブートする運用を
行った場合、通常ライセンスで使用している環境ではインストール時と別の HW になるため、再認証作業(再
アクティベーション)が発生します。(該当サーバー上の Web ブラウザーでインターネット接続して取得、また
は、Microsoft 社に電話して取得)
Windows Server 2008 R2 環境では、ボリュームライセンスでインストールしてもアクティベーション再アクティ
ベーション作業を省くことができません。ボリュームライセンスについては下記 Microsoft 社の Web サイトを参
照下さい。
「Volume Licensing ホーム」
→ http://www.microsoft.com/ja-jp/licensing/default.aspx
108
10.2. SAN Boot に関するマイクロソフト社の見解
マイクロソフト社は、SAN (Storage Area Network)構成からの起動についてストレージ装置製造元(本書の
構成の場合 LENOVO)がハードウェア プラットフォームとしてサポートを表明している場合、Windows としてもサポ
ートすると表明しています。
マイクロソフト社の技術情報をご参照ください。
Windows Boot from Fibre Channel SAN – An Executive Overview and Detailed Technical Instructions for
the System Administrator
Brief Description
Boot from SAN in Windows Server 2003 and Windows Server 2008
http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=f4095fae-553d-4700-aafa-1
cce38b5618f
また、同技術情報では、SAN Boot 環境で発生し得る問題点についても記述されています。これは負荷に対
して適切な性能を持つ SAN ストレージのサイジングや、無駄なトラフィックを抑えるための SAN の最適化
(Zoning や Mapping)がされていない場合に発生することです。
SAN ストレージ性能面でのサイジングと、LENOVO によるハードウェアプラットフォームとしての SAN Boot のサポー
トについては 107 ページ「10.1.1. サポート例外申請について」で説明した通りです。一方、無駄なトラフィック
を抑える SAN の最適化については、本書で説明した SAN スイッチの使用や、Zoning および適切な Mapping が
それに当たります。つまり本書の手順を実践すれば、その条件には適合していることになります。
そのような措置を講じてもパフォーマンス面で不安のある SAN の場合には、Paging file(スワップファイル)をロ
ーカルディスクに置くなどで、OS 側から SAN ストレージの負荷を減らす方法があります。この点についても上
記技術情報に記述されています。
109
10.3. 参考情報
10.3.1. 参考資料
「Flex System x240 (8737) - Windows Server 2008 R2 SP1 導入ガイド」
→ http://www.ibm.com/jp/domino04/pc/support/Sylphd07.nsf/jtechinfo/SYJ0-03A5775
「Flex System CMM (Chassis Management Module) 初期設定ガイド」
→ http://www.ibm.com/jp/domino04/pc/support/Sylphd07.nsf/jtechinfo/SYJ0-03B3F39
参考 URL
「Flex System 製品ページ」
→http://shopap.lenovo.com/jp/systems/servers/blades/flex-system/
「Flex System FAQ 」
→ http://www.ibm.com/jp/domino04/pc/support/Sylphd07.nsf/jtechinfo/SYJ0-02504EB
「レノボ x86 サーバー 技術情報」
→http://www.lenovojp.com/server/technical/
110