ホワイトペーパー 情報革命を目指すソフトバンクが インテル® ラック・スケール・デザインによる 次世代 IT プラットフォームを検証 インテル® ラック・スケール・デザイン データセンターの効率 エグゼクティブ・サマリー 「IoT、人工知能、 スマートロボットなど、 ソフトバンクの世界戦略を 加速する中で、インテル® ラック・スケール・デザインは リアルタイムコンピューティングを 実現するうえで重要な アーキテクチャーです」 ソフトバンク株式会社 常務執行役員兼 CISO 情報システム統括 鬼頭 周 氏 常務執行役員 兼 CISO 情報システム統括 鬼頭 周 氏 情報システム本部 システム基盤統括部 統括部長 関谷 雅宏 氏 情報システム本部 システム基盤統括部 システム基盤部 システム基盤開発課 杉山 俊幸 氏 「情報革命」を掲げ、 「IoT（モノのインターネット）」 「AI（人工知能）」 「スマートロボット」など最新の 技術開発に取り組むソフトバンク株式会社。急成長を続ける事業を支える IT プラットフォームには、 リアルタイムに最適な環境を提供する俊敏性と、リソースを無駄なく活用する高効率性が求められ ます。今回、国内の通信事業会社の統合を機に、ラック単位でリソースをプールしてソフトウェアで 割り当てを行うインテル® ラック・スケール・デザインに着目。開発評価機を用いて、ワークロード・ ベースの検証を実施しました。その結果、サーバー台数、電気料金、要員のワークロードにおいて大 幅な削減効果の可能性を確認。さらにサーバーとネットワークのデリバリータイムが大幅に短縮され、 障害時の対応時間が削減される検証結果を得ました。インテル® ラック・スケール・デザインがリア ルタイム・コンピューティングを実現する次世代のプラットフォームに適用可能と判断した同社は今 後、実運用に向けた拡張機能や、機能改善の検証を進めていく予定です。 国内の通信事業会社の統合により IT インフラの統合が課題に ●検証の背景 2015 年 4 月、ソフトバンクモバイル株式会社、 ソフトバンクＢＢ株式会社、ソフトバンクテレコ ム株式会社、ワイモバイル株式会社が 1 つに なり、移動体通信と固定通信の両方を担当す る新生ソフトバンク株式会社が誕生しました。 その結果、 ソフトバンク・グループにおける国内 通信事業の大部分を同社が担う体制に移行し ています。 事業体制が整う一方で、課題となったのが IT プ ラットフォームの統合です。4 社の事業を統合 したものの、各社が利用している IT インフラは 従来のままです。また、以前から個々の会社で 吸収合併を繰り返してきたため、IT インフラは サイロ化が進んでいました。サーバー、ストレー ジ、ネットワーク機器はメーカーや規格が異な り、中には汎用機も含まれていました。4 社合 併のシナジーと効率を高めるために IT プラッ トフォームを共通化し、競争優位性と差別化を 実現することが求められています。 ソフトバンクが IT プラットフォームの統合を目 指すもう 1 つの背景には、ソフトバンク・グルー プが掲げる「情報革命」の実現があります。同 グループは、IoT、AI、スマートロボットを次の成 長分野に位置づけ、情報革命を推進しています。 近い将来、モバイルデバイスはもちろんのこと、 産業機器やロボット、各種センサーなどもネッ トに接続し、2020 年にはデバイスが 500 億に 達すると見込まれています。そうなると、IoT に よる新しいビジネスが次々と生まれ、モノの役 割が根底から覆る可能性を秘めています。AI と連携するスマートロボットが普及していけば、 ロボットが人間の感情を理解するためにビッグ データの活用は欠かせなくなります。このよう に、多くのデバイスから生まれる大量のトラン ザクションをリアルタイムに処理したり、可視化 したりするためには、より高速でスケーラブル なコンピュート・リソースが求められます。 こうした背景のもとでソフトバンクが着目した のが、サーバー、 ストレージ、ネットワークのハー ドウェアをラック単位で集約し、それぞれを光 回 線で相 互 接 続する垂 直 統 合 型アーキテク チャー「インテル® ラック・スケール・デザイン」 です。常務執行役員 兼 CISO 情報システム統 括の鬼頭周氏は次のように語ります。 情報革命を目指すソフトバンクが、 インテル® ラック・スケール・デザインによる次世代 IT プラットフォームを検証 ② ラックへの電力供給用の共有電源 ③ ラックの冷却用の共有冷却装置 ④ ポッド管理用のポッド・マネージャー （ラック管理機能も兼務） • 小 型 デスクトップ PC キット（インテル ® NUC）に実装し、ラック下部に設置 ⑤ ToR（Top of Rack）イーサネット・スイッチ ⑥ コンピュート・リソース用ドロワー • 各ドロワーにインテル ® Xeon プロセッ サーモジュール、もしくはインテル® Atom™ プロセッサー・モジュールを搭載 • インテル® イーサネット・スイッチ・シリコン FM5224 ベースのファブリック・スイッチ を搭載 • 各ドロワーと ToR スイッチは 40GbE の光 ケーブルで接続 ポッド ポッド・ マネージャー ラック TOR ドロワー FM6324 スイッチ PCIe PCIe ジュール、およびインテル ® Atom™ C2000 SoC 搭載モジュール（1 モジュールに 12 個の インテル® Atom™ C2000 SoC を搭載） ⑧ JBOD ストレージ（オブジェクト・ストレージ） ●検証期間 2015 年 5 月から 9 月まで（実質検証期間 10 週間） 検証では、Web UI を用いたリソースの監視、 コンピュート・プールからのサーバー構築とス トレージ、ネットワークの割り当て、サーバー への OS インストールと起動、アプリケーション のインストールと実行、インテル® ラック・スケー ル・デザイン API の検証まで、基本的な性能 と機能を確認しました。インテル® ラック・ス ケール・デザインの基本コンセプトが実現でき ているかに重点を置き、以下の検証を行ってい ました。 【検証 1】ポッド・マネージャーによる インテル® ラック・スケール・デザイン ポッドの管理機能 インテル® ラック・スケール・デザインの司令塔 であるポッド・マネージャーが、ラック内の計算 ノードやストレージのような重要なコンポーネン トを認識し、一元管理ができることを確認。さ らに、システムに新たなリソースを追加または 削除した際、システム側で自動的に認識し、利 用可能または利用不可能なリソースとして管 理できることを確認しました。 【検証 2】プール管理エンジン （Pooled System Management Engine）を 用いた、 コンピュート・プールからの割り当て ドロワー管理用のマネジメント・ツールである プール管理エンジンから、適切にリソースの割 り当てができることを確認しました。 ドメイン単位 ポッド・マネージャー RMC ラック単位 RMC CPP ドロワー単位 PSME PCIe SMBus PCH モジュール単位 BMC DMI Avoton Compute Blade Avoton Compute Blade Avoton Compute Blade Avoton Compute Blade Avoton Compute Blade QPI Xeon E5 SOC MMC Xeon BMC SoC MMC uServer モジュール DDR DDR Xeon E5 Xeon BMC MMC ・ ・ ・ Avoton SOC DDR Xeon モジュール DDR インテルでは、 プロセッサー、 メモリー、ストレー ジ、ネットワークなどデータセンターを構成す るハードウェアを抽象化し、ソフトウェアで設定 を変更する「ソフトウェア・デファインド・インフ ラストラクチャー（SDI）」のコンセプトを打ち出 しており、それを実現するアーキテクチャーの 1 つがインテル® ラック・スケール・デザインです。 インテル® ラック・スケール・デザインを使うこ とによって、これまではサーバーやストレージ を 1 台 1 台追加しなければ手に入らなかったリ ① インテル® ラック・スケール・デザインラック • 高さ 26U のラックを使用 DDR 検証は、リアルタイムにリソースを最適化する IT プラットフォームの実現に向けて、インテル® ラック・スケール・デザインで提供される各種 機能を確認することを目的としました。まずは プロセッサー、メモリー、ストレージ、ネットワー クが、実際のハードウェア基盤上に構築できる ことを確認することが第 1 の目的で、その上で ソフトバンクが利用するプラットフォーム OS と ミドルウェア上で、実際のワークロードが実行 できることを検証することが第 2 の目的です。 次世代のプラットフォームに必須となる「自動 化」についても、その効果を確認するために、 コンピュート・リソースやストレージの最適化、 ネットワークのコーディネーションを検証する ことにしました。情報システム本部 システム基 盤統括部 統括部長の関谷雅宏氏は「次世代の 基盤であるインテル® ラック・スケール・デザイン が、当社のプラットフォーム構想に実用レベル で適用でき、貢献が可能であるかを確認するこ とが最大の目的でした」と語ります。 検証に用いたシステム構成は以下のとおりで す。評価機は、インテルが開発のために試作し たプロトタイプを使用しました。評価機のハー ドウェアは、汎用的な部品を用いて構成してい ます。 DDR ●検証目的 ⑦ インテル® Xeon® E5 v3 プロセッサー搭載モ ●検証内容 ●検証環境 DDR インテル® ラック・スケール・デザインで 提供される各種機能と 実際のワークロードの動作を確認 プロトタイプの評価機を 実質 10 週間をかけて検証 DDR ソフトバ ンク・グル ープ の 強 み は 、先 進 の Information and Communication Technology （ICT）技術を他社に先駆けて活用することに あり、期待できる新技術があれば先頭を切って トライする姿勢を創業時から持ち続けています。 今回の検証も日本国内で唯一存在する評価機 を用いて、どこよりも早くインテル ® ラック・ス ケール・デザインを理解し、実用化に向けて第 一歩を踏み出しました。将来的にはグローバル 展開を鑑み、 ソフトバンク・グループにおける「グ ローバル・ワン・プラットフォーム」の実現を目 指しています」 ソースが、ラックにプールされた中から「部品」 を選ぶかのようにソフトウェアから設定するだ けで入手でき、ハードウェアの構成を自由に変 更できます。関谷氏は「インテル® ラック・スケー ル・デザインのようなアーキテクチャーはこれ までにない画期的なものだけに、今回の検証 は当社の今後の IT インフラ戦略を占う大きな 意味がありました」と語ります。 DDR 「インテル® ラック・スケール・デザインによっ て、これまで無駄が多く、低かったコンピュー ト・リソースの使用率が劇的に改善することが 期待できます。当グループでは現在、リアルタイ ム・コンピューティングを実現する統一プラット フォーム『Chronos（クロノス）』を進めていま すが、インテル® ラック・スケール・デザインが Chronos の実現に重要な役割を果たすことを 期待し、インテル® ラック・スケール・デザインの 開発機を使った検証を実施することにしました。 2 M.2 Drive Avoton Compute Blade M.2 Drive 図 1. 評価機のハードウェア構成、アーキテクチャー 情報革命を目指すソフトバンクが、 インテル® ラック・スケール・デザインによる次世代 IT プラットフォームを検証 【検証 3】分散ブロックストレージ（Ceph） との連携によるポッド内の ストレージ管理機能および割り当て 検証で用いた分散ストレージ（Ceph）において、 ストレージのディスク容量が適切に配分可能で あることを確認しました。 【検証 4】ネットワーク・リソースの 分割、割り当て ラック内にプールされたネットワーク・リソース が、選択されたノードに対して、的確に分割、分 配できることを確認しました。 【検証 5】ドロワーに統合された ネットワークからの光ケーブル接続による ケーブリングの効率化 通常インテル® ラック・スケール・デザインでは、 ドロワー内の計算ノードはまず分離型スイッチ に接続され、その後 TOR に接続されます。これ によりケーブル数が減り、大量のケーブルを這 わせる必要がなくなりました。 （注：分離型ス イッチのコストとパフォーマンスによっては、 計算ノードから TOR への直接接続を選択する システムもあります。 ） この検証ではサーバーを 立てた時、自動的に IP アドレスが割り振られ、 そのままネットワークの接続が確立することを 確認しました。 【検証 6】実ワークロードの実装とその検証 ソフトバンクの実環境に、 インテル® ラック・スケー ル・デザインが適用できることを検証するため、 同社の IT プラットフォームで実際に利用してい る OS やミドルウェアを実装し、 アプリケーション を実行してワークロードを検証しました。OS には Linux* ディストリビューションの Ubuntu*、 ミドルウェアにはカラム形式でデータをストア するスケーラブル型の KVS（Key-Value Store） をインストール。KVS が Ubuntu* 上で動き、な おかつ KVS 上でワークロードが実行できること を確認しています。 【検証 7】インテル ® ラック・スケール・ デザイン API の検証 インテル® ラック・スケール・デザインで提供さ れる標準 API 機能を評価。実業務での利用に 合わせて今後提供を希望する API については 要望をフィードバックしました。 将来の完全自動運用に向けた 基本動作を確認 ●検証結果 ① ソフトウェア・デファインド・インフラストラク チャー（SDI）に向けた基本機能の検証 今回の検証により、ラック内のリソースが自動 的に認識され、Web UI によるソフトウェアの操 作だけで、必要なコンピュート・リソースとスト レージを切り出し、ネットワークまで設定した 状態でプロビジョニングできることが確認でき ました。 「それが仮想化環境でなく、実際の物理 環境、ベアメタル環境でできることが大きい」と 関谷氏は語るように、今回の検証は SDI の実 現につながる大きな一歩といえます。 また、ドロワーにインテル ® Xeon® プロセッ サーとインテル ® Atom™ プロセッサーの 2 種 類のプロセッサー・モジュール混在させた環 境で、ワークロードが問題なく実行できたこと から、将来的にはより高速なプログラマブル LSI （FPGA）や、演算アクセラレーター（インテル® Xeon Phi™ 製品ファミリーなど）が追加された 混在環境においても、プロセッサー・リソース を切り替えながら利用できる手応えを得ること ができました。 今回の検証は、手動によるリソースの割り当て までです。今後は、人の手を一切介すことなく、 システムの負荷が高くなるとソフトウェアが自 動的に判断して必要なリソースを必要な分だ け追加する、必要がなくなったら自動的にリソー スを解放してキャパシティーを確保するといった 「完全自動運用」についても検証する予定です。 その結果、 リソースの使用率が高まり、IT インフ ラの最適化が進むことが期待されます。 ② 作業効率の改善 3 インテル® ラック・スケール・デザインとは インテル® ラック・スケール・デザインは、 インテルの将来のデータセンター戦略 （ソフトウェア・デファインド・インフラ ストラクチャー）に向けた活動の中で 提案するリファレンス・アーキテクチャー です。プロセッサー、メモリー、ストレー ジ、ネットワークを細分化し、高効率 のコンピュート・プールを実現した論 理的アーキテクチャーで、アプリケー ションの需要に応じて自動かつ動的に 割り当てる機能の実現を目指してい ます。インテル® ラック・スケール・デザ インを利用することで、多額の投資を 行うことなくソフトウェアによってコン トロールされたデータセンターを構築 することが可能になります。 具 体 的 に は、ラックの 中 にプロ セッ サー、メモリー、ストレージ、ネットワー クがフレキシブルに配置できるように 設計され、 ファブリック・スイッチによっ てプール化できます。プロセッサー、 メモリー、ネットワークを搭載したボー ドが、ラックを収納するドロワーに複数 台搭載。プロセッサーは、ドロワー内 のスイッチに接続しています。ラックの 最上段には「トップ・オブ・ラック （ToR） スイッチ」があり、ドロワー内のスイッ チと光回線で接続されています。 インテル® ラック・スケール・デザインでは、 リソー スはすべてラック内にプールされ、 「ポッド・マ ネージャー」によって一元的に管理されるため、 運用負荷を大幅に軽減できることが確認でき ました。従来の運用環境では、例えば、 プロセッ サーやメモリーを追加したい場合は、サーバー 1 台単位で購入して追加する必要がありますが、 インテル® ラック・スケール・デザインであれば、 ラックのコンピュート・リソース用ドロワーに必 要なプロセッサー・モジュールやメモリー、スト レージを追加するだけで済みます。物理的な ネットワーク・ケーブルのつなぎ換えも不要で、 オペレーションは大幅に効率化されることを確 認しています。 をゼロから作ること自体が初めての経験で、プ ロトタイプを動かしながら実際の動作を確認す る今回の検証はとても大きなチャレンジでした が、達成感が得られました」と振り返ります。こ の新たなアーキテクチャーへの取り組みはソフ トバンクにとって、大きなアドバンテージを手 に入れる機会にもなりました。 日常的なリソースの監視についても、従来は物 理サーバーのリソースを個々に監視してきまし たが、物理サーバーが独立した状況では、 リソー スの最適化ができず、ワークロードによって影 響を受けることがありました。それがラックベー スのインテル® ラック・スケール・デザインに変 わることで、物理環境の一元的な管理が可能 になります。また、 メンテナンスがサーバー単位 から部品単位となり、より合理的にメンテナン スができることが確認できました。 「新しいテクノロジーが登場する時は、世界が 変わる時であり、それをどれだけ早く体験して いるかで勝負が決まります。今後何年か先にス タンダードになる可能性を秘めたテクノロジー をどこよりも早く体験し、何ができるかを見極め、 IT 戦略を進めていく。当社にとって今回の検証 は、大きなターニングポイントになるはずです。 しかも、新たなテクノロジーをメーカーや SIer でなく、デバイスベンダーのインテルから提案さ れたことに意義を感じています」 （関谷氏） ③検証を振り返って インテル® ラック・スケール・デザインの検証は 新たな発見の連続となりました。情報システム 本部 システム基盤統括部 システム基盤部 シ ステム基盤開発課の杉山俊幸氏は「IT インフラ コストおよびワークロード 削減効果を確認 ●考 察 検証の結果、コスト面と管理面で効果が確認で きました。コスト面では、従来型のアーキテク 情報革命を目指すソフトバンクが、 インテル® ラック・スケール・デザインによる次世代 IT プラットフォームを検証 商用のインテル® ラック・スケール・ デザインシステムを用いて 実運用に向けた拡張機能や 機能改善を検証 チャーに比べてサーバー台数の削減可能性が 検証できました。また、電気料金、運用スタッフ のワークロードについても削減が実現する見 込みです。管理面ではサーバーのデリバリー時 間、ネットワークのデリバリー時間、障害発生時 の処理にかかる時間がより短時間になること が確認できました。 ●今後の取り組み 今回の検証は、製品リリース前のプロトタイプ を用いたもので、実際の運用までは考慮されて いません。今後は検証の結果をもとに、実運用 に向けた拡張機能や、OpenStack との連携の 確認、機能改善の検証を、今後登場する商用の インテル® ラック・スケール・デザインシステム を用いて進めていく予定です。商用のインテル® ラック・スケール・デザインシステムでは、今回 実施したワークロードの実行だけでなく、業務 で利用しているアプリケーションの実行を目指 しています。また、今後インテルから登場する 最新技術の適用も視野に入れており、鬼頭氏は 「機械学習、画像認識、音声認識をリアルタイ ムに実行する世界では、より高性能なプロセッ その結果に対して鬼頭氏は「ソフトバンクのビ ジネスのスケールが、IoT、AI、スマートロボッ トへと拡張していく中、IT コストの大幅な削減 を実現し、高いパフォーマンスで自動化が実現 するインテル® ラック・スケール・デザインは、 迅速な意思決定をもたらすとともに、成長の ための重要な基盤となる可能性を秘めていま す」と評価します。また、ソフトバンク・グルー プが進 める人件費以外のコストを半減させ、 生産性を 2 倍に向上させる戦略においても、 IT がそれを加速させる原動力となることが期 待されています。 「ソフトバンクにとってインテル® ラック・スケール・デザインは、 世界を変えるきっかけとなる 可能性を秘めています」 情報システム本部 システム基盤統括部 統括部長 関谷 雅宏 氏 サーや I/O 技術が求められます。そのために、 FPGA やプロセッサー・アクセラレーターといっ た新たなプロセッサーや、次世代の不揮発性メ モリを応用した先進的なメモリ、ストレージ技 術をインテル® ラック・スケール・デザイン に統 合していくことを想定しています。今後も運用 面や最新テクノロジーの検証を通して、ソフト バンク・グループのグローバル戦略を支える次 世代 IT 基盤としても期待しています」と声を寄 せています。 Expectation for Intel® Rack Scale Design Business Scale Growing businesses +Robot +Contents +AI IT Cost Using Existing Architecture +IoT Smartphone Cost Reduction Using Intel® Rack Scale Design - High Performance - Automation - Optimization 図 2. 導入効果（見込） 出典：ソフトバンク株式会社 常務執行役員兼 CISO 情報システム統括 鬼頭 周 氏 情報システム本部 システム基盤統括部 統括部長 関谷 雅宏 氏 情報システム本部 システム基盤統括部 システム基盤部 システム基盤開発課 杉山 俊幸 氏 役職、肩書きは取材時のものです。 インテルは、本資料で参照しているサードパーティーのベンチマークまたは Web サイトの設計や実装について管理や監査を行っていません。本資料で参照している Web サイトまたは類似の性能ベンチマーク・ データが報告されているほかの Web サイトも参照して、本資料で参照しているベンチマーク・データが購入可能なシステムの性能を正確に表しているかを確認されるようお勧めします。 インテル製品は、予告なく仕様が変更されることがあります。本資料に記載されているすべての日付および製品は、計画以外の目的ではご利用になれません。 本資料に掲載されている情報は、インテル製品の概要説明を目的としたものです。本資料は、明示されているか否かにかかわらず、また禁反言によるとよらずにかかわらず、いかなる知的財産権のライセン スを許諾するものではありません。製品に付属の売買契約書『 Intel's Terms and conditions of Sales』に規定されている場合を除き、インテルはいかなる責任を負うものではなく、またインテル製品の 販売や使用に関する明示または黙示の保証（特定目的への適合性、商品適格性、あらゆる特許権、著作権、その他知的財産権の侵害への保証を含む）に関してもいかなる責任も負いません。インテル製品は、 医療、救命、延命措置などの目的への使用を前提としたものではありません。インテル製品は、予告なく仕様や説明が変更されることがあります。 Intel、インテル、Intel ロゴ、インテル Atom、Intel Atom Inside、Xeon、Xeon Phi、Xeon Inside は、アメリカ合衆国および / またはその他の国における Intel Corporation またはその子会社の商標です。 SoftBank およびソフトバンクの名称、ロゴは、日本国およびその他の国におけるソフトバンクグループ株式会社の登録商標または商標です。 * その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。 インテル株式会社 〒 100-0005 東京都千代田区丸の内 3-1-1 http://www.intel.co.jp/ ©2016 Intel Corporation. 無断での引用、転載を禁じます。 2016 年 9 月 334307-002JA JPN/1609/PDF/SE/BDG/YS
© Copyright 2024 Paperzz
