ヤフー株式会社:OpenStack [日本語:PDF:1.72MB]

SUCCESS STORY
www.brocadejapan.com
ヤフー株式会社
Yahoo! JAPAN でのより迅速、かつ柔軟なサービス提供を支援すべく、開発
者向けのプライベート・クラウド環境の構築に取り組んでいるヤフー株式会社。
数年前には、サーバ、ストレージ、ネットワークなどのリソースをオンデマンド
で提供できる体制を整え、さらに 2013 年にはデータセンター全体のライフサ
イクルを常に最適な状態で回せるようにするため、ハードウェアの抽象化を新
たな目標として定めた。ハードウェアの抽象化に適したクラウド基盤ソフトウェ
アとして OpenStack を採用している同社は、OpenStack に積極的にコミッ
トするブロケードをネットワーク基盤構築のパートナーとして選定。ブロケード
がいち早く提供する Neutron プラグインを採用して OpenStack 環境に最適
化されたネットワークを構築し、性能ロスのない各種サービスを実現している。
サービス開発者向け
Neutron プラグインにより OpenStack 環境に
クラウド・ネットワーク
LBaaS と FWaaS を実現
OpenStack プライベート
課題
従来のハードウェアに強く依存する構成では、
サービスの移転などで空きが生じたラックスペー
スを別の用途で再利用しづらいなど、柔軟かつ
効率的なリソース活用に制限があった。そこで新
しいクラウド基盤では、サーバ、ストレージ、ネッ
トワークなどのハードウェアを抽象化し、ハード
ウェアへの依存を完全に排除した形でサービスを
展開できるシステム基盤を、パフォーマンスを劣
化させることなく構築することが求められた
導入製品
•• Brocade VDX 8770 スイッチ
•• Brocade VDX 6740 スイッチ
•• Brocade ADX ロードバランサ
•• Brocade MLXe ルータ
ソリューション
OpenStack 基盤を支えるネットワーク機器とし
てブロケード製品を全面採用。また、ブロケード
とともに開発した Neutron プラグインを活用す
ることによって、LBaaS、FWaaS などの高度な
ネットワークサービスを実現
メリット
•• OpenStack 基盤を構成するネットワーク機器
をブロケード製品にしたことで、シンプルさを
維持しながら高い通信性能と安定性を確保で
きた。
•• ブロケード製品を直接制御する Neutron プラ
グインの活用によって、ネットワーク性能を劣
化させることなく高度な仮想ネットワークサー
ビスを実現した。
最適化されたネットワークを構築し、
ヤフー株式会社(以下、ヤフー)は、日本最大
級のポータルサイト「Yahoo! JAPAN」を運営し
ている情報通信事業者である。Yahoo! JAPAN
では、検索、オークション、ニュース、天気、スポー
ツ、メール、ショッピングなど、ユーザ自身の生
活をより豊かにする多種多様なサービスが展開さ
れている。
同社は、こうした数多くのサービスを支えるシステ
ム基盤に対し、早い段階からサーバ、ストレージ、
ネットワークなどのリソースをオンデマンドで提供
できるプライベートクラウド環境を整えてきた。し
かし、ハードウェアに依存するシステム構成がとら
れていたことから、例えばサービスの移転などに
よって古いハードウェアが撤去されると、そのラッ
クスペースを別の用途で再利用しづらいなど、リ
ソース活用の最適化、ひいてはコスト効率の点で
課題を抱えていた。
そこで同社が 2013 年に新たな目標として定めた
のが、ハードウェアを抽象化することでこれらの
課題を解決することだった。サーバ、ストレージ、
ネットワークなどのハードウェアを完全に抽象化
すれば、それぞれのサービスをハードウェアに依
存せずに運用でき、データセンターのライフサイ
クルを常に最適な状態で回せるようになるからだ。
ヤフーでは、このハードウェア抽象化の取り組
みを推進する上で重要となるクラウド基盤ソフト
ウェアとして、OpenStack の採用を決定。自社
開発システムでは継続的な開発が困難な一方、
OpenStack にはオープンソースならではの力強い
イノベーションに期待できるのが採用の大きな理
由だった。
YJ America クラウド・エンジニアリング部門担
当 エグゼクティブ・バイス・プレジデントの松谷
憲文氏は、「OpenStack は、半年で 2 倍という
急速な普及率を背景に、さまざまな企業や組織で
積極的に採用されているという安心感があります。
また、オープン性がきわめて高く、贅沢すぎるほ
どの開発陣営が OpenStack の発展に寄与して
います。OpenStack に対応したハードウェアも
続々と登場し、ハードウェアの抽象化を目指す当
社にとって OpenStack こそが最も近道だと判断
したのです」と説明する。
検証結果 50VM に対して
20.0
通信速度
15.0
10.0
Kpps
8倍
2000
3.00
gre tunnel
VDX
応答時間
ms
1.00
0
gre tunnel
構成
Open
vSwitch
+ VDX
Open
vSwitch
+ gre tunnel
Kernel
2.6.32
2.6.32
Open
vSwtich
ML2
driver
gre tunnel
VDX
今回の検証構成
1
ー倍
2
2.00
0.00
9倍
1000
5.0
0.0
転送速度
3000
Gbps
VDX
2.3
2.3
Open
vSwitch
+ VDX Plugin
Open
vSwitch
YJ America
クラウド・エンジニアリング
部門担当
エグゼクティブ・バイス・
プレジデント
松谷 憲文 氏
ヤフー株式会社
システム統括本部
サイトオペレーション本部
インフラ技術 1部
プライベートクラウド
高木 塁 氏
ヤフー株式会社
システム統括本部
サイトオペレーション本部
インフラ技術 1部
プライベートクラウド
部長
伊藤 拓矢 氏
SUCCESS STORY
www.brocadejapan.com
同社 システム統括本部 サイトオペレーション本部
インフラ技術 1 部 プライベートクラウドの高木塁
氏は、
「当社ではさまざまなサービスが運営されて
いるため、それぞれのサービスに対するロードバラ
ンサやファイヤウォールの設定要求が 1 日あたり
100 件以上も発生します。OpenStack 基盤によっ
てさらにシステム規模が広がることを考えますと、
もはや手作業ではとても間に合いません。このため、
Neutron と Brocade ADX を高度に連携させた
性能ロスのない LBaaS の実用化を目指しました。
ただし、Brocade ADX を制 御できる Neutron
プラグインはまだリリースされていませんでしたの
で、当社自身がブロケードとともに一からプラグイ
ンを開発しています」と説明する。
Internet
BGP
Router
BGP
Router
MLXe
MLXe
VDX8770
VDX8770
ADX
ADX
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
VDX6740T
ヤフー株式会社の OpenStack プライベートクラウド システム構成図
オープンにコミットするブロケードをパートナーに。
プラグインの活用によって性能ロスのない
仮想ネットワークと FWaaS を実現
OpenStack を軸に据えたクラウド基盤の設計
を進めていたヤフーでは、ネットワーク部分の設
計にあたり、「共に創る=共創」の取り組みがで
きるかどうかを軸に、ネットワークベンダーの選
定を実施。その結果、同社の大規模な Apache
Hadoop 基盤を支えるネットワークでの導入実績
はもとより、会社としてのオープンな技術への積
極的な取組みとコミットメントを評価し、ブロケー
ドをパートナーとして選定した。
同社の OpenStack 基盤では、データセンターの
上位ネットワークを支えるコアスイッチに Brocade
MLXe スイッチング・ルータ( 以 下、Brocade
MLXe)
、ラック群を集約するアグリゲーション・
スイッチとラック内のトップオブラック(ToR)ス
イッチに Brocade VDX シリーズ スイッチ(以下、
Brocade VDX)を組み合わせている。
同社 システム統括本部 サイトオペレーション本
部 インフラ技術 1 部 プライベートクラウド リー
ダーの伊 藤 拓 矢 氏は、「OpenStack の世 界で
は、ソフトウェアベースのトンネリングモデルでレ
イヤ 2 ネットワークサービスを抽象化するのが一
般的です。しかし、完全なソフトウェアベースでは
ネットワーク性能が大きく劣化しますし、管理す
べきレイヤも増えて障害対応などが複雑になりま
す。Brocade Neutron Plugin for VDX/VCS
を通じて Brocade VDX の仮想ネットワーク機能
を OpenStack 環境から直接制御すれば、ソフ
トウェア制御による優れた柔軟性を実現しながら
も、ハードウェアベースと同等のネットワーク性能
を手に入れられます」と述べている。
OpenStack プラグインで LBaaS を実現
ヤフーは、OpenStack 基盤上で稼働している仮
想サーバ群のアクセス制御と負荷分散を行うために
Brocade ADX シリーズ(以下、Brocade ADX)
を 導 入している。Brocade ADX は Brocade
MLe に直結する形で配置され、ロードバランサの
OpenStackでは、
OpenStack Networking
(Neutron)
運用形態として社内でもすでに実績のある L3-DSR
がネットワークの抽象化を担っているが、ヤフー
(Direct Server Return)が採用されている。
の OpenStack 基 盤では、ヤフーとブロケード
同 社では、既 存のシステム基 盤でも Brocade
が 共同開 発した Brocade Neutron Plugin for
ADX を用いてロードバランサ機 能を提 供して
VDX/VCS を活用することで性 能ロスのない仮
いたが、手作業による設定作業がネットワーク
想ネットワークサービスと FWaaS(Firewall-as管 理 者の大きな負担となっていた。このため、
a-Service)を実現している。同社の計測によれ
OpenStack 基盤を立ち上げるにあたり、ロード
ば、ソフトウェアベースの GRE(Generic Routing
バランサの機能を Neutron ベースで抽象化した
Encapsulation)トンネリングと比較して 8 倍のス
LBaaS(Load-Balancing-as-a-Service) で の
ループットと 2 分の 1 のレイテンシを達成している。
運用スタイルを目指した。
同社は、2013 年春頃からブロケードとの協業を開
始し、ブロケード本社の開発スタッフとともにプラグ
インの開発を進めてきた。段階を経て確認すべき事
項が数多くあり、機能ごとのポイントリリースという
形がとられたが、約 1 年半の期間をかけて LBaaS
と FWaaS 向けのプラグインが完成している。
自社データセンターで約 5 万台規模の
OpenStack 基盤をサービスイン
開発されたプラグインを他のユーザでも
ブロケード製品を包含するヤフーの OpenStack
基盤は、2014 年 11 月に開設された米国子会社
YJ America の新規データセンターにおいてもテスト
稼働を開始している。開設時点で同社が作成済みの
仮想サーバは合計 6 万台に及ぶが、そのうち 5 万
台以上を年内に OpenStack 基盤で提供するという。
今後もクラスタ単位で OpenStack 基盤を拡張して
いき、1 ヶ月あたり平均して 5,000 台程度の仮想
サーバが追加される見込みで、2015 年内には 10
万台のシステム規模も視野に入るが、ブロケード製
品との高度な連携による VLAN サービス、LBaaS、
FWaaS を実現したことで、ネットワーク関連の運用
工数を劇的に簡素化できると期待されている。
松谷氏は、最後に「今回は、当社自身のニーズが
きっかけとなって Brocade VDX と ADX 向けの
プラグインが開発されましたが、このプラグイン自
体はブロケードを通じて他のユーザにも配布でき
る体制がとられています。オープンソースの世界は
みんなで作り上げ、みんなで使い、発展させてい
くべきものです。そして、そのような考え方に強く
共感し、プラグインの開発を手助けしてくれたのが
ブロケードでした。当該部門は、
『世界基準でワク
ワクを共創』というミッションを掲げながら事業を
展開していますが、まさしく今回のプロジェクトは、
OpenStack という世界基準の中でブロケードと共
創し、その結果にワクワクできている好例といえる
のではないでしょうか」と総括する。
ブロケード コミュニケーションズ システムズ株式会社
〒100-0013 東京都千代田区霞ヶ関1-4-2 大同生命霞ヶ関ビル
TEL.03-6203-9100 FAX.03-6203-9101 Email:[email protected]
BROCADEに関するより詳しい情報は、以下のWebサイトをご覧ください。
http://www.brocadejapan.com
©2014 Brocade Communications Systems, Inc. All Rights Reserved. 11/14 GA-CS-JP-028-0
ADX、AnyIO、Brocade、Brocade Assurance、B-wing シンボル、DCX、Fabric OS、ICX、MLX、MyBrocade、OpenScript、SAN Health、VCS、VDX、および Vyatta は登録商標であり、HyperEdge、NET Health、The
Effortless Network、および The On-Demand Data Center は、米国またはその他の国における Brocade Communications Systems Inc. の商標です。その他のブランド、製品名、サービス名は各所有者の製品またはサービ
スを示す商標またはサービスマークである場合があります。
注意:本ドキュメントは情報提供のみを目的としており、Brocade が提供しているか、今後提供する機器、機器の機能、サービスに関する明示的、暗示的な保証を行うものではありません。Brocade は、本ドキュメントをい
つでも予告なく変更する権利を留保します。また、本ドキュメントの使用に関しては一切責任を負いません。本ドキュメントには、現在利用することのできない機能についての説明が含まれている可能性があります。機能や
製品の販売/サポート状況については、Brocade までお問い合わせください。