Cisco Nexus シリーズ 導入事例
楽天株式会社
1000 台以上のスイッチを 100 台に
楽天、日本初の最先端ネットワーク技術採用で
IT 運用が根本的に変わる
導入ソリューション
・Cisco Nexus 5000シリーズ
・Cisco Nexus 2000シリーズ
・FabricPath 技術
導入前の課題、検討事案
・サービス規模拡大とともにスイッチの数が急
増、効率が悪く、運用負荷が極度に増大した
・ネットワーク構成が複雑化し、柔軟な運用
が困難となってきた
・サーバ仮想化基盤への移行に合わせ、これ
に適したネットワーク設計が求められた
導入効果
・ネットワークインフラコストが劇的に低下
・効率的で柔軟な拡張が可能なネットワーク
インフラが実現
・アプリケーション担当者自身がネットワーク
世界市場を相手に事業を拡大する、インターネット総合サービスを
提供している楽天。同社はシスコのネットワークファブリック技術
「 FabricPath」を日本で初めて本格採用。新しいデータセンターの基
盤とすることで、IT インフラを機動的なビジネス展開のためのエン
ジンに変身させようとしている。
関連の設定を自らできる環境の整備
インターネットで商品を購入する人の間で、 知らない人はいない国内最大級のイ
ンターネット・ショッピングモール「 楽天市場」。おびただしい数の出店企業のプラット
フォームとして機能しており、止まることは許されない。楽天は、成長を続ける同サービ
スの舞台裏で、このプラットフォームをさらに柔軟で効率的、かつ拡張性に富んだもの
に進化させるべく、データセンターインフラの全面刷新を進めている。新たなデータセン
ターのネットワークを支えるのは、シスコシステムズのスイッチ「Cisco Nexus シリーズ
スイッチ」と、同シリーズが搭載する Cisco FabricPath 技術だ。
FabricPath 採用の最大の動機は、ネットワークインフラの効率化と運用性の向上にある。
これまでのイーサネットの構築では、ある接続が途切れてもトラフィックの
回路を提
供できるように、予備の接続やスイッチを用意しておくことが常識となっている。これら
は、平常時には使われることがない。本稼働の接続やスイッチに障害が発生すると、ス
パニングツリープロトコル（ STP ）という仕組みで、予備の接続に自動で切り替わること
になる。
しかし、こうした構成では、予備の接続やスイッチが平常時には待機しているだけな
ので、無駄になってしまう。また、STP による切り替えは瞬時とはいかず、安定的なネッ
トワークの運用という点でも、頭の痛い問題となってきた。
前例のない FabricPath 導入に至った理由
楽天でサーバープラットフォームグループ サブマネージャーとして、データセンター
インフラ運用におけるキーマン的な役割を果たしている岩崎磨氏は、こうした従来型の
※この冊子は、＠IT 2013年6月に掲載されたコンテンツを再構成したものです。
7http://www.atmarkit.co.jp/ait/articles/1306/26/news004.html
ネットワークの効率性と運用性に問題意識を持っていた。
チ、全接続が有効に使われる。こうした自動構成機能は、ネット
楽天市場の従来のデータセンターネットワークは、用途に応
ワークの拡張や構成変更にも生かすことができ、手間の掛から
じて多数のレイヤ 3 セグメントが構成・運用されてきた。これは
ないネットワークの構築と運用に大きく貢献する。
用途に応じたサービスレベルを確保するには有利だが、運用負
TRILL あるいはそれに類似した技術 は、 複数 のネットワー
荷が高く、楽天市場のサービスの急速な拡大への追従も難し
ク機器 ベンダが 提供している。そのなかで、楽天はシスコの
い。また、各レイヤ 3 セグメント内では上述の STP が使われ、帯
TRILL 実装である FabricPath を選択した。
域およびスイッチの利用に大きな無駄が発生していた。結果と
その理由の 1 つは拡張性にある。各社とも特に当初、こうし
して、データセンター全体では、1000 台を超える数のスイッチ
た製品の最大スイッチ接続台数や扱える MAC アドレス数には
が使われてきたという。
大きな制限があった。しかし、シスコの FabricPath は当初から、
楽天にとって、データセンターネットワークの集約化と効率
他社に比べてより大規模なネットワークの構築に対応できるス
向上は急務だった。しかし、安定稼働中のサービスを支えてい
ペックを有しており、そのうえでさらに大規模な環境への対応
るネットワークの構成に手を加えることは、非常に困難だ。そう
を迅速に進めていたという。
したなか、楽天では仮想化を基盤とする新たなデータセンター
とはいえ、楽天のような規模で FabricPath を使った前例は、
を構築し、楽天市場の物理サーバを仮想化したうえで、順次こ
国内にはまったくなかった。国外でも当時は手本がほとんどな
の仮想基盤に統合していくことになった。これを機にネットワー
かったといっても過言ではない。そうしたなかで、実運用に耐
クについても、併せて集約化を進めることにした。すなわち、新
え得るかどうかを見極めるのは容易ではなかった。だが、シス
しいデータセンターへの移行により、包括的なインフラコスト
コは検証の段階から、米国本社のエンジニアが日常的に直接
の削減を進めることにしたのだ。
対応して強力にサポート。楽天のエンジニアも、これを受けて
まず、新しいデータセンターでは広大なレイヤ 2 ネットワー
問 題 点を迅 速に解 決できた。その作 業のなかで、2 社の相 互
クを構築。VLAN を使って、多数のレイヤ 3 セグメントをこれに
協力を通じ、適切な運用手法を見出すこともできたという。
「こ
統合する。さらに、当時（ 2011 年）はようやく実装が登場しつ
うした対 応をしてくれるシスコと一 緒にやっていくことが、当
つ あっ た TRILL（ TRansparent Interconnection of Lots of
社にとって最適だと判断し、同社の製品を選択しました」と岩
という技術を採用して、STP から脱却し、ネットワークの
Links ）
崎氏は振り返る。
利用効率を高めることを考えたという。
TRILL とは、イーサネットスイッチ間の接続構成を自動化す
る技術だ。特に冗長接続の構成にメリットをもたらす。TRILL で
1000 台以上のスイッチを 100 台に減らせる
はスイッチ間で自動的にネットワークの冗長構成が設定される。
それにしても、前例のない規模での新技術の導入に踏み切っ
予備の接続やスイッチという概念はなく、平常時にも全スイッ
たのはなぜなのか。岩崎氏は次のように説明する。
「当社は世界ナンバーワンのインターネット企業になるとい
う目標を掲げています。他社の事例がなければやらないという
のでは最先端のことができません。一方で、リスクが大きいこ
とは認 識していました。だからこそ検 証 作 業が 非 常に重 要で
した。導 入する環 境において発 生すると思われる問 題を徹 底
的に洗い出し、確認してから実運用に移行することで、確認し
ている範囲での問題には対応できるという自信が持てました」
（岩崎氏）
。
最先端のネットワーク技術を採用した新しいネットワークは、
2012 年に運用開始となり、それを拡大した新しいデータセン
ターは、2013 年に運用開始となった。既存のデータセンター
で 1000 台以上あったスイッチが、新しいデータセンターでは
数十台に集約された。サーバ移行はまだ完了していないため、
新しいデ ータセンター 内のスイッチはまだ増える可能性があ
る。それでも、移行完了時で 100 台程度には落ち着くのではな
いかと、岩崎氏は考えている。運用開始から約 1 年が経過した
楽天 サーバープラットフォームグループ サブマネージャー
岩崎 磨 氏
が、ネットワークが停止するようなトラブルは 1 件も発生してい
ないという。
楽 天 で は 今 回、FabricPath 機 能 を 実 現 するた め、
「Cisco
楽天の新ネットワーク概念図。今後、データセンター間を FabricPath で結ぶことも考えているという
Nexus 5000 シリーズ」と「Cisco Nexus 2000 シリーズ」の
組み合わせを採用した。小型スイッチを、ニーズに応じて相互
効率的なデータセンターにおける「うれしい誤算」
接続により拡張していくことで、需要に応じたきめ細かなネッ
今回、楽天が新しいデータセンターのネットワークを、フラッ
トワーク増強ができる。また、Nexus 2000 シリーズは Nexus
トなレイヤ 2 の 空間として構築 することにこだわったのには、
5000 シリーズから統合管理できるため、運用作業が大きく簡
サーバやアプリケーションの移行の容易さという理由もある。
素化できたという。
楽天市場の既存サーバ群の移行は、段階的に進められてい
「過去は、大型のコアスイッチやコアルータを使わざるを得ま
る。対象となるサーバ台数は膨大だ。インフラコストの削減が
せんでした。その点 Nexus では 1U の製品でも、10Gbps をワイ
最大の目標であるため、移行におけるサーバやアプリケーショ
ヤレートで伝送できますし、レイヤ 3 でも 160Gbps の伝送容量
ンのエンジニアの負担は、最小限に抑えたい。できるだけ構成
があります。コンパクトなスイッチを活用していくことで、ラック
変更をせずに、サーバやアプリケーションを移行できるようにす
のコストを含めた、製品調達コストの削減にも、大きく寄与して
るため、広大なレイヤ 2 の空間を用意したかったのだという。
いると考えています」
（岩崎氏）
。
また、アプリケーション運用担当者とネットワーク運用担当
Cisco Nexus 5000 シリーズ
Cisco Nexus 2000 シリーズ ファブリック エクステンダ（ FEX ）
者双方の運用負荷を軽減するため、アプリケーション運用担当者が、ネットワーク関連
の設定を自ら変更できるような Web ツールも順次提供しているという。この Web ツー
ルを使って、アプリケーション担当者は、例えば負荷分散装置の対象となるサーバを即
座に増やすなどができる。Nexus の API を活用して、VLAN の設定をアプリケーション
側が実施できるようなツールも作成中という。
楽天株式会社
Rakuten, Inc.
このように、サーバ担当者やアプリケーション担当者に対するさまざまな配慮を加え
て実施した今回のデータセンター移行プロジェクトだが、うれしい誤算があったと岩崎
氏は話す。
「IaaS 環境への移行によってコストが劇的に下がることが分かった瞬間に、社内のア
本社所在地
〒140-0002 東京都品川区東品川4-12-3
品川シーサイド楽天タワー
設立
1997年2月7日
プリケーション運用担当者が積極的に移行を検討し始め、2012 年中は予想をはるかに
上回る需要への対応に追われました」
（岩崎氏）
。
これに伴い、ネットワークについても急速な増強を強いられた。しかし、大幅な拡張を
想定して設計していたため、増強作業は実質的に、スイッチのポート数を増やす作業の
資本金
108,255百万円 (2012年12月31日現在)
URL
http://www.rakuten.co.jp/
みで済んでいるという。
複数データセンター間にまたがる新たなネットワークインフラ
では、今後楽天におけるデータセンターネットワーキングは、どのように進化していく
のだろうか。
FabricPath は本来、単一データセンター内のネットワークに特化した技術だが、楽天
では「複数データセンター間接続に使えるのではないか」
と考え、実際に適用を開始した
と、岩崎氏は話す。
楽天は世界各国への展開を進めている。国内のデータセンターも 1 カ所では済まな
い。このため、複数のデータセンターにまたがって単一の VLAN を構成するなどのニー
ズはすでにあり、今後さらにこうしたニーズは高まっていくはずだという。これを実現す
るものとして、シスコは OTV などの、別の技術も提供している。だが、楽天としては自社
でノウハウを十分に蓄積し、安心して使えると考える FabricPath の適用範囲を広げてい
きたかったのだという。
「実績は自分たちで作ればいい」
大規模事例としては日本初となった今回の楽天による FabricPath 導入。
「 社内のエ
ンジニアによる努力も大きかったですが、実績など自分たちで作ればいいということを
改めて感じました。自分たちできちんと確認して、納得するということが非常に大事で
す。それができたのも、シスコのサポートがあったからこそだと考えています」と岩崎氏
は胸を張った。
©2013 Cisco Systems, Inc. All rights reserved.
Cisco、
Cisco Systems、
およびCisco Systemsロゴは、
Cisco Systems, Inc.またはその関連会社の米国およびその他の一定の国における登録商標または商標です。
本書類またはウェブサイトに掲載されているその他の商標はそれぞれの権利者の財産です。
「パートナー」
または
「partner」
という用語の使用はCiscoと他社との間のパートナーシップ関係を意味するものではありません。
（0809R）
この資料の記載内容は2013年6月現在のものです。
この資料に記載された仕様は予告なく変更する場合があります。
お問い合せ
シスコシステムズ合同会社
〒107- 6227 東京都港区赤坂9-7-1 ミッドタウン・タワー
http://www.cisco.com/jp
お問い合わせ先 ：シスコ コンタクトセンター
0120-092-255
（フリーコール、
携帯・PHS含む）
電話受付時間 : 平日 10:00∼12:00、
13:00∼17: 00
http://www.cisco.com/jp/go/contactcenter/
0920-1306-01A-IT