big relation ディー・エヌ・エー（DeNA） Big Cloud Fabricでネットワークと サーバの運用の「壁」を打破したDeNA 多種多様なサービスを展開している DeNA。いち早く新しいサービスをリリースし、ユーザーのニーズに応じて改良していく 上で足かせになっていたのが、サーバの運用とネットワークの運用の間にある壁だった。インフラ全体を一元的にコントロー ルし、担当者間の「依頼」や「待ち時間」をなくして効率アップを図るために同社が採用したのが、OpenStack であり、Big Switch Networks の「Big Cloud Fabric」だ。 株式会社ディー・エヌ・エー 〒 150-8510 東 京 都渋 谷 区 渋 谷 2-21-1 渋 谷ヒカ リエ http://dena.com/jp/ 株式会社ディー・エヌ・エー（DeNA）は、ゲーム、 e コマース、エンターテインメント、ヘルスケア、 キュレーション、オートモーティブなどの 様 々 な領域で、モバイル端末向けを中心としたイン ターネットサービスを提 供している東証一部上 場企業 （ 2432）です。1999 年に PC 向けのオー クションサイトを運営するベンチャー企業とし て 東 京 で創 業されて以 来、DeNA は、ひとつ の事業領域にこだわることなく、次々と時代を 切り拓く新しいインターネットサービスを生み 出すことで進化を遂げてきました。特に、モバ イル端末向けのゲームは大きな成長エンジンと なり、現在では世界中で約 2000 人 以 上の従 業員が DeNA グループで働いています。また、 DeNA はプロ野 球チームと陸 上チームを所有 しており、スポーツの領域でもその名を知られ ています。 電子商取引（EC）事業を皮切りに、ゲームやソーシャルネットワーク、動画・漫画の配信サービ スなど幅広くインターネット事業を展開しているディー・エヌ・エー（DeNA）。最近では、ヘルス ケアやオートモーティブなど新しい分野にも積極的に取り組んでいる。 同社の幅広いサービス群は、約 4000 台に上るサーバとパブリッククラウドで構成されるイン フラによって支えられている。DeNA システム本部 IT 基盤部では適材適所の組み合わせで、時 には自社オリジナルのツールを開発して効率的な運用に取り組んできたが、 「簡単なものは簡単 に」というコンセプトの元で新たなチャレンジに取り組んだ。それが、これまで別々になっていた サーバ運用とネットワーク運用の統合だ。 「サーバの運用とネットワークの運用が分かれており、何かちょっとした作業のたびにネット ワーク担当者に依頼する必要がありました。スピード感を高めるため、この『依頼』をなくしたい と考えました」 （ディー・エヌ・エー システム本部 IT 基盤部 部長 小野篤司氏） DeNAではこの狙いを実現するため、ネットワークとサーバ、ストレージといったインフラを 統合する基盤としてOpenStackを採用。さらに、オープンな Software Defined Networks （SDN）の実現を目指し、Big Switch Networksの「Big Cloud Fabric（BCF）」を導入し た。これらに、F5 ネットワークスの Load Balancer as a Service （LBaaS）製品やオープン ソースの分散ストレージソフトウェア「Ceph」を組み合わせ、仮想化基盤の運用改善も実現して いる。 変更依頼のたびに待たされるのはナンセンス Webサービスの世界はスピードが命だ。いち早く新たなサービスをリリースしてユーザーをつ かむことが求められる。 DeNAにとってもスピードは重要な課題の一つだ。2015 年の1 年だけでも、IT 基盤部が携わっ たプロジェクトは 33件。つまり、毎月2.75 案件というペースで新たなプロジェクトやサービスを リリースしてきた計算だ。これだけの案件をこなす中でボトルネックの一つになっていたのが、 サーバ運用とネットワーク運用の間の壁だった。 ディー・エヌ・エー システム本部 IT 基盤部 部長 小野篤司氏 「サーバ構築後にネットワークにちょっとした変更を加えたいだけなのに、チケットを発行し てネットワーク担当者に依頼を送らねばなりません。過去に定められていた標準のルールでは 5 営業日以内の対応と定められていたのですが、外部に委託するわけでもないのに、これほど時間 がかかるのはナンセンスだと考えていました。しかも、依頼が少ないときはいいのですが、プロ ジェクトが重なった時には何日か待たされますし、優先度が低い依頼の中には埋もれてしまうも のもあります。期日通りに進まず、作業効率が悪いと感じていました」 （小野氏） その解決策を探ってたどり着いたのが、OpenStackという選択肢だ。DeNAはそれまで、独 Big Switch Networks 株式会社 〒 100-0004 東京都千代田区大手町 1-9-2 大手町フィナンシャルシティ グランキューブ 3F 自に作成したスクリプトを用いて仮想マシンのプロビジョニングを実現していた。「2∼3 年前に もOpenStackという選択肢を検討しましたが、当時は成熟度が低いと判断しました。しかし、 多くのベンダーが OpenStackを採用し、さまざまなリソースとのインテグレーションが可能な Global Business Hub Tokyo http://www.bigswitch.com/japan Tel：03-4243-7199 Email：[email protected] 環境が整ったことから、導入を検討しました」 （小野氏） Big Switch Networks 要とするものは存在しないのかもしれない、自分たちで作るしかないかもしれないと思っていま 3965 Freedom Circle, Suite 300, Santa Clara, CA 95054, USA Phone: +1-650-322-6510 会ったのがBCFだった。 次にネックになったのは、OpenStackで構築したサーバとネットワーク設定をつなぐ仕組み だった。だが「商用製品はオーバーレイネットワークを前提としているものばかり。自分たちが必 した」 （小野氏）。そんなとき、東京で開催された「OpenStack Summit Tokyo 2015」で出 不特定多数にクラウドサービスを提供するサービス事業者なら きることで、プロプライエタリなネットワーク機器では実現できな ば、非常に多くのVLANを設定できるオーバーレイネットワークと かったでしょう」（小野氏）。ベアメタルスイッチとコントローラで いう選択肢は魅力的だ。だが「DeNAの場合、VLAN は 4096 個 構成されるBCF では、コントローラ側 1カ所で一元的に APIを制御 もいらないし、IPアドレスのマネジメントも自分たちでできるため、 できることもメリットだったという。 そもそもその要件が当てはまりません。目的は、自分たちのサービ * https://github.com/DeNADev/networking-bigswitch-l3-pe スを自分たちで効率よく運用することでした」 （小野氏）。 自分たちの作業効率を高め、アジャイルなインフラ 実現に欠かせないBCF BCF をはじめとする新たなインフラ導入によっ Project て、作業発生のたびに出していた「依頼」をなくし、 運用の効率化、簡素化を実現したDeNA 。気になる のは費用だが、 「思ったよりも安く導入できました」 と小野氏は述べる。 L3 しばしばネットワークOS のメリットとして、プロ プライエタリなネットワーク機器よりも安価に導入 L2 できる点が挙げられる。小野氏は率直に、「ライセ ンス費用に加え、サポートや保守費用などを計算に 入れれば、 『ちょっと安いかな』というくらいでしょ OpenStack でネットワーク作成を実行すると、 BCF 上に対応する config が自動生成される。 う」と述べた。 だが「そもそも安いから BCF を導入したわけで はありません。既存のネットワーク機器ではできな 外部 の意 見も聞きながらエンジニアらと議 論を重ねた 結果、 いことを実現し、自分たちの効率を高めるために導入しています」 BCF採用を決定した。「アンダーレイネットワークでの導入ならば （小野氏） 今までと同じやり方でトラブルシューティングもでき、シンプルに運 DeNAでは今後も、作業効率改善の手を緩めるつもりはない。 用できることも理由の一つになりました」 （小野氏） その一つとして構想しているのが、Infrastructure as a Code の L i n u x を ベ ース とし た ネット ワ ー ク O S で あ る B C F は 、 実現を視野に入れた、プロビジョニングの自動化だ。例えばChef OpenStackと連携可能な APIも充実している。「数で言えばネッ などのツールを用いて、 「サーバもネットワークも一気通貫にプロ トワークエンジニアよりもサーバエンジニアの方が多いので、運用 ビジョニングができるようになれば、依頼が全く発生せず、より楽 を統合する上で Linuxベースのネットワークスイッチにしていくの に運用できるでしょう。こうした完成度の高いインテグレーション は合理的だと判断しました。障害発生時のカンも効きますし」と小 されたインフラを目指しています」 （小野氏）。 野氏は述べている。 また、OpenStackとBCF の組み合わせで開発環境を構築し、 社内の全てのエンジニアに「1人1ネットワーク」を提供することも検 OpenStack 側の設定がすぐにネットワークに反映される仕組み 討中だ。セキュリティや統制の面から検討は必要だが、その環境に を実現 適用するACLの開放も考えているという。 いったん決めたら、その後の動きは素早かった。2015 年 11 月末 多様なサービスを支えるため、 「Webだけ」「ネットワークだけ」 から検証作業を開始し、既存システムとのインテグレーションを実 のエンジニアではなく、上から下まで幅広い知 識を備えたフルス 施。2016 年 3月にはCephやLBaaSも含めた新たな基盤の稼働を タックエンジニアの育成に取り組んできたDeNA 。それに応えられ 開始し、徐々に規模を拡大している。 るインフラが整備されることによって、 「依頼待ち」の時間が減り、 新たな基盤では、OpenStack 上でプロジェクトを作成すると、 BCFが連動して VRFに当たる「テナント」が作成される。同様に、 OpenStackでネットワークを作成するとBCF 経由で VLAN に当たる「ロジカルセグメント」が作成され、サ その分をより高度な作業に使い、新たな付加価値を生み出すこと ができる。その道のりにおいてBCFは重要なパーツとなっている。 ブネットを作成すればロジカルセグメントインターフェ LBaaS 既存アプライアンスを利用 インターネット イスが作成されるという具合だ。セキュリティグループ の情報も反映される。 基幹ネットワーク 「OpenStack 側 でネットワー クの 設 定 をすると BCFによってネットワークに反映される̶ ̶シンプル ですが、これを実現したかったのです。これ以上は求め ていません」 （小野氏）。 ただ、DeNA が採用した BCF P-Fabric エディショ ン では、連動して設定されるのはレイヤ 2 の情報のみ だ。DeNAでは、IPアドレスなどレイヤ 3 の情報につい ても連携させるツールを独自に開発し、オープンソース kvm kvm kvm kvm kvm kvm Ceph Ceph Ceph 1G Management 10G Service 40G External Tenant API BCF controller として公開した *。「これもAPIが公開されているからで Big Switch Networks 、Big Cloud Fabric 、Big Monitoring Fabric 、Switch Light OS および Switch Light vSwitch は、Big Switch Networks, Inc. の商標または登録商標です。その他すべての商標、サービスマーク、 登録マークまたは登録サービスマークは、各所有者に所有権があります。
© Copyright 2024 Paperzz
