中間報告書 - 東京大学

学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
11-IS01
分散クラウドシステムにおける遠隔連携技術
棟朝雅晴（北海道大学）
概要北海道大学アカデミッククラウドをはじめとする全国各地に分散配置されたクラ
ウドシステムを連携し、相互運用するために必要な技術について開発を行う。具体的に
は、バーチャルプライベートネットワークにより相互接続されたバーチャルマシン群を
一つのクラスタとして運用するための技術、分散バーチャルクラスタ上での並列分散処
理に関する研究開発、広域ネットワークを使用することに伴う性能評価、異なるクラウ
ドミドルウェア間での相互運用に関する検討、研究開発を実施するものである。本年度
においては、2011 年 11 月の北海道大学アカデミッククラウドの運用開始に合わせて、
技術的な選択肢の検討、およびプロトタイプシステムの構築に関する技術的検討を行っ
ており、具体的にはクラウドミドルウェアの API を用いたバーチャルマシンの設定、立
ち上げや、それらを相互接続するバーチャルプライベートネットワークの制御を行うた
めに必要となるソフトウェアの開発を実施している。
1. 研究の目的と意義る。特に、大規模分散クラウドシステム上におけ
る MapReduce や MPI 等のバーチャルマシンクラス
本共同研究課題は、地理的に分散配置されたプ
タの構成に関する検討を行い、実験的にクラスタ
ライベートクラウドシステムを連携させるために
を構成し、その性能について評価を行う。必要となる技術的課題について検討、検証するこ
（４）大規模分散クラウドストレージの実現に必
とを目的とするものである。学際大規模情報基盤
要な、拠点間でのストレージシステムの連携技術
共同利用・共同研究拠点は、大規模計算機とそれ
について検討、検証する。を支える汎用計算機資源が大容量ネットワークで
（５）ハイパーバイザソフトウェア、クラウドシ
接続されており、さらに近年、いくつかの拠点に
ステム管理ミドルウェアが互いに異なる環境にお
おいてプライベートクラウドシステムの構築を計
ける管理システム間の連携方法に関する検討を行
画している。そこで、各拠点におけるプライベー
う。トクラウドシステムを大容量ネットワークで接続
することにより、広域分散型の大規模クラウドシ
以上の技術的課題について、北海道大学から九
ステムの構築をめざし、主な技術的課題として以
州大学にいたる広域分散クラウドシステムのテス
下の項目について研究開発を行う。トベッドを構築することを通して、日本全体にわ
たるアカデミッククラウドの連携に必要となる基
（１）バーチャルプライベードネットワークとし
盤的技術の開発、および運用モデルの確立を目指
て SINET4 におけるオンデマンド L2/L3VPN サービ
すものである。ス等を用いた、分散プライベートクラウドシステ
クラウドコンピューティングについて、海外で
ムの相互接続に関する検討、検証、接続実験を行
は大規模なクラウドシステムによるサービスが行
う。われているが、ハイパフォーマンスコンピューテ
（２）使用するネットワークに依存した拠点間の
ィングを実現するものはまだ少なく、さらにその
伝送遅延と帯域による影響に関する検証実験を実
利用条件、利用料金、ネットワーク遅延、セキュ
施する。リティポリシーなどの問題から、国内の大学や研
（３）分散配置され、相互接続されたバーチャル
究機関における要求にすべて合致させることは困
マシン群を用いたシステム設計法について検討す
難である。 1
学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
このため、各大学・研究機関においてプライベ
ートクラウドシステムの構築が進められていると
(3) 当公募型共同研究ならではという事項などころであるが、予算上の制約等により、それぞれ
のシステムの規模は比較的小規模なものに留まる
全国規模での分散クラウド連携プロジェクトと
ことが多く、クラウドコンピューティングによる
して、ネットワーク型拠点に分散配置されたクラ
スケールメリットが生かされないという問題が生
ウド資源を活用した、実運用を目指した研究開発
じる。であることが特徴的である。そこで、本研究プロジェクトにおいては、各大
学においてそれぞれ導入されたプライベートクラ
3. 研究成果の詳細ウドシステムを連携させ、大規模なアカデミック
クラウドシステムを構築することで、各大学のポ
（１）バーチャルプライベートネットワークを用
リシーを生かしつつ、かつスケールメリットを享
いた分散プライベートクラウドの相互接続に関す
受できるような分散環境を実現することを目指し
る検証ている。そのために必要となる技術的課題につい
て、具体的な広域分散クラウドシステムの相互連
北海道大学情報基盤センターと国立情報学研究
携を通して検討、検証するところに、本共同研究
所（一ツ橋）との間をバーチャルプライベートネ
の意義が存在する。ットワークにより相互接続することで、図１に示
また、各研究拠点が持つ汎用計算機資源の利用
す分散プラベートクラウド環境を構築した。率は、拠点によって偏りがある。仮想化により拠
E,$/7;<"+?'F/#$G/?'
'*/$H//,'!"II-6?"'),6J/7#6$K'-,?'LEE
点を意識することなく、余剰資源を持つ拠点の計
算機資源へのアクセスが可能となることにより、
汎用計算機資源がより有効活用されることが期待
6,$/7,/$
される。分散クラウドシステムに保存された情報
資源は、複数の拠点に分散されて配置されるが、
これにより保存された情報資源へのアクセスが分
散され、トラフィックの集中や計算機負荷の上昇
を分散させることができる。また、広域に分散配
!"#$%&'(')*+,$+'
!"#$,-./'('0".1+$/2'
' 9:;'
' !"#$,-./'('<=02><"0-<'
''
''
!-?""1
''
''
/$34
''
'
'
'
/$34
/$38
'
!"#$%&'(')*+,$+'
!"#$,-./'(3+$*445'
' 9:;'
' !"#$,-./'('<=03+5><"0-<'
''
''
!-?""1
''
''
''
/$34
'
'
'
/$34
/$38
一ツ橋
5@A>5BC>54>4DA8
置される事によるディザスタリカバリなど可用性
&ELMF
の向上が期待される。北大
54>5>8>4DA8
5@A>5BC>A44>4DA8
図１北大̶NII 間での InterCloud 試験環境 2. 当拠点公募型共同研究として実施した意義本試験システムでは、Linux コンテナをベース
(1) 共同研究を実施した大学名とした CaaS (Cluster-as-a-Service)と呼ばれる
クラウド環境を構築し、遠隔接続のために、SINET
北海道大学、東京工業大学、国立情報学研究所、
の L2-VPN（帯域幅：1Gbps）機能を用いてネット
九州大学、東京大学、東京藝術大学、広島大学ワークを構成した。図の赤線の部分のネットワー
クがバーチャルプライベートネットワークとして
(2) 共同研究分野サイト間で共有されているネットワークである。
それぞれのサイトにおける計算資源は以下の通り
超大規模情報システム関連研究分野である。 2
学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
直接接続した場合と比べて 21%程度の帯域幅の低
・国立情報学研究所：DELL PowerEdge R715 x 2
下が見られていることが分かった。台（AMD Opteron 6128 2GHz x 2, Mem: 32GB, HDD: また、ネットワーク遅延については、VPN のオ
500GB）ーバーヘッドもあり、ping のレスポンスが 20ms
・北海道大学：DELL PowerEdge R200 x 2 台程度となったため、図３に示されるトランザクシ
（Intel Xeon E3110 3GHz, Mem: 2GB, HDD: 160GB）ョンの性能（秒あたり処理できるトランザクショ
ン数）については、大幅な性能劣化が見られた。・VPN: SINET-4 L2VPLS（1000Base-T 接続）・ソフトウェア環境：Ubuntu 11.04、LXC で Hadoop
Transaction(tran/s)
をインストールし、クラスタを構成 12000
10007.38
10000
（２）ネットワーク伝送遅延および帯域幅に関す
8000
る評価実験 7359.00125
6000
北海道大学と国立情報学研究所との間で構成さ
4000
れたバーチャルプライベートネットワークを用い
2000
て、それぞれのサーバ間での転送実験を行った。
48.7375
0
測定にあたっては Linux コンテナとして実現され
一ツ橋2台間
北大2台間
北大-‐一ツ橋間
たサーバから、Linux コンテナが動作している物
とは別の物理マシンへのファイル転送を行った場
図３北大⇔NII 間でのトランザクション性能評価合のスループットを測定している。測定を行った
結果を図２に示す。縦軸はスループット（Mbps/s）
（３）分散クラウド上でのバーチャルマシンクラ
を示している。スタの実現に関する検討本課題については Hadoop をインストールした
Throughput(Mbps/s)
2000
1800
1600
1400
1200
1000
800
600
400
200
0
バーチャルマシンから構成されるクラスタシステ
9899.03
ムに関する性能評価を行っている。はじめに、北
海道大学アカデミッククラウド内での Hadoop ク
ラスタに関する性能評価を行った。本性能評価に
941.38
ついては、当該クラウドシステムの負荷試験の一
740.6925
部として実施した物であり、システムの仕様で定
められた上限である 2,000 のバーチャルマシンを
同時にクラスタ化して Hadoop を実行した場合の
一ツ橋2台間
北大2台間
北大-‐一ツ橋間
性能についても試験している。図２北大⇔NII 間での帯域幅測定試験に使用したハードウェア、ハイパーバイザ、
ソフトウェア等の環境は以下の通りである。国立情報学研究所（一ツ橋）内では 10GbE で直
接接続されているため、理論値に近いスループッ
・ハードウェア：HITACHI BladeSymphony BS2000 A1 トがでており、北大内においても GbE の理論値に
（Intel Xeon E7-8870 2.4GHz x 4 (10 x 4 = 40 近い値が出ている。北大⇔国立情報学研究所間で
cores), Mem: 128GB, HDD: FC-SAN 20TB, Network: は L2-VPN によるオーバーヘッドが出ているため、
10GbE x 2 per node） 3
学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
・ハイパーバイザ：XenServer 5.6 さらに、北海道大学と国立情報学研究所の間で
・ソフトウェア：Hadoop 0.20.2 実現された InterCloud 試験環境（図１）で実施し
・マスターノード： Xeon E7-8870 4 コア (VM) た Hadoop の試験結果の一例を図５に示す。 Mem:8GB, HDD:100GB, CentOS 5.5 (64bit) ・スレーブノード：Xeon E7-8870 1 コア(VM), Mem: gridmix 処理時間(sec)
3GB, HDD:100GB, CentOS 5.5 (64bit) 16000
14000
12000
10000
8000
6000
4000
2000
0
図４に評価試験の結果を示す。ここでは、Hadoop
のベンチマーク問題である Teragen と Terasort に
ついて試験を行っている。横軸はタスク数（使用
したバーチャルマシンの数）であり、縦軸は単位
時間あたりに処理できたデータのサイズ（MB/s）
14602
14589
7892
一ツ橋
を示している。北大
1台
一ツ橋2台
8812
一ツ橋1台
北大1台
7558
北大2台
2台
図５北大⇔NII 間での Hadoop 試験結果この結果によると、同一サイト内で行った結果
に比べ、北海道大学、国立情報学研究所の両方の
サーバをつないで行った結果が若干劣るものの、
その性能劣化が 10%程度に抑えられていることが
分った。（４）大規模分散クラウドストレージに関する連
携方式の検討図４北大クラウドにおける大規模 Hadoop クラス
タの性能評価結果大規模分散クラウドストレージについては、現
在検討をすすめている段階であり、 OpenStack この結果によると、Teragen の場合で 500 まで、
swift などオブジェクトストレージサーバの構築
Terasort の場合で 1000 まで性能向上が見られる。
および連携について検討を行っている。それを超えると性能低下が見られるが、この理由
としては、物理ノードの数が 100 程度であり、デ
（５）異なるハイパーバイザソフトウェア、クラ
ィスク I/O でのオーバーヘッドが無視できなくな
ウドミドルウェア環境における連携方式の検討るためであると考えられる。当該クラウドでは、
すべての利用者で最大 2,000 のバーチャルマシン
異なるクラウド環境の間での相互接続、連携方
を共有して利用することから、実利用において一
式の検討のため、現在、CloudStack と OpenNebula
利用者が構成可能なクラスタとしては高々200 程
の互いに異なるクラウドミドルウェアを用いた
度のバーチャルマシンであるものと予想されるた
InterCloud 試験システムの構築を行っている。構
め、ここで示された結果は、実運用上妥当なもの
築中の試験システムの構成図を図６に示す。であると考えられる。 4
学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
準で装備しており、その API を以下のような形式
!"#"$%&"'"%()*+'#"$,-%(.*/")#0".
で呼び出し、VPN アクセスのためのユーザ設定を
行い、クライアント側から当該ユーザ、パスワー
,-%(.1#234
56"'7"8(-2
ドで呼び出すことで、L2TP ベースの VLAN を設定
することが可能となっている。 9:7
http://<IPaddress>:8080/client/api? command = addVpnUser & username = <vpn-user> & password = <pw> & apiKey= *******O1R8fvEFkPPGLYJ******* & 図６ CloudStack と OpenNebula による InterCloud
signature = *******pL81VMNaUbLoV******* 試験環境このような API 呼び出しを用い、バーチャルマ
本試験システムは、 CloudStack および
シンおよびバーチャルプライベートネットワーク
OpenNebula の標準インストール環境を実装すると
を設定し、バーチャルマシンのクラスタを自動的
ともに、それらの間でバーチャルプライベートネ
に設定するために必要な技術的課題について検討
ットワークを自動的に設定し、異なるクラウドミ
を行っている。図８に OpenNebula と CloudStack
ドルウェアの管理下にあるバーチャルマシン群を
間での VPN 接続の試験環境を示す。一つのクラスタとして運用するための試験をおこ
VPN over Heterogeneous Clouds
なうものである。クラウドミドルウェアにおいては、その API を
OpenNebula
CloudStack
REST などにより呼び出すことで、バーチャルマシ
ンやストレージ、ネットワーク等の資源を確保す
Gateway
Management Server
133.87.4.54
ることが可能となっている。図７に CloudStack に
133.87.4.1
Virtual Router
133.50.1.202
192.168.0.3
おけるバーチャルマシンを確保するための API 呼
Gateway
133.50.1.1
192.168.0.4
び出しの例を示す。 Computing Node
VPN Server
VPN Client
An Example of CloudStack API
(Deploy Virtual Machines)
図８ OpenNebula と CloudStack 間での VPN 接続 http://<IP Addr>:8080/client/api?
command = deployVirtualMachine &
displayname = myinstance &
group = myGroup &
zoneid = 1 &
templateid = 2 &
serviceofferingid = 1 &
apiKey = ***O1R8fvEFkPPGLYJ*** &
signature = ****LJ9KXxFDEw1Ix*** OpenNebula 側では CloudStack のようなソフトウ
ェアスイッチが標準で用意されていないため、VPN
クライアントソフトウェアを特定のバーチャルマ
シンにインストールし、そこから CloudStack 側の
ソフトウェアスイッチを呼び出す方式について検
討し、検証システムの構築を行っている。図７ CloudStack における API 呼び出し例以上の検討をふまえ、現在、異なるクラウドミ
ドルウェアでの管理下にあるクラウドが相互連携
バーチャルプライベートネットワークについて、したインタークラウド環境において、バーチャル
CloudStack では専用のソフトウェアスイッチを標
マシンクラスタを自動設定するためのクラウドマ
5
学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
ネージャーの開発を行っている（図９）。 !"#$%&'(#)*+%#,)*(-).'+/0)1$
•  !2(&1-(!34(&''+,&5+1(&1-(*)$(%.(&*(&(,'%*$)#6
!"#$%&'()'%*$+#(,+-./0+1$(
.2+#($3+(41$+#)'.%5(612"#.10+1$
9"$)(E
9:;4<=>2(?@6A
7)*+%#,)*(8).'+/0)1$
!2
9/*$)0(4&0)
!2
!2
C)*$(9/*$)0(4+6A
7)B%)*$(!"#$%&'(7)*+%#,)*
41$+#7)'.%5(8&1&9+#(
!"#$
%&'$
9"$)(E !2F9G
:.#$&'(<==+**
H
E(IJ(K !34F33C3G ALM.*
9"$)(K !2F=G
N
!2
>D
!8
!8
!:;
!34
()*+,-
!2
9"$)(K
!8
!:;
図 11 仮想クラスタの自動構成図９インタークラウドでの仮想クラスタの構成ここでは、Site A からバーチャルマシン（サー
ビスレベル S）を３台、Site B からバーチャルマ
本クラウドマネージャーにおいては、利用者が
シン（サービスレベル L）を２台、それらを相互
それぞれのクラウドミドルウェアのクラウド API
接続する VPN (PPTP)を 1Gbps の帯域幅で確保する
を操作するための証明書を事前に登録しておき、
という例を示しており、ポータルからの指示にし
それらを Single Sign On ポータルから利用するこ
たがって、クラウドマネージャーが自動的にそれ
とを可能とする。図 10 にそのポータルシステムの
ぞれのクラウドミドルウェアの API を事前に登録
画面例を示す。された証明書によりアクセスして呼び出すことで、
分散配置されたバーチャルマシンクラスタを自動
!"#$%&'()*%+*,%$#()"-$+.'*
的に構成することができる。 •  //0%&'()*%+*,%$#()"-$+.'*%'1%2#$.32+-#"%1'$%
456%+22#""%'1%,)7#$#*-%2&'8,%9),,&#:+$#;
/>6=?<0@%AB;C
<'()*
!"#$%=+9#
D#()"-#$%?#$.32+-#"
/)-#%=+9#%F%4,,$#""
?#$.32+-# !E&'+,
5+"":'$,
4. これまでの進捗状況と今後の展望 />6=?<0@%AB;C
本年度の前半においては、2011 年 11 月 1 日の
北海道大学アカデミッククラウドのサービス開始
0H
D#()"-#$#,%/)-#%<)"-
!"#$
%&&'
($'#
/)-#%4
4,,$%4
?#$-%4
/)-#%G
4,,$%G
?#$-%G
に向けて、それぞれの研究目標に関する各種の課
題について事前の検討を行うとともに、基礎的な
プロトタイプの構築及び実験による検証を行って
図 10 分散クラウド連携ポータルの画面例いる。北海道大学においては、当該クラウドシステム
ポータルシステムから登録された証明書にした
のサービス開始後直ちに、運用システムとは別に
がって、異なるサイト上に分散配置された資源に
（運用システムにおいては、管理上の理由により
たいして、利用者の要求に応じたバーチャルマシ
API アクセスをセンターポータルシステムからに
ンクラスタの資源確保および設定を自動的に行う
限定しているため）CloudStack の標準インストー
ことを可能とする。自動構成の動作概念図を図 11
ル環境を用意し、API をベースとしたクラウド資
に示す。源へのアクセスを可能とするシステムの構築を行
っている。他のサイトにおける計算資源としては、東京工
6
学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
業大学における OpenNebula をベースとしたクラ
式に関する検討があげられる。特に、要求に応じ
ウド試験システム、国立情報学研究所における
て自動的にシステムのサイズを変更するオートス
OpenStack, Eucalyptus などによるクラウドシス
ケーリング（バーチャルマシンのサービスレベル
テム、九州大学における VCL (Virtual Computing の変更、およびその台数の変更）に関する検討を
Laboratory)によるシステムの活用を予定してい
行う。さらに、自然災害など障害発生時のバーチ
る。ャルマシンの遠隔マイグレーションへの対応につ
平成 23 年度においては、図 12 に示されるよう
いても試験を実施する予定である。な、全国規模の分散クラウドテストベッドの構築
管理運用については、学認や HPCI などの認証基
を行っており、中間報告時点で九州大学を除くサ
盤との連携方式に関する検討が必要となる。さら
イト間接続を完了している。に、単純なクラスタシステム以外のシステムパタ
ネットワーク接続に関しては、国立情報学研究
ーン（Web 三階層モデルなど）への対応や、仮想
所との間では SINET-4 L2VPLS による接続が完了し
ストレージおよびその他の仮想化された計算資源
ており、他に東京工業大学、東京大学等との接続
への対応についても検討を進めているところであ
を今年度中に終える予定である。さらに、ソフト
る。ウェアスイッチによる L2VPN については、グロー
今後の展望としては、さらに参加サイトを増や
バルインターネット上での実装を予定している。し、全国的な大規模クラウドテストベッドとして
の展開を目指して研究開発を推進する計画である。 5. 研究成果リスト北海道大学!
アカデミッククラウド!
"#$%&'()*+,-!
(1) 学術論文九州大学!
"6#72!0)+8-!
[1] 棟朝雅晴, 高井昌彰: 北海道大学アカデミッ
東京工業大学!
"./01504&$*-!
ククラウドにおけるコンテンツマネジメントシス
テムの展開, 情報処理学会第 10 回情報科学技術
フォーラム論文集（査読付） (2011) 国立情報学研究所!
"./01()*+,2!34&1)&-!
(2) 国際会議プロシーディングス図 12 平成２３年度におけるテストベッド [2] Omar Abdul-Rahman, Masaharu Munetomo and それぞれ異なるクラウドミドルウェアにより管
Kiyoshi 理されていることから、それらの違いを吸収する
Architecture for the Management of Virtualized ためのクラウドマネージャーの実現を通して、相
Application Environments in Cloud Platforms, 互に連携して運用するための試験を継続して実施
Proceedings of the IEEE 4th International する予定である。現状においては、バーチャルマ
Conference on Cloud Computing (IEEE CLOUD 2011), シンとバーチャルプライベートネットワークによ
pp.754-755 (2011) る Hadoop などのバーチャルマシンクラスタの自
[3] Mohamed Wahib, Asim Munawar, Masaharu 動構成について実装を行っているところである。 Munetomo and Akama Kiyoshi: A Framework for 今後の課題としては、まず、動的に変化する負
Cloud Embedded Web Services Utilized by Cloud 荷要求に対応するバーチャルマシンの割り当て方
Applications, Proceedings of the IEEE 2011 7
Akama: Multi-Level Autonomic 学際大規模情報基盤共同利用・共同研究拠点平成 23 年度共同研究中間報告書 2011 年 12 月
World Congress on Services Computing (IEEE 謝辞 SERVICES 2011), pp.265-271 (2011) 本研究の実施にあたっては、学際大規模共同利
用・共同研究拠点共同研究に加えて、北海道大学
(3) 国際会議発表情報基盤センター、同共同研究経費、国立情報学
研究所の援助を受けている。 (4) 国内会議発表 [4] 棟朝雅晴: 北海道大学アカデミッククラウド
の構築, アカデミッククラウドシンポジウム 2011
＠北海道大学 (2011) [5] 日下部茂: 九州大学システム情報科学府・研
究院でのキャンパスクラウドの活用, アカデミッ
ククラウドシンポジウム 2011 ＠北海道大学 (2011) [6] 横山重俊: 教育クラウド edubase Cloud の利
用事例と運用, アカデミッククラウドシンポジウ
ム 2011＠北海道大学 (2011) [7] 西村浩二: 組織間連携による分散ファイル管
理システムの開発, アカデミッククラウドシンポ
ジウム 2011＠北海道大学 (2011) [8] 滝澤真一朗: RENKEI-PoP による広域分散 VM ホスティングの構築, アカデミッククラウドシン
ポジウム 2011＠北海道大学 (2011) [9] 實本英之: VM を考慮したジョブスケジュー
リングシステムの開発, アカデミッククラウドシ
ンポジウム 2011＠北海道大学 (2011) [10] 小林泰三: 大規模広域分散システム：管理者
と利用者の視点から, アカデミッククラウドシン
ポジウム 2011＠北海道大学 (2011) [11] 横山重俊, 長久勝, 吉岡信和: クラウド基
盤構築フレームワーク Dodai について, 第 30 回
インターネット技術第 163 委員会研究会 (2011) (5) その他（特許，プレス発表，著書等） [12] Hokkaido University Builds Japan
Largest Academic Cloud Using Cloud.com
s : Business Wire (http://www.businesswire.com/) 他多数 (2011) 8

Download Report