Gfarm チュートリアル

プログラム環境特論
2008年12月18日
グリッドプログラミング環境（１）
建部修見
筑波大学システム情報工学研究科
コンピュータサイエンス専攻
概要
グリッド技術とは？
計算グリッド
データグリッド
アクセスグリッド
グリッド技術とその要素技術
単一認証技術
高速広域データ転送技
術
情報サービス
資源管理
オープングリッドフォーラム
(OGF)
グリッド基本ソフトウェア
Globus
グリッドプログラミング
コンポーネントモデル
MPI
GridRPC
Grid Datafarm
Grid Computing in the News
Slide courtesy by F.Berman, SDSC
最近の新聞記事から
読売新聞 2002年３月２６日（夕刊）
日本経済新聞 200１年１２月３０日
日経産業新聞 2002年５月１５日
日本経済新聞 2002年２月４日
2002.09.19
日経トレンディ 11月号臨時増刊号 pp.120-123
ニューズウィーク日本版 2002.9.25号 pp.58-61
グリッド技術とは？
スーパコンピュータを高速ネットワークで
接続して共有すること？
http://www.itbl.jp/
SETI@Home、UD Cancer research
project、Fight AIDS@homeなどの
こと？
http://setiathome.ssl.berkeley.edu/
http://members.ud.com/projects/cancer/
http://www.fightaidsathome.org/
次世代インターネット技術？
IPv6, QoS, IPsec, . . .
グリッド
90年半ばに作られた言葉
電力の送電線網（Electric Power Grids）との類似性
送電線網は過不足のない電力供給、トラブル時における別
ルートの確保など重要な役割。監視され、制御され、運用され
る。
発電装置、電気製品だけではなく送電線網は重要な発明！
現在の計算基盤は20世紀初めの送電線網のなかった電力の
状況と似ている
http://www.tepco.co.jp
グリッドの定義（1999年）
計算グリッドとは，高性能計算能力へのアクセスのた
めのソフトウェア，ハードウェアである
信頼できる，一貫した，広範囲の，安価な
A computational grid is a hardware and software
infrastructure that provides dependable,
consistent, pervasive, and inexpensive access to
high-end computational capabilities
From “The GRID – Blueprint for a New
Computing Infrastructure”, 1999
http://www.mkp.com/grids/
今がそのとき：技術トレンド
CPU speed doubles every 18 months (Moore’s law)
Storage capacity doubles every 12 months
Network speed double every 9 months
技術トレンドのスナップショット
2005
CPU
10 Gflops
Network
16 Gbps
Storage 1000 Gbytes
2010
CPU
100 Gflops
Network 1600 Gbps
Storage 32000 Gbytes
CPU << Storage << Network
ネットワークがふんだんに、ただになる！
5年で100倍
手元の資源にしばられない
広域に存在する計算資源、ディスク資源、可視化装置、
ベクトル計算機、専用計算機、（大規模、広域分散）実
験測定機器、研究者、アプリケーション、ライブラリ、
データなどなど利用することが可能となる！
The Grid Problem (2000)
Computers, storage, sensors, networks, …
Sharing always conditional: issues of trust,
policy, negotiation, payment, …
Beyond client-server:
distributed data analysis,
computation, collaboration,
…
Resource sharing & coordinated problem solving in
dynamic, multi-institutional virtual organizations
Communities committed to common goals
Assemble team with heterogeneous membersCommunity
& capabilities
overlays on classic org
Distribute across geography and organizationstructures
Large or small, static or dynamic
Assuming the absence of central location, central control,
omniscience, existing trust relationships, . . .
Slide courtesy by Ian, Carl, and S. Sekiguchi
仮想組織とグリッド技術
動的で柔軟な資源の集合
独立に管理されている複数の組織を含む
一つの組織が複数の仮想組織に所属可能
大規模、小規模
安全に制御された資源共有
計算機、ディスク、センサ、実験装置、アプリケーション、データなど
資源共有は条件付なことも
空いている時間だけ、午前中だけ、一部分の計算機だけ、実行するプ
ログラムの制限などなど
共有の形式は、クライアント・サーバだけではなくピアトゥーピアなど
柔軟に仮想組織を形成し、安全に資源を共有するための技術
安全な認証と適切な権限の付加
資源のアクセス方式、発見方法
耐故障性
相互運用性、共通のプロトコル
想定されるシナリオの例（1）
会社A、Bによる小さな仮想組織。会社Aのスーパコン
ピュータを利用してシミュレーション。結果を会社Bの
可視化装置で可視化。それぞれの社員が安全に共有
して解析する。
部屋の密閉性が高く、換気システムの導入を検討。
部屋が入り組んでいるため、どこに取り付けると効率
的か明らかではない。ASPを利用して、流体シミュレー
ション。結果をSSPに格納し、住宅会社に転送。
想定されるシナリオの例（2）
欧州CERNによるLHC加速器実験。20カ国3000人規
模の研究者と階層的な地域計算センターからなる仮
想組織。年間数ペタバイトの実験データ解析およびシ
ミュレーションによる検証を行う。
~622 Mbits/sec
or Air Freight
Tier 0
CERN 計算センター
Tier 1
ドイツ地域センタ
ー
日本地域
センター
イタリア地域セン
ター
~622 Mbits/sec
Tier 2
Tier 3
研究所
研究所
~0.25TIPS
データキャッシュ
ワークステーション
研究室
>20 TIPS
フェルミラボ
~4 TIPS
~2.4 Gbits/sec
Tier2 センター
Tier2 センター
Tier2 センター
Tier2 センター Tier2 センター
~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS
0 ~1 TIPS
大学
100 - 1000
Mbits/sec
Tier 4
Initial Grid application examples
APAN Trans-Pacific Telemicroscopy
Collaboration, Osaka-U, UCSD, ISI
1st
UHVEM
(Osaka, Japan)
Tokyo XP
NCMIR
(San Diego)
(Chicago)
STAR
TAP
TransPAC
(San Diego)
SDSC
vBNS
Globus
CRL/MPT
UHVEM
(Osaka, Japan)
2nd
(slide courtesy of Mark Ellisman@UCSD)
UCSD
NCMIR
(San Diego)
Online Access to
Scientific Instruments
Advanced Photon Source
wide-area
dissemination
real-time
collection
archival
storage
desktop & VR clients
with shared controls
tomographic reconstruction
DOE X-ray grand challenge: ANL, USC/ISI, NIST, U.Chicago
高エネルギー物理解析モデルスキーム
(LHC ATLAS, CMS, …)
資源階層 (Tier0,Tier1,Tier2, ...)
1 TIPS = 25,000 SpecInt95
~PBytes/sec
オンラインシステム
Bunch crossing per 25 nsecs.
100 triggers per second
Event is ~1 MByte in size
~100 MBytes/sec
オフラインファーム
~20 TIPS
~100 MBytes/sec
~622 Mbits/sec
or Air Freight
Tier 0
CERN 計算センター
>20 TIPS
Tier 1
ドイツ地域センタ
ー
日本地域
センター
イタリア地域セン
ター
Tier 2
研究所
研究所
~0.25TIPS
データキャッシュ
ワークステーション
研究室
フェルミラボ
~4 TIPS
~2.4 Gbits/sec
Tier2 センター
Tier2 センター
Tier2 センター
Tier2 センター Tier2 センター
~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS
0 ~1 TIPS
~622 Mbits/sec
Tier 3
PC (1999) = ~15 SpecInt95
大学
100 - 1000
Mbits/sec
Tier 4
Physicists work on analysis “channels”.
Each institute has ~10 physicists working
on one or more channels
Data for these channels should be
cached by the institute server
24 March 2000, WW A/C Panel, P. Capiluppi
Data Grid Projects in Japan
ATLAS/Grid Datafarm
AIST, KEK, Titech,
UTokyo, . . .
New Data Grid Architecture
for Petascale data-intensive
computing and its reference
implementation (Gfarm)
Japanese Virtual
Observatory
NAO, Titech, AIST, . . .
Distributed databases,
Common access method to
multiwavelength databases,
Statistical analysis
NARC, Agriculture
RIKEN, JAIST, Genome
Informatics
Potential Projects
Bosai, Earthquake
measurement
NASDA, SELENE Luna
exploration
3D earthquake simulator in MIKI
Subaru Telescope
Trans-Pacific testbed at SC2003
# nodes
236
Storage capacity 70 TBytes
I/O performance 13 GB/sec
SuperSINET
Titech
147 nodes
16 TBytes
4 GB/sec
Univ
Tsukuba
10 nodes
1 TBytes
300 MB/sec
10G
(1G)
SuperSINET
2.4G
NII
10G
(1G)
2.4G
[950 Mbps]
7 nodes
4 TBytes
200 MB/sec
Maffin
1G
APAN
Tokyo XP
Tsukuba
WAN
1G
Chicago
10G
APAN/TransPAC
2.4 G
[2.34 Gbps]
16 nodes
12 TBytes
2 GB/sec
5G
AIST
24 nodes10G
13 TBytes
3 GB/sec
[500 Mbps]
622 M
1G SC2003
Phoenix
2.4G
(1G)
Abilene
Abilene
10G
(1G) 1G
KEK
New
York
Indiana
Univ
Los Angeles
10G
32 nodes
24 TBytes
4 GB/sec
Mathematicians Solve NUG30
Looking for the solution
to the NUG30 quadratic
assignment problem
An informal collaboration
of mathematicians and
computer scientists
Condor-G delivered
3.46E8 CPU seconds in 7
days (peak 1009
processors) in U.S. and
Italy (8 sites)
14,5,28,24,1,3,16,15,
10,9,21,2,4,29,25,22,
13,26,17,30,6,20,19,
8,18,7,27,12,11,23
MetaNEOS: Argonne, Iowa, Northwestern, Wisconsin
Quadratic Assignment Problem (1)
場所の距離とファシリティ間のフローが与えられ、
最適なファシリティの場所を決定する
それぞれの場所の間の距離
ファシリティ間のフロー
最適解
２，１，４，３
Quadratic Assignment Problem (2)
Network for Earthquake
Engineering Simulation
NEESgrid: national
infrastructure to couple
earthquake engineers
with experimental
facilities, databases,
computers, & each other
On-demand access to
experiments, data
streams, computing,
archives, collaboration
NEESgrid: Argonne, Michigan, NCSA, UIUC, USC
Home Computers
Evaluate AIDS Drugs
Community =
1000s of home
computer users
Philanthropic
computing vendor
(Entropia)
Research group
(Scripps)
Common goal=
advance AIDS
research
Access
AccessGrid
GridDemo
DemoConfiguration
Configuration
Tsukuba
TsukubaWAN
WANInauguration
Inauguration2002.03.22.
2002.03.22.
Mbone
APAN
Tokyo XP
Internet
IMnet
OC-3
独立行政法人
産業技術総合研究所
Tsukuba WAN
省際ネットワーク
つくばＮＯＣ
ADM
InternalRouter
Cisco7507
ADM
OC-12
GbE
ATM
Atomis5S
ATM SW
ExternalRouter
SSR8000/2000
GbE
OC-12
CoreRouter –A
BD6808
OC-3
EPOCHAL TSUKUBA
ATM
MA155SX
FE
Catalyst3550
FE
©Grid Technology Research Center, AIST 2002
GbE
Policy Router
RS8000
Mbone Router
RIP2/MBGP
GbE
Catalyst5505
GbE
Mcast_SW
HP Procurve
FE
GRE Tunneling
協力・協賛：データクラフトジャパン/ベストシステムズ/NTT東日本/NTTコミュ
ニケーションズ/省際ネットワーク/APAN協議会/つくば国際会議場
Broader Context
“Grid Computing” has much in common with
major industrial thrusts
Business-to-business, Peer-to-peer, Application
Service Providers, Storage Service Providers,
Distributed Computing, Internet Computing…
Sharing issues not adequately addressed by
existing technologies
Complicated requirements: “run program X at
site Y subject to community policy P, providing
access to data at Z according to policy Q”
High performance: unique demands of
advanced & high-performance systems
Grid Architecture and
standard
グリッド技術に対する要求
資源の所有者と利用者に関する
多様なセキュリティとポリシに対応
多種多様の資源、共有の形式に
対し十分な柔軟性をもつ
多くの資源、多くの利用者、多くの
プログラムに対しスケールする
動的な資源の管理
資源の動的拡張性
耐故障性、自己組織化
資源の動的な変化は日常茶
飯事
大容量データ処理、大規模計算を
効率的に実行する
HPC、HTC
高バンド幅+高遅延対応
異るグループが柔軟に資源共有
するための相互運用性
多種多様の資源、ポリシ、方
式に対応
例えば、個人認証の方式、通
信方式、資源の記述方式
開発の重複を防ぐための共通基
盤サービス
例えば、遠隔プログラム起動
のための、ツールやアプリ
ケーションに依らない共通の
サービス、プロトコル
例えば、運用コストのかかる認
証局
標準に基づくグリッドアーキテクチャ
標準プロトコル、標準サービスの開発
遠隔資源への共通のアクセス方式
既存のプロトコルに基づく
グリッドＡＰＩ，ＳＤＫの開発
グリッドプロトコル、サービスへのインターフェース
アプリケーション開発に対するより高いレベルの抽
象性を提供
成功例：インターネット
HTTP and HTML
TCP/IP, telnet, ftp, mail, . . .
重要なポイント
Internet Protocol，Web Servicesに基づく
TCP/IP, WSDL, SOAP, etc.
グリッドに必要な最小限のサービスを定義
Grid Security
Addressing – WS-A (WS-Addressing)
http://www.w3.org/Submission/ws-addressing/
State – WSRF (WS Resource Framework)
http://www.oasis-open.org/committees/wsrf/
Notification – WS-N (WS-Notification)
http://www.oasis-open.org/committees/wsn/
GT4 & Web Services:
Uniform State, Security, Mgmt
Custom
WSRF
Custom
Services Services
GT4
WSRF Web
Services
Registry
& Admin
GT4 Container
(e.g., Apache Axis)
User Applications
WS-A, WSRF, WS-Notification
WSDL, SOAP, WS-Security
Increased functionality,
standardization
参考：Evolution of the Grid
App-specific
Services
Web services
X.509,
LDAP,
FTP, …
Custom
solutions
Open Grid
Services Arch
GGF: OGSI, WSRF, …
(leveraging OASIS, W3C, IETF)
Multiple implementations,
Globus Toolkit
including Globus Toolkit
Defacto standards
GGF: GridFTP, GSI
(leveraging IETF)
Time
参考文献：グリッド全般
Ian Foster, Carl Kesselman. Computational Grids. In The Grid: Blueprint for a Future Computing Infrastructure, Morgan‐
Kaufmann, 1999. http://dsl.cs.uchicago.edu/papers/gridbook_chapter2.pdf
I. Foster, C. Kesselman. The Grid 2: Blueprint for a New Computing Infrastructure, Second Edition, ISBN 978‐1‐55860‐
933‐4, 2003. http://www.mkp.com/grid2
I. Foster, C. Kesselman, S. Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations.. International J. Supercomputer Applications, 15(3), 2001.
http://www.globus.org/research/papers/anatomy.pdf
I. Foster, C. Kesselman, J. Nick, S. Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration.; June 22, 2002.
http://www.globus.org/research/papers/ogsa.pdf
参考文献：Web Services
Web Services Addressing,
http://www.w3.org/Submission/ws-addressing/
Web Services Resource Framework,
http://www.oasis-open.org/committees/wsrf/
Web Services Notification, http://www.oasisopen.org/committees/wsn/
参考文献：グリッド基本ソフトウェア
Ian Foster and Carl Kesselman. Globus: A Metacomputing Infrastructure Toolkit. International Journal of Supercomputer Applications, 11(2):115‐128, 1997. ftp://ftp.globus.org/pub/globus/papers/globus.ps.gz
Andrew Grimshaw, Michael Lewis, Adam Ferrari, and John Karpovich. Architectural Support for Extensibility and Autonomy in Wide‐Area Distributed Object Systems. University of Virginia CS Technical Report CS‐
98‐12, June 1998. http://www.cs.virginia.edu/~legion/papers/CS‐98‐
12.ps
グリッド要素技術
グリッドの要素技術
グリッドセキュリティ (Grid Security Infrastructure, GSI)
ローカル情報サービス (Grid Information Service, GRIS)
広域高速データ転送 (GridFTP)
資源管理マネージャ (Grid inetd, GRAM)
情報サービスの集約 (Grid Index Information Service, GIIS)
リソースブローカ (Condor-G, Nimrod-G)
データ複製管理サービス
コアロケーション、コリザベーションサービス
ワークフロー管理サービス
...
グリッドセキュリティ（ＧＳＩ）
単一認証技術
単一のユーザ認証（パスフレーズ、one-timeパス
ワード入力）により数十、数千、数万の資源に対す
るアクセス認証を行う
証明書の委譲
委譲された証明書の制限
有効期間、委譲の深さ、機能の制限
証明書の悪用による被害を軽減
動的なプロセス、サービス生成に対応
秘密鍵の保護
公開鍵暗号系 (public-key cryptosystem)
非対称暗号系とも
公開鍵eと秘密鍵d
平文 – e Æ 暗号文 – d Æ 平文
eからdの計算は計算量的に非現実的
公開鍵は秘密にする必要はないため、提供が容易
発信者認証、改竄発見のためには、電子証明が必要
DESなどの対称暗号に比べ遅いため、引き続くデータ転送のた
めの対称暗号の鍵の送信、クレジットカード情報など短いメッ
セージに利用される
Handbook of Applied Cryptography, by A. Menezes, P. van
Oorschot, and S. Vanstone, CRC Press, 1996
http://cacr.math.uwaterloo.ca/hac/
電子署名（digital signature）
受け取った情報が改竄されていないことを保障する
公開鍵暗号においては、情報のハッシュ値を秘密鍵
で暗号化して付加する
受信側は情報のハッシュ値と付加されたハッシュ値を
公開鍵で復号化したものと比較する
Globus Toolkitにおけるセキュリティ(GSI)
基本は公開鍵暗号＋X.509証明書＋SSL (Secure Socket Layer)
相互認証と代理証明書による証明書の委譲
公開鍵暗号（非対称鍵）
公開鍵はデータの暗号化に利用される
秘密鍵は公開鍵で暗号化されたデータの復号に用いる
認証を受けるエンティティ（ユーザ、計算機等）は認証局によって署名され
証明書を保持している
X.509 証明書は次のものを含んでいる：
エンティティのsubject名 (user ID, host name)
その公開鍵
証明書
証明書に署名している認証局（CA)のID
Subject DN
認証局(CA)からの“署名”
公開鍵
証明書が認証局から発行されていることを認める
Subject名の保証
公開鍵とsubject名との対応の保証
Issuer (CA)
Digital Signature
証明書
証明書
運転免許証などと同じようなもの。免許証における写真（本
人であることを確認する手段）が、秘密鍵に相当
認証局により署名される
証明書が信用してもらえるかどうかは（サービスを提供す
る）相手に依存
氏名
筑波太郎
住所
茨城県つくば市ＸＸＸ
ユーザ証明書
Subject DN
公開鍵
運転免許証
平成ＸＸ年の誕生日まで有効
Issuer (CA)
Digital Signature
認証局が発行
公安委員会が発行
本人認証
秘密鍵と公開鍵はペア
秘密鍵
（暗号化）
GSIにおける認証
以下の例はユーザ認証であるが、この逆方向の認証も行われ、相互に認証する
ユーザ
サーバ
ユーザ証明書
Subject DN
公開鍵
秘密鍵
（暗号化）
Issuer (CA)
Digital Signature
QAZWSXEDC…
秘密鍵
PL<OKNIJBN…
ユーザ証明書
証明書
Subject DN
公開鍵
CAの
公開鍵
Issuer (CA)
Digital Signature
challenge string
QAZWSXEDC…
暗号化された
challenge string
公開鍵
QAZWSXEDC…
GSIによる拡張
Proxy Certificate Profile
X.509（RFC 2459）に基づくProxy Certificate Profile
restricted impersonation within a PKI based authentication system.
GSS-API（RFC 2743）の拡張
Credentialの輸出、輸入
任意のタイミングの委譲
Credentialの操作の拡張
限定されたcredential
Internet X.509 Public Key Infrastructure Proxy Certificate
Profile
RFC 3820 by Grid community – OGF
GSS-API Extensions
ftp://ftp.rfc-editor.org/in-notes/rfc3820.txt
証明書の委譲
新たに秘密鍵、公開鍵を生成し、（CAではなく）所有
者により署名される
秘密鍵は転送されない
代理証明書と所有者の証明書を受け取り、代理証明
書および所有者の証明書の正当性を確認する
GSI in Action “Create Processes at A and
B that Communicate & Access Files at C”
User
Single sign-on via “grid-id”
& generation of proxy cred.
User Proxy
Proxy
credential
Or: retrieval of proxy cred.
from online repository
Remote process
creation requests*
Ditto
GSI-enabled Authorize
Site A
GRAM server Map to local id
(Kerberos)
Create process
Generate credentials
Computer
Process
Kerberos
ticket
Communication*
Local id
Restricted
proxy
Remote file
access request*
* With mutual authentication
Site C
(Kerberos)
Storage
system
GSI-enabled
GRAM server
Site B
(Unix)
Computer
Process
Local id
Restricted
proxy
GSI-enabled
FTP server
Authorize
Map to local id
Access file
証明書と認証局
認証局
証明書を発行する第三者組織
RAとCAの２つの役割が必要
RA: ユーザ、計算機の正当性をチェック
CA: 証明書を発行
発行した証明書がどこでどのように使われるかは
把握できない
認証局
証明書発行要求
ユーザ
証明書送付
RA
CA
正当性
チェック
証明書
発行
認証局の仕事
証明書の配布
認証局の
証明書作成
CPSの
作成
認証局
CSRの受付
正当性確認
証明書発行、送付
管理（期限切れ通知等）
証明書取得ツールの配布
証明書取得
ツールの作成
認証局の設定 (Globus Toolkitの場合)
認証局 (certificate authority)の設定
$GLOBUS_LOCATION/setup/globus/setup-simple-ca
CAのSubject DNの入力
cn=CA, ou=CS, o=Univ Tsukuba, c=JP
Emailアドレス
有効期限
秘密鍵のパスフレーズ
電子署名に利用する
スペースは使えない
$GLOBUS_LOCATION/setup/globus_simple_ca_CA_Has
h_setup/setup-gsi -default
/etc/grid-security/certificatesにCAの公開鍵を保存
ホスト証明書の取得
ホスト証明書の発行要求
grid-cert-request -host <hostname>
/etc/grid-security/hostkey.pem（秘密鍵）
/etc/grid-security/hostcert_request.pem
/etc/grid-security/hostcert.pem（空ファイル）
RAに確認してもらう
hostcert_request.pemをCAに送付し，電子署名してもらう
grid-ca-sign -in hostcert_request.pem -out signed.pem
署名されたhostsigned.pemを受取り，/etc/gridsecurity/hostcert.pemに保存
証明書の内容を表示
openssl x509 –in hostcert.pem -text
ユーザ証明書の取得
ユーザ証明書の発行要求
grid-cert-request
~/.globus/userkey.pem（秘密鍵）
~/.globus/usercert_request.pem
~/.globus/usercert.pem（空ファイル）
RAに確認してもらう
usercert_request.pemをCAに送付し，電子署名してもらう
grid-ca-sign -in usercert_request.pem -out signed.pem
署名されたsigned.pemを受取り，
~/.globus/usercert.pemに保存
GSIによる認可の設定
Grid-mapfileに登録
Grid-mapfile-add-entry -dn “/C=JP/O=Univ
Tsukuba/OU=CS/OU=tatebe.net/CN=Osamu
Tatebe” -ln tatebe
/etc/grid-security/grid-mapfileにエントリを追加
GSI-enabled OpenSSHの設定
$GLOBUS_LOCATION/sbin/SXXsshdを
/etc/init.d/gsisshdにコピー
service gsisshd start
代理証明書の生成とlogin
代理証明書の生成
grid-proxy-init [ -debug ] [ -veriry ]
確認
grid-proxy-info
GSI認証によるLogin
gsissh hostname
ユーザ証明書が委譲される
GSI認証によるftp
gsisftp hostname
参考文献：グリッドセキュリティ
Ian Foster, Carl Kesselman, Gene Tsudik and
Steven Tuecke. A Security Architecture for
Computational Grids. Proc. 5th ACM Conference
on Computer and Communication Security, 1998.
ftp://ftp.globus.org/pub/globus/papers/security.ps
.gz
Eshwar Belani, Amin Vahdat, Thomas Anderson,
and Michael Dahlin. The CRISIS Wide Area
Security Architecture. Proc. USENIX Security
Symposium, January 1998.
http://now.cs.berkeley.edu/WebOS/papers/uss.ps
情報サービス
発見、モニタリング、計画、適応的アプリケーションのための基
本的なメカニズム
多様、多数、動的、地理的分散した資源
故障の対応
ネットワーク不通、ノード故障は例外ではなく規則
情報の種類
IPアドレス、管理者
ＣＰＵ、ＯＳ、ソフトウェア
ネットワークバンド幅、遅延、プロトコル、論理トポロジ
ＣＰＵ負荷、ネットワーク負荷、ディスク使用量、負荷
...
情報サービスの利用例
サービス発見サービス
新しいサービスの発見
スーパスケジューラ
システムコンフィギュレーション、ＣＰＵ負荷などより最適な
計算資源を選ぶ
ファイル複製選択サービス
最適なファイルコピーを選ぶ
適応型アプリケーションエージェント
実行時の資源状況によりアプリケーションの振る舞いを変
化
故障発見サービス
過負荷、故障の発見
性能診断
性能の低い原因を診断
要求事項（1）
情報提供者の分散
分散しているため、全ての情報は古い
情報の信頼度が必要
タイムスタンプ、有効期限など
可能な限り早く、効率的に伝える
一般的に大域的状態の一貫したビューを見せる必
要はない
提供者の数にスケールしない
単一ソースからの状態情報の効率的な伝達に焦点
要求事項（2）
故障の対策
それぞれの資源、ネットワーク
は故障しやすい
頑強である必要がある
どれかの資源の故障が他の
資源の情報収集を妨げない
部分的な情報、一貫性ない情
報の可能性もある
情報サービスは、可能な限り分散、
非集中化させる必要がある
利用可能な資源の情報を得る
可能性を増大
故障は例外ではなく、ルールだと
いう仮定のもとに構築する必要が
ある
要求事項（3）
情報サービスコンポーネントの多様性
多くの、多種多様な資源があり、発見、モニタリン
グに対しそれぞれ独特な要求があるかもしれない
十分な発見、モニタリング手法を準備する必要が
ある
複数の管理領域に含まれるため、多種多様なアク
セスポリシがある
アクセス制御
Globus MDS Approach
Based on LDAP
Application
Lightweight Directory Access
Protocol v3 (LDAPv3)
Middleware
Standard data model
Standard query protocol
LDAP API
Globus Toolkit schema
Host-centric representation
GIIS
GRIS …
Globus tools
GRIS, GIIS, gram-reporter
NWS
Data discovery, publication,… SNMP
NIS
LDAP
…
“Classic” MDS Architecture
Resources push information into a central organization server via
regular updates (globus-gram-reporter), where it can be retrieved by
clients.
Regular updates don’t scale as the number of resources grow rapidly.
Commercial LDAP servers are optimized for “read” requests, and can’t
handle frequent “write” requests.
If organization server is unavailable, no information is available.
Client 1
Client 2
Client 3
clients query organization server
for current information.
LDAP
Organization
Server
Directory contains
info from A and B
gram-reporter
Resource A
gram-reporters periodically
update LDAP server’s information.
gram-reporter
Resource B
“Standard” MDS Architecture (v1.1.3)
Resources run a standard information service (GRIS) which speaks
LDAP and provides information about the resource (no searching).
GIIS provides a “caching” service much like a web search engine.
Resources register with GIIS and GIIS pulls information from them
when requested by a client and the cache as expired.
GIIS provides the collective-level indexing/searching function.
Resource A
Client 1
Clients 1 and 2 request info
directly from resources.
GRIS
Resource B
GRIS
Client 2
Client 3
Client 3 uses GIIS for searching
collective information.
GIIS requests information from
GRIS services as needed.
GIIS
Cache contains info from A and B
MDS (Metacomputing Directory Service)
の構成要素
Grid Resource Information Service (GRIS)
特定のリソースに関する情報を提供
複数の情報プロバイダをサポートするように設定可
能
問い合わせにはLDAP プロトコルを用いる
Grid Index Information Service (GIIS)
複数のGRISサーバで集めた情報を提供
複数のGRISサーバに分散した情報を効率的に問
い合わせることを支援
問い合わせにはLDAP プロトコルを用いる
参考文献：情報サービス
K. Czajkowski, S. Fitzgerald, I. Foster, C. Kesselman. Grid Information Services for Distributed Resource Sharing. Proc. Tenth IEEE International Symposium on High‐Performance Distributed Computing (HPDC‐10), IEEE Press, August 2001.
http://www.globus.org/research/papers/MDS‐
HPDC.pdf

Download Report