管理者ガイド
NAREGI Middleware
GridVM
(Grid Virtual Machine)
2010年3月
国立情報学研究所
管理者ガイド NAREGI Middleware GridVM
ドキュメントリスト
◆ 管理者ガイド グループ
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
管理者ガイド NAREGI Middleware
IS(Distributed Information Service)
管理者ガイド NAREGI Middleware
IS(Distributed Information Service) - LRPSConfig 管理者ガイド NAREGI Middleware SS(Super Scheduler)
管理者ガイド NAREGI Middleware
GridVM(Grid Virtual Machine)
管理者ガイド NAREGI Middleware Portal
管理者ガイド NAREGI Middleware
PSE(Problem Solving Environment)
管理者ガイド NAREGI Middleware
WFT(GUI Workflow Tool)
管理者ガイド NAREGI Middleware
GVS (Grid Visualization System)
管理者ガイド NAREGI Middleware DataGrid
管理者ガイド NAREGI Middleware CA(Certification Authority)
管理者ガイド NAREGI Middleware
UMS(User Management Server)
管理者ガイド NAREGI Middleware Authorization Service
管理者ガイド NAREGI Middleware Renewal Service
管理者ガイド NAREGI Middleware
SBC(Synchronous Data Transfer Library)
管理者ガイド NAREGI Middleware Mediator
i
管理者ガイド NAREGI Middleware GridVM
◆ 利用者ガイド グループ
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
¾
利用者ガイド NAREGI Middleware IS(Distributed Information Service)
利用者ガイド NAREGI Middleware Portal
利用者ガイド NAREGI Middleware PSE(Problem Solving Environment)
利用者ガイド NAREGI Middleware
PSE(Problem Solving Environment) - Command line Interface 利用者ガイド NAREGI Middleware WFT(GUI Workflow Tool)
プログラミングガイド NAREGI Middleware WFT(GUI Workflow Tool)
利用者ガイド NAREGI Middleware
GVS(Grid Visualization System) - Client Module 利用者ガイド NAREGI Middleware
GVS(Grid Visualization System) - Parallel Visualization Module 利用者ガイド NAREGI Middleware CA(Certification Authority)
利用者ガイド NAREGI Middleware UMS(User Management Server)
利用者ガイド NAREGI Middleware Authorization Service
利用者ガイド NAREGI Middleware Renewal Service
利用者ガイド NAREGI Middleware
SBC (Synchronous Data Transfer Library)
利用者ガイド NAREGI Middleware Mediator
Copyright© 2004 National Institute of Informatics, Japan. All rights reserved.
This file or a portion of this file is licensed under the terms of the NAREGI Public License, found at
http://www.naregi.org/download/. If you redistribute this file, with or without modifications, you must include this
notice in the file.
ii
管理者ガイド NAREGI Middleware GridVM
【目次】
第 1 章. はじめに..............................................................................................................................................1
1.1. 導入の概要.................................................................................................................................................. 1
1.2. 動作環境...................................................................................................................................................... 3
1.2.1. 必要なハードウェア【GridVM スケジューラの場合】................................................................. 3
1.2.2. 必要なハードウェア【GridVM エンジンの場合】......................................................................... 3
1.2.3. 必要なソフトウェア【GridVM スケジューラの場合】................................................................. 4
1.2.4. 必要なソフトウェア【GridVM エンジンの場合】......................................................................... 5
1.2.5. 必要な環境設定ファイル................................................................................................................... 5
1.2.6. 必要な環境ファイル .......................................................................................................................... 6
1.2.7. ファイルの所有権と権限について................................................................................................... 6
1.3. 運用に必要な動作条件.............................................................................................................................. 6
第 2 章. GridVM のインストールについて......................................................................................................7
2.1. GridVM スケジューラのインストール..................................................................................................... 7
2.1.1. インストールの概要 .......................................................................................................................... 7
2.1.2. インストール前の作業....................................................................................................................... 8
2.1.3. インストール....................................................................................................................................12
2.1.4. インストール結果の確認.................................................................................................................17
2.1.5. インストールに失敗した場合の対処方法 .....................................................................................18
2.1.6. インストール後の作業.....................................................................................................................18
2.2. GridVM エンジンのインストール...........................................................................................................19
2.2.1. インストールの概要 ........................................................................................................................19
2.2.2. インストール前の作業.....................................................................................................................19
2.2.3. インストール....................................................................................................................................19
2.2.4. インストール結果の確認.................................................................................................................23
2.2.5. インストールに失敗した場合の対処方法 .....................................................................................25
2.2.6. インストール後の作業.....................................................................................................................26
第 3 章. ローカルスケジューラのセットアップについて...........................................................................28
3.1. PBS Professional......................................................................................................................................28
3.2. SGE(Sun Grid Engine).............................................................................................................................29
3.3. LoadLeveler...............................................................................................................................................31
第 4 章. GridVM のセットアップについて....................................................................................................34
4.1. GridVM スケジューラのセットアップ...................................................................................................34
iii
管理者ガイド NAREGI Middleware GridVM
4.1.1. 初期状態............................................................................................................................................34
4.1.2. GridVM スケジューラの設定...........................................................................................................36
4.1.3. Globus Toolkit 関連ログの設定.....................................................................................................42
4.1.4. 利用量制御機能の設定.....................................................................................................................44
4.2. GridVM エンジンのセットアップ...........................................................................................................50
4.2.1. 初期状態............................................................................................................................................50
4.2.2. GridVM エンジン設定ファイルの設定 ...........................................................................................51
4.2.3. アクセス保護機能の設定.................................................................................................................54
第 5 章. GridVM の起動／停止と保守について............................................................................................60
5.1. GridVM の運用操作と保守.......................................................................................................................60
5.2. 運用手順....................................................................................................................................................60
5.2.1. 起動....................................................................................................................................................60
5.2.2. 起動の確認........................................................................................................................................61
5.2.3. 停止....................................................................................................................................................62
5.2.4. 停止の確認........................................................................................................................................62
5.3. 保守............................................................................................................................................................63
5.3.1. キュー情報更新................................................................................................................................63
5.3.2. ローカルスケジューラを再起動した場合 .....................................................................................63
5.4. 索引............................................................................................................................................................64
第 6 章. GridVM のアンインストールについて............................................................................................65
6.1. GridVM スケジューラのアンインストール ...........................................................................................65
6.1.1. アンインストールの概要.................................................................................................................65
6.1.2. アンインストール前の作業.............................................................................................................65
6.1.3. アンインストール ............................................................................................................................65
6.1.4. アンインストール結果の確認.........................................................................................................66
6.1.5. アンインストールに失敗した場合の対処方法..............................................................................68
6.1.6. アンインストール後の作業.............................................................................................................68
6.2. GridVM エンジンのアンインストール...................................................................................................68
6.2.1. アンインストールの概要.................................................................................................................68
6.2.2. アンインストール前の作業.............................................................................................................69
6.2.3. アンインストール ............................................................................................................................69
6.2.4. アンインストール結果の確認.........................................................................................................70
6.2.5. アンインストールに失敗した場合の対処方法..............................................................................71
6.2.6. アンインストール後の作業.............................................................................................................72
iv
管理者ガイド NAREGI Middleware GridVM
第 1 章. はじめに
1.1. 導入の概要
GridVM は、サイト単位で資源やジョブの監視・制御を行う GridVM スケジューラと、サ
イト中の各ノードで資源やジョブの監視・制御を行う GridVM エンジンから成る。
GridVMのノード構成を図 1-1に示す。GridVMスケジューラは、クラスタ内でローカル
スケジューラの管理コンポーネントが配置される管理ノード上に配置する。GridVMエンジ
ンは、ローカルスケジューラの計算コンポーネントが配置される計算ノード上に配置する。
ローカルスケジューラの管理ノードが計算ノードを兼ねるよう設定されている場合には、管
理ノード上にもGridVMエンジンを配置する。
クラスタ
管理ノード
GridVM スケジューラ
GridVM エンジン
ローカルスケジューラ（管理）
計算ノード
GridVM エンジン
ローカルスケジューラ（計算）
図 1-1 GridVM のノード構成
1
管理者ガイド NAREGI Middleware GridVM
現在 GridVM のサポート範囲は、次のとおりである。
表 1-1 GridVM のサポート範囲
環境
OS
CPU
ローカルスケジュー
ラ
Linux 環境
Linux(RHEL5)
IA-32 プロセッサ
PBS Professional1
Linux(openSUSE10)
AMD64 Opteron プロセッサ
Sun Grid Engine2
+ PluS3
AIX 環境
AIX
POWER4+プロセッサ
LoadLeveler4
GridVM の導入は、以下の手順で行う。
1
1.
ローカルスケジューラのインストール（2.1.2節）
2.
GridVMスケジューラのインストール（2.1.3節）
3.
GridVMエンジンのインストール（2.2節）
4.
ローカルスケジューラのセットアップ（第 3 章）
5.
GridVMスケジューラのセットアップ（4.1節）
6.
GridVMエンジンのセットアップ（4.2節）
The Portable Batch System。Altair Engineering からリリースされているクラスタ用ワークロード
管理ソフトウェア
2
サン・マイクロシステムズよりリリースされているワークロード管理/グリッドプロビジョニング
ソフトウェア
3
TORQUE や Sun Grid Engine に予約機能を追加するソフトウェア
4
IBM よりリリースされているジョブ管理システム
2
管理者ガイド NAREGI Middleware GridVM
1.2. 動作環境
1.2.1. 必要なハードウェア【GridVMスケジューラの場合】
[Linux(PBS)環境]
z
CPU:
IA-32 プロセッサ
z
メモリ:
512MB 以上
z
ハードディスク:
10GB 以上
[Linux(SGE)環境]
z
CPU:
AMD64 Opteron プロセッサ
z
メモリ:
2GB 以上
z
ハードディスク:
10GB 以上
[AIX 環境]
z
CPU:
POWER4+ プロセッサ
z
メモリ:
512MB 以上
z
ハードディスク:
10GB 以上
1.2.2. 必要なハードウェア【GridVMエンジンの場合】
[Linux(PBS)環境]
z
CPU：
IA-32 プロセッサ
z
メモリ：
1GB 以上
z
ハードディスク：
30GB 以上
[Linux(SGE)環境]
z
CPU:
AMD64 Opteron プロセッサ
z
メモリ:
1GB 以上
z
ハードディスク:
30GB 以上
[AIX 環境]
3
管理者ガイド NAREGI Middleware GridVM
z
CPU：
POWER4+ プロセッサ
z
メモリ：
1GB 以上
z
ハードディスク：
30GB 以上
1.2.3. 必要なソフトウェア【GridVMスケジューラの場合】
[Linux(PBS)環境]
z
OS
Linux(Red Hat Enterprise Linux Server Release 5)
z
その他
PBS Professional 9.1.0, glibc2.5.12, jwsdp-2.01, Globus Toolkit 4.0.52, j2sdk 1.5.0,
libxml2 2.5.43
[Linux(SGE)環境]
z
OS
Linux(openSUSE 10.2)
z
その他
Sun Grid Engine 6.0u12, PluS 1.0.0, glibc2.5-25, jwsdp-2.0, Globus Toolkit 4.0.5,
j2sdk 1.5.0, libxml2 2.6.26
[AIX 環境]
z
OS
AIX Version5.2
z
その他
LoadLeveler V3.2 または LoadLeveler V3.3.2, jwsdp-2.0, Globus Toolkit 4.0.5, jdk
1.5.0, libxml2 2.5.4
1
http://java.sun.com/webservices/jwsdp/index.jsp
2
http://www.globus.org/
3
http://xmlsoft.org/index.html
4
管理者ガイド NAREGI Middleware GridVM
1.2.4. 必要なソフトウェア【GridVMエンジンの場合】
[Linux(PBS)環境]
z
OS
Linux(Red Hat Enterprise Linux Server Release 5)
z
その他
glibc 2.5.12, libcap 1.10, libxml2 2.5.4, sudo 1.6.81
[Linux(SGE)環境]
z
OS
Linux(openSUSE 10.2)
z
その他
glibc2.5-25, libcap 1.92, libxml2 2.6.26, sudo 1.6.8
[AIX 環境]
z
OS
AIX 5L V5.2
z
その他
libxml2 2.5.4, sudo 1.6.7
1.2.5. 必要な環境設定ファイル
下記表中に記述している“sched_inst_Dir”、“engine_inst_Dir”は、それぞれ GridVM
スケジューラ、GridVM エンジンのインストール先ディレクトリを示す。
表 1-2 必要な環境設定ファイル
ミドルウェア名
ファイルパス名
必須= ○
詳細情報
選択= △
GridVM スケジューラ
GridVM エンジン
1
/sched_inst_Dir/etc/gvms.conf
○
4.1.2節
/sched_inst_Dir/etc/policy_ru.xml
△
4.1.4節
/engine_inst_Dir/etc/nodes
△
2.1節
http://www.courtesan.com/sudo/
5
管理者ガイド NAREGI Middleware GridVM
/engine_inst_Dir/etc/config.xml
○
4.2.2節
/engine_inst_Dir/etc/policy_ap.xml
△
4.2.3節
1.2.6. 必要な環境ファイル
表 1-3 必要な環境ファイル
内容
ファイルパス名
必須= ○
詳細情報
選択= △
sudo 設定ファイル
○
/etc/sudoers
2.2.4節
1.2.7. ファイルの所有権と権限について
下記表中で、“engine”は GridVM エンジン実行ユーザを示す。
表 1-4 ファイルの所有権と権限
ファイルパス名
所有権
ユーザ
権限
グループ
/sched_inst_Dir/etc/gvms.conf
root
system
-rw-r--r--
/sched_inst_Dir/etc/policy_ru.xml
root
system
-rw-r--r--
/engine_inst_Dir /etc/nodes
engine
engine
-rw-rw-r--
/engine_inst_Dir /etc/config.xml
engine
engine
-rw-rw-r--
/engine_inst_Dir /etc/policy_ap.xml
engine
engine
-rw-rw----
/etc/sudoers
root
system
-r—r-----
1.3. 運用に必要な動作条件
z
AIX 環境の場合、GridVM を運用するクラスタ内の全計算ノードにおいて、
GridVM エンジンの実行ユーザの環境変数 LIBPATH に、libxml2 のライブラリの
パスが設定されていること。
6
管理者ガイド NAREGI Middleware GridVM
第 2 章. GridVMのインストールについて
GridVM を運用するクラスタの管理ノード上に GridVM スケジューラを、計算ノード上に
GridVM エンジンをインストールする。
2.1. GridVMスケジューラのインストール
GridVM スケジューラは、GridVM を運用するクラスタの管理ノード上にインストールす
る。
2.1.1. インストールの概要
GridVM スケジューラのインストールに先立って、クラスタの管理ノード上に Globus
Toolkit 4.0.5 がインストールされている必要がある。また、クラスタの管理ノード、計算ノ
ード上には、Linux 環境の場合は PBS Professional 9.1、または Sun Grid Engine 6.0 および
PluS 1.0.0（管理ノードのみ）が、AIX 環境の場合は LoadLeveler がインストールされてい
る必要がある。
GridVM スケジューラのインストールは次の手順で行う。
0） Globus ToolkitおよびPBS ProfessionalまたはSun Grie EngineとPluS または
LoadLevelerのインストール
1） GridVMスケジューラパッケージの展開、AIX環境の場合はさらにLoadLevelerの
scheddホスト上でGridVMスケジューラのLoadLeveler用モジュールを展開 （複数
ホストでscheddが運用されている場合は、その全ホスト上でインストールが必要）
2） Globus Toolkit用GridVMモジュールのインストール
3） Globus ToolkitへのGridVMJobサービス(GridVMのジョブ管理機能を提供するグリッ
ドサービス)の配置
4） LRPSへの情報プロバイダーの配置
インストール媒体
GridVM スケジューラパッケージ：GridVM-Scheduler.tar.gz
LoadLeveler モジュール用パッケージ：GridVM-Scheduler-LoadLeveler-module.tar.gz
（AIX 環境のみ）
7
管理者ガイド NAREGI Middleware GridVM
2.1.2. インストール前の作業
PBS Professional のインストール
インストール先の OS が Linux で、ローカルスケジューラとして PBS Professional を用
いる場合、PBS Professional 9.1 をあらかじめインストールしておく。インストール方法に
ついては、PBS Professional に付属の説明書を参照のこと。
管理ノードでのインストールディレクトリおよびサーバーログの出力ディレクトリが、
環境設定の際に必要になるため、記録しておくこと。
インストールの結果は、PBS Professional のインストールディレクトリ下にインストー
ルされた qstat コマンドを使用して、以下のような表示が得られることで確認できる。
$ qstat -Bf
Server: server
server_state = Active
server_host = server.naregi.org
scheduling = True
total_jobs = 0
state_count = Transit:0 Queued:0 Held:0 Waiting:0 Running:0 Exiting:0 Begun:0
default_queue = workq
log_events = 511
mail_from = adm
query_other_jobs = True
resources_default.ncpus = 1
default_chunk.ncpus = 1
resources_assigned.ncpus = 0
resources_assigned.nodect = 0
scheduler_iteration = 600
FLicenses = 301
resv_enable = True
node_fail_requeue = 310
max_array_size = 10000
pbs_license_file_location = [email protected]
pbs_license_min = 0
pbs_license_max = 2147483647
pbs_license_linger_time = 3600
license_count = Avail_Global:297 Avail_Local:4 Used:0 High_Use:9
8
管理者ガイド NAREGI Middleware GridVM
pbs_version = PBSPro_9.1.0.72982
Sun Grid Engine, PluS のインストール
インストール先の OS が Linux で、ローカルスケジューラとして SGE を用いる場合、
Sun Grid Engine 6.0 および PluS1.0.0 をあらかじめインストール,起動を行っておく。イン
ストール方法については、Sun Grid Engine および PluS に付属の説明書を参照のこと。
Sun Grid Engine のインストールディレクトリ（SGE_ROOT）、セル名、PE 名、PluS
のバイナリインストール先(既定値で/usr/local/bin)、および PluS の jar ファイルインストー
ル先（規定値では/usr/local/PluS）が、環境設定の際に必要になるため、記録しておくこと。
インストールの結果は、Sun Grid Engine、PluS によってインストールされた qconf コマ
ンド、plus_reserve コマンドを使用して、以下のような表示が得られることで確認できる。
PluS1.0.0 のインストールおよび実行には、jdk1.5.0 が必要。
$ qconf -sconf
global:
execd_spool_dir
/usr/local/sge/default/spool
mailer
/bin/mail
xterm
/usr/bin/X11/xterm
load_sensor
none
prolog
none
epilog
none
shell_start_mode
posix_compliant
login_shells
sh,ksh,csh,tcsh
min_uid
0
min_gid
0
user_lists
none
xuser_lists
none
projects
none
xprojects
none
enforce_project
false
enforce_user
auto
load_report_time
00:00:40
max_unheard
00:05:00
reschedule_unknown
00:00:00
loglevel
log_warning
administrator_mail
none
9
管理者ガイド NAREGI Middleware GridVM
set_token_cmd
none
pag_cmd
none
token_extend_time
none
shepherd_cmd
none
qmaster_params
none
execd_params
none
reporting_params
accounting=true reporting=true joblog=true ¥
flush_time=00:00:15 sharelog=00:00:00
finished_jobs
gid_range
100
30000-30999
qlogin_command
telnet
qlogin_daemon
/usr/sbin/in.telnetd
rlogin_daemon
/usr/sbin/in.rlogind
max_aj_instances
2000
max_aj_tasks
75000
max_u_jobs
0
max_jobs
0
auto_user_oticket
0
auto_user_fshare
0
auto_user_default_project
none
auto_user_delete_time
86400
delegated_file_staging
false
reprioritize
0
$ plus_reserve -s 1000 -D 1 -n 1
Reserve succeeded: reserve id is R1
$ plus_destroy –r R1
Reserve id = R1 destroyed
LoadLeveler のインストール
インストール先の OS が AIX である場合、LoadLeveler V3 以降をあらかじめインストー
ルしておく。インストール方法については、LoadLeveler に付属の説明書（あるいは関連
WEB サイト）を参照のこと。
環境設定の際に、管理ノードでのインストールディレクトリが必要になるため、記録し
ておくこと。
10
管理者ガイド NAREGI Middleware GridVM
インストールの結果は、LoadLeveler のインストールディレクトリ下にインストールさ
れた llstatus コマンドを使用して、以下のような表示が得られることで確認できる。
$ ./llstatus -l
=========================================================================
Name
= aix0000
Machine
= aix0000
Arch
= R6000
OpSys
= AIX52
SYSPRIO
= (0 - QDate)
MACHPRIO
= (0 - LoadAvg)
VirtualMemory
Disk
= 8368256 kb
= 232236 kb
KeyboardIdle
Tmp
= 15
= 148992 kb
LoadAvg
= 1.160873
ConfiguredClasses = i1-24h(7) i1-6h(7) i1-30m(7) i4-24h(8) i4-6h(8) i4-30m(8) ims1-24
h(7) ims1-6h(7) ims1-30m(7) ims4-24h(8) ims4-6h(8) ims4-30m(8) i31(31) nectest1(20)
AvailableClasses
= i1-24h(7) i1-6h(7) i1-30m(7) i4-24h(8) i4-6h(8) i4-30m(8) ims1-24
h(7) ims1-6h(7) ims1-30m(7) ims4-24h(8) ims4-6h(8) ims4-30m(8) i31(31) nectest1(20)
DrainingClasses
=
DrainedClasses
=
Pool
=
FabricConnectivity =
Adapter
= en2(ethernet,sig0001.naregi.org,202.241.96.34,) generated(,sig000
1,202.241.96.34,)
Feature
=
Max_Starters
= 31
Total Memory
= 65536 mb
Memory
= 65536 mb
FreeRealMemory
= 50979 mb
LargePageSize
= 16.000 mb
:
:
Globus Toolkit のインストール
適当なディレクトリに、Globus Toolkit 4.0.5 をあらかじめインストールし、Globus
Toolkit 4.0.5 で提供されている、Grid Resource Allocation and Management (GRAM)および
Reliable File Transfer (RFT)が利用できるよう環境設定をしておくこと。インストール方法
11
管理者ガイド NAREGI Middleware GridVM
お よ び 環 境 設 定 に つ い て は 、 GlobusAlliance
の
WEB
サ イ ト
（http://www.globus.org/toolkit/docs/4.0/）を参照のこと。ただしインストール時に指定可能
な”flavor”オプションは、デフォルトのものを使用すること。
Globus Toolkit のインストールディレクトリは、以降の GridVM スケジューラのインス
トール、および環境設定の際に必要となるため、記録しておくこと。
jwsdp のインストール
適当なディレクトリに、jwsdp をあらかじめインストールしておくこと。インストール
方法については、関連 WEB サイト参照のこと。
※ jwsdp-1.6 以上の場合、j2sdk が JAXP 1.3 API を参照するように修正する必要があ
る。修正方法は以下の手順、もしくは関連 WEB サイト(jwsdp-1.6 リリースノー
ト：http://java.sun.com/webservices/docs/1.6/ReleaseNotes.html)を参照のこと。
$ su –
$ cp $JSWDP_HOME/jaxp/lib/endorsed/* $JAVA_HOME/jre/lib/endorsed
$ cp $JWSDP_HOME/jaxp/lib/jaxp-api.jar $JAVA_HOME/jre/lib/endorsed
$
*$JWSDP_HOME ： jwsdpのインストールディレクトリ
*$JAVA_HOME ： j2sdkインストールディレクトリ
2.1.3. インストール
1.
GridVM スケジューラパッケージの展開
クラスタシステムの管理ノード上で、GridVM スケジューラのインストールディレクトリ
を作成し、そこに各 OS に応じたパッケージファイル GridVM-Scheduler.tar.gz を展開する。
※ ここではパッケージファイルを /tmp 以下に置き、/usr/local-d/GridVM 下に
scheduler というディレクトリを作成して、そこを GridVM スケジューラのインスト
ールディレクトリとするものとする。また GlobusTooKit のインストールディレクト
リを /opt/globus とし、Globus Toolkit の管理者ユーザを globus とする。
[Linux(PBSProfessional)環境の場合]
# su # cd /usr/local-d/GridVM
# mkdir scheduler
# cd scheduler
# gunzip /tmp/GridVM-Scheduler.tar.gz
12
管理者ガイド NAREGI Middleware GridVM
# tar xvf /tmp/GridVM-Scheduler.tar
./
./bin/
./bin/gvms_server
./bin/gvms_adm
./bin/gvms_monitor
./bin/gvms_filter.sh
./bin/default_job_filter
./bin/default_node_filter
./bin/gvms_final
./bin/gvmsctrl
./etc/
./etc/log4j.properties
./etc/softconfig
./etc/gvms.conf
./etc/setup.sh
./etc/setup
./etc/gvmsd.conf
./etc/plugin.conf
./etc/pbspro.conf
./etc/gvmsupdate.template
./plugins/
./plugins/libgvms-PBSPro.so.1.0
./plugins/libgvms-PBSPro.so
./lib/
./lib/libGridVM_ResourceUsageControl.so
./lib/org_naregi_admin_LRPS_stubs.jar
./lib/org_naregi_admin_RUS_stubs.jar
./lib/libGridVMISUtility.so
./lib/gridvm_is-utility.jar
./lib/lrps-provider-lib.jar
./lib/GridVMTestClient.jar
./sbin/
./sbin/uninstall.sh
./sbin/gvmsd.sh
./slib/
./slib/test/
13
管理者ガイド NAREGI Middleware GridVM
./slib/test/org_naregi_admin_LRPS.gar
./slib/test/org_naregi_admin_RUS.gar
./slib/libGridVM_ISProviders.so
./slib/gridvm_is_providers.jar
./globus/
./globus/lib/
./globus/lib/perl/
./globus/lib/perl/Globus/
./globus/lib/perl/Globus/GRAM/
./globus/lib/perl/Globus/GRAM/JobManager/
./globus/lib/perl/Globus/GRAM/JobManager/gridvm.pm
./globus/lib/gridvm_scheduler_library.jar
./globus/lib/GridVMJobServiceClient.jar
./globus/lib/GridVMJSDLParser.jar
./globus/lib/libglobus_seg_gridvm_gcc32dbg.a
./globus/lib/libglobus_seg_gridvm_gcc32dbg.la
./globus/lib/libglobus_seg_gridvm_gcc32dbg.so.0.0.0
./globus/lib/libglobus_seg_gridvm_gcc32dbg.so
./globus/lib/libglobus_seg_gridvm_gcc32dbg.so.0
./globus/lib/libglobus_seg_gridvm_gcc32.a
./globus/lib/libglobus_seg_gridvm_gcc32.la
./globus/lib/libglobus_seg_gridvm_gcc32.so.0.0.0
./globus/lib/libglobus_seg_gridvm_gcc32.so
./globus/lib/libglobus_seg_gridvm_gcc32.so.0
./globus/etc/
./globus/etc/gram-service/
./globus/etc/gram-service/globus_gram_fs_map_config.xml
./globus/etc/gram-service-GridVM/
./globus/etc/gram-service-GridVM/gluerp-config.xml
./globus/etc/gram-service-GridVM/jndi-config.xml
./globus/etc/gram-service-GridVM/substitution-definition.properties
./globus/etc/globus-gridvm.conf
./globus/libexec/
./globus/libexec/gridvm/
./globus/libexec/gridvm/gvms_req_ctrl
./globus/libexec/gridvm/gvms_req_event
./globus/libexec/gridvm/gvm_service_client.sh
14
管理者ガイド NAREGI Middleware GridVM
./globus/libexec/gridvm/queryJob
./globus/libexec/gridvm/deleteJob
./globus/libexec/gridvm/submitJob
./globus/libexec/globus-scheduler-provider-gridvm
./globus/org_naregi_gridvm.gar
./globus/setup.sh
./globus/unsetup.sh
#
2.
LoadLeveler 用モジュールの展開（AIX 環境のみ）
LoadLeveler の各 schedd ホスト上で、GridVM スケジューラの LoadLeveler 用モジュー
ルのインストールを行う。
各scheddホスト上で、GridVMスケジューラのインストールディレクトリを作成し、そこ
にパッケージファイルGridVM-Scheduler-LoadLeveler-module.tar.gz を展開する。このとき、
GridVMスケジューラのインストールディレクトリは、クラスタの管理ノード上でGridVMス
ケジューラパッケージの展開を行った際にGridVMスケジューラのインストールディレクト
リとして指定したパス名と同じパス名のディレクトリとする必要がある。
※ ここではパッケージファイルを /tmp 以下に置き、GridVM スケジューラのインスト
ールディレクトリを/usr/local-d/GridVM としたものとする。
# su
# cd /usr/local-d/GridVM
# mkdir scheduler
# cd scheduler
# gunzip /tmp/GridVM-Scheduler-LoadLeveler-module.tar.gz
# tar xvf /tmp/GridVM-Scheduler-LoadLeveler-module.tar
./
bin/
bin/gvmspsock
3.
Globus Toolkit 用 GridVM モジュールのインストール
前項のパッケージ展開後、GridVM の Globus Toolkit 用モジュールを GlobusTookit のイ
ンストールディレクトリ配下にインストールを行う。インストールは、Globus Toolkit の管
15
管理者ガイド NAREGI Middleware GridVM
理者ユーザで行う。
※ ここでは、GridVM スケジューラのインストールディレクトリを/usr/locald/GridVM/scheduler 、GlobusTookit のインストールディレクトリを /opt/globus と
し、Globus Toolkit の管理者ユーザを globus とする。
# su - globus
$ export GVMSD_ROOT=/usr/local-d/GridVM/scheduler
$ export GLOBUS_LOCATION=/opt/globus
$ cd $GVMSD_ROOT/globus
$ ./setup.sh
Completed...
$
4.
Globus Toolkit への GridVMJob サービスの配置
クラスタシステムの管理ノード上にインストールされた Globus Toolkit に globus ユーザ
権限で、GridVM ジョブサービスの gar ファイルを deploy することでインストールを行う。
※ ここでは、GridVM スケジューラのインストールディレクトリを/usr/locald/GridVM/scheduler 、GlobusTookit のインストールディレクトリを /opt/globus と
し、Globus Toolkit の管理者ユーザを globus とする。
# su – globus
$ export GVMSD_ROOT=/usr/local-d/GridVM/scheduler
$ export GLOBUS_LOCATION=/opt/globus
$ cd $GLOBUS_LOCATION
$ . $GLOBUS_LOCATION/etc/globus-user-env.sh
$ globus-deploy-gar $GVMSD_ROOT/globus/org_naregi_gridvm.gar
5.
情報サービスプロバイダーの配置
GridVM スケジューラのパッケージに含まれる下記の情報サービスプロバイダーのライブ
ラリを、管理ノード上で起動される LRPS サービスから起動できるように配置する。インス
トール手順については、情報サービスの操作説明書「GridVM から提供されるファイルの配
置」を参照のこと。
./slib/libGridVM_ISProviders.so
./slib/gridvm_is_providers.jar
16
管理者ガイド NAREGI Middleware GridVM
2.1.4. インストール結果の確認
インストールした結果、GridVM スケジューラ、Globus Toolkit 用 GridVM モジュール、
および GridVMJob サービスがそれぞれ正しくインストールされていることを確認する方法
は下記の通りである。
内容
方法
GridVM スケジューラ
GridVM スケジューラのインストールディレクトリ配下に以下のフ
ァイルが配置されていることを ls コマンドにより確認する。
./bin/gvms_server
./bin/gvms_adm
./bin/gvms_monitor
./bin/gvmsctrl
./etc/log4j.properties
./etc/softconfig
./etc/gvms.conf
./etc/gvmsd.conf
./etc/gvmsupdate.template
./lib/org_naregi_admin_LRPS_stubs.jar
./lib/org_naregi_admin_RUS_stubs.jar
./lib/libGridVMISUtility.so
./lib/gridvm_is-utility.jar
./sbin/gvmsd.sh
[Linux(PBS)環境]
./etc/pbspro.conf
./plugins/libgvms-PBSPro.so
[Linux(SGE)環境]
./etc/sge.conf
./plugins/libgvms-SGE.so
[AIX 環境]
./etc/loadleveler.conf
./plugins/libgvms-LoadLeveler.so
LoadLeveler 用モジュ LoadLeveler の各 schedd ホスト上で、GridVM スケジューラのイ
ール(AIX 環境のみ)
ンストールディレクトリ配下に以下のファイルが配置されているこ
とを ls コマンドにより確認する。
17
管理者ガイド NAREGI Middleware GridVM
./bin/gvmspsock
Globus
Toolkit
用 Globus Toolkit の管理者ユーザで、Globus Toolkit のコンテナを立
GridVM モジュール
ち上げて、GridVM 用のイベントジェネレータ(globus-schedulerevent-generator –s gridvm ..)のプロセスが存在することを ps コマ
ンドにより確認
GridVMJob サービス Globus Toolkit の管理者ユーザで、Globus Toolkit のコンテナを立
（GridVM のジョブ管 ち 上 げ て 、 コ ン テ ナ ロ グ の サ ー ビ ス 一 覧 に 以 下 の よ う な
理機能を提供するグ GridVMJob サービスの表示を確認
リッドサービス）
https://..../wsrf/services/gridvm/GridVMJobService
https://..../wsrf/services/gridvm/GridVMJobFactoryService
2.1.5. インストールに失敗した場合の対処方法
z
GridVMJob サービス（GridVM のジョブ管理機能を提供するグリッドサービス）の
配置の際に、
“Error: ANT_HOME invalid or not set:”
のようなメッセージが表示される場合
→ Ant のインストールディレクトリを環境変数 ANT_HOME に設定して、globusdeploy-gar コマンドを再実行する。
z
Globus Toolkit の GridVM 用モジュールのインストールの際、
“Setup is already performed…
Specify –f option to overwrite.”
のメッセージが表示される場合
→ GridVM 用モジュールがすでにインストールされているときに上記メッセージが
表示されるため、新しいモジュールをインストールする際は、オーバーライトの指
定(-f オプション)を付加して、setup.sh を再実行する。
$ cd $GVMSD_ROOT/globus
$ ./setup.sh -f
2.1.6. インストール後の作業
なし。
18
管理者ガイド NAREGI Middleware GridVM
2.2. GridVMエンジンのインストール
2.2.1. インストールの概要
計算ノード上に GridVM エンジンをインストールする。
計算ノードが複数ある場合には、GridVM を運用するクラスタ内の全計算ノードから参照
可能な NFS ディスク上にインストールする方法と、全計算ノードのローカルディスクにそ
れぞれインストールする方法とがある。
その後、展開されたインストールスクリプトを実行する。
インストール媒体
GridVM エンジンパッケージ：GridVM-Engine.tar.gz
インストール時の注意
計算ノードが複数あり、GridVMエンジンを全計算ノードのローカルディスクにそれぞれ
インストールする場合は、全計算ノードにおいてGridVMエンジンパッケージを展開する必
要があり、また各計算ノードのGridVMエンジン設定ファイル（4.2.2節参照）やアクセス保
護ポリシー設定ファイル（4.2.3節参照）の設定を同一にする必要があるため、注意が必要
である。
計算ノードが複数あり、インストール時に root 権限で rsh が実行できない場合は、イン
ストールスクリプトを全計算ノードで実行する必要がある。
また、GridVM をインストールするディレクトリと、GridVM のログディレクトリとして
指定するディスクは、root 権限で書き込み可能である必要がある。
2.2.2. インストール前の作業
GridVM エンジンはユーザ権限で動作する為、GridVM エンジンの実行ユーザを準備して
おく必要がある。
また、計算ノードが複数ある場合、可能であれば root 権限での rsh を許可する（運用時
にはこの設定は不要）。
2.2.3. インストール
GridVM エンジンのインストールディレクトリを作成し、インストールする OS に応じた
パッケージファイルを GridVM エンジンの実行ユーザで展開する。
計算ノードが複数ある場合には、以下の二通りのインストール方法がある。
19
管理者ガイド NAREGI Middleware GridVM
z
全計算ノードから参照可能な NFS ディスク上にインストールする場合
NFS ディスク上のディレクトリ下に GridVM エンジンのインストールディレクト
リを作成し、そこにパッケージファイルを展開する。
z
全計算ノードのローカルディスクにそれぞれインストールする場合
各計算ノードにて同一のパス名で GridVM エンジンインストールディレクトリを
作成し、そこにパッケージファイルをそれぞれ展開する。
※ ここでは Linux 環境において、パッケージファイルを /tmp 以下に置き、GridVM エ
ンジンのインストールディレクトリとして /usr/local-d/GridVM 下に “engine”と
いうディレクトリを作成するものとし、GridVM エンジンの実行ユーザは“globus”
であるものとする。
# mkdir /usr/local-d/GridVM/engine
# chown globus:globus /usr/local-d/GridVM/engine
# su - globus
-bash-2.05b$ cd /usr/local-d/GridVM/engine
-bash-2.05b$ tar zxvf /tmp/GridVM-Engine.tar.gz
bin/
bin/gvm_agent
bin/gvm_launcher
bin/gvm_wrapper
bin/gvm_manager
bin/gvm_getctime
bin/gvm_killpg
etc/
etc/config.xml.in
lib/
lib/libgvmconfig.so.0.1
lib/libgvmutils.so.0.1
lib/libgvmpolicy.so.0.1
lib/libgvmpolicymgr.so.0.1
lib/libgvmconfig.so
lib/libgvmutils.so
lib/libgvmpolicy.so
lib/libgvmpolicymgr.so
sbin/
sbin/gvm_manager.sh.in
20
管理者ガイド NAREGI Middleware GridVM
sbin/gvm_manager_local.sh.in
sbin/install_common
sbin/install _local.sh
sbin/install_loglotate.sh
sbin/install_sudoers.sh
sbin/install_syslog.sh
sbin/uninstall_local.sh
install.sh
uninstall.sh
Libxml2.Copyright
-bash-2.05b$
計算ノードが複数あり、インストール時にroot権限でrshが実行できる環境では、GridVM
エンジンの起動・停止（5.2節参照）を行う計算ノードにおいて、計算ノード定義ファイル
etc/nodes に、計算ノード名を一行毎に“hostname”コマンドが返却する形式で記述する。
他の計算ノードにおいては、計算ノード定義ファイルは不要である。
(例) etc/nodes
pbg1008.naregi.org
pbg1009.naregi.org
pbg1010.naregi.org
pbg1011.naregi.org
同ノードの GridVM エンジンのインストールディレクトリ下において、root 権限でイン
ストールスクリプト install.sh を実行する。計算ノードが複数あり、インストール時に root
権限で rsh が実行できない場合は、インストールスクリプトを全計算ノードで実行する。
インストールスクリプトの実行は以下のように行う。
install.sh [--user=USER] [--group=GROUP] [--port=PORT] [--gvms-host=GVMSHOST] [--g
vms-port=SPORT] [--sudoers=SUDOERS] [-y]
上記で“USER”は GridVM エンジンの実行ユーザ名、“GROUP”は GridVM エンジン
の実行ユーザのグループ名である。各オプションの利用法は以下の通りである。
--user=USER
GridVM エンジンの実行ユーザ名を“USER”に指定する。規定値は“globus”で
ある。
21
管理者ガイド NAREGI Middleware GridVM
--group =GROUP
GridVM エンジンの実行ユーザのグループ名を“GROUP”に指定する。規定値は
“USER”である。
--port=PORT
GridVM エンジン（GridVM マネージャ）のポート番号を“PORT”に指定する。
規定値は“7474”である。
--gvms-host=GVMSHOST
GridVM スケジューラの起動ホスト名を“GVMSHOST”指定する。規定値はイ
ンストールスクリプトを実行したホスト名である。
--gvms-port=SPORT
GridVM スケジューラのポート番号を“SPORT”に指定する。規定値は“7777”
である。
--sudoers=SUDOERS
sudo の 設 定 フ ァ イ ル パ ス を “ SUDOERS ” に 指 定 す る 。 規 定 値 は
“/etc/sudoers”である。
--y
バッチモードでインストールを実行する。規定値はインタラクティブモードであ
る。
※ ここでは GridVM の実行ユーザは“globus”であるものとし、GridVM スケジューラ
の起動ホストを pbg1007.naregi.org とする
# ./install.sh –-user=globus --gvms-host=pbg1007.naregi.org -y
Settings:
GridVM engine user
: globus
GridVM engine group
: globus
GridVM engine port
: 7474
GridVM scheduler host : pbg1007.naregi.org
GridVM scheduler port : 7777
sudoers file path
GridVM engine hosts
1011.naregi.org
: /etc/sudoers
: pbg1008.naregi.org pbg1009.naregi.org pbg1010.naregi.org pbg
22
管理者ガイド NAREGI Middleware GridVM
[pbg1008.naregi.org]
preparing /usr/local-d/GridVM/engine/pbg1008.naregi.org ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager.sh ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager_local.sh ...
preparing /usr/local-d/GridVM/engine/etc/config.xml ...
mdifying /etc/sudoers ...
[pbg1009.naregi.org]
preparing /usr/local-d/GridVM/engine/pbg1009.naregi.org ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager.sh ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager_local.sh ...
preparing /usr/local-d/GridVM/engine/etc/config.xml ...
mdifying /etc/sudoers ...
[pbg1010.naregi.org]
preparing /usr/local-d/GridVM/engine/pbg1010.naregi.org ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager.sh ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager_local.sh ...
preparing /usr/local-d/GridVM/engine/etc/config.xml ...
mdifying /etc/sudoers ...
[pbg1011.naregi.org]
preparing /usr/local-d/GridVM/engine/pbg1011.naregi.org ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager.sh ...
preparing /usr/local-d/GridVM/engine/sbin/gvm_manager_local.sh ...
preparing /usr/local-d/GridVM/engine/etc/config.xml ...
mdifying /etc/sudoers ...
Completed.
#
2.2.4. インストール結果の確認
インストールした結果、各計算ノードにおいて GridVM エンジンが正しくインストール
されていることを確認する方法は下記の通りである。
内容
方法
GridVM エンジン実行ファイル
各計算ノードにおいて、GridVM エンジンのインストールディレ
クトリ配下に以下のファイルが配置されていることを ls コマン
ドにより確認する。
23
管理者ガイド NAREGI Middleware GridVM
/engine_inst_Dir /bin/gvm_agent
/engine_inst_Dir /bin/gvm_launcher
/engine_inst_Dir /bin/gvm_wrapper
/engine_inst_Dir /bin/gvm_manager
/engine_inst_Dir /bin/gvm_killpg
/engine_inst_Dir /bin/gvm_getctime
GridVM エンジンライブラリ
各計算ノードにおいて、GridVM エンジンのインストールディレ
クトリ配下に以下のファイルが配置されていることを ls コマン
ドにより確認する。
[Linux 環境]
/engine_inst_Dir /lib/libgvmconfig.so.0.1
/engine_inst_Dir /lib/libgvmutils.so.0.1
/engine_inst_Dir /lib/libgvmpolicy.so.0.1
/engine_inst_Dir /lib/libgvmpolicymgr.so.0.1
/engine_inst_Dir /lib/libgvmconfig.so
/engine_inst_Dir /lib/libgvmutils.so
/engine_inst_Dir /lib/libgvmpolicy.so
/engine_inst_Dir /lib/libgvmpolicymgr.so
[AIX 環境]
/engine_inst_Dir /lib/libgvmconfig.a
/engine_inst_Dir /lib/libgvmutils.a
/engine_inst_Dir /lib/libgvmpolicy.a
/engine_inst_Dir /lib/libgvmpolicymgr.a
GridVM エンジン起動ファイル
各計算ノードにおいて、GridVM エンジンのインストールディレ
クトリ配下に以下のファイルが配置されていることを ls コマン
ドにより確認する。
/engine_inst_Dir /sbin/gvm_manager.sh
/engine_inst_Dir /sbin/gvm_manager_local.sh
GridVM エンジン設定ファイル
各計算ノードにおいて、GridVM エンジンのインストールディレ
クトリ配下に以下のファイルが配置されていることを ls コマン
ドにより確認する。
/engine_inst_Dir /etc/config.xml
また、各計算ノードの sudo 設定ファイル（規定値では/etc/sudoers） に下記のような
記述が追加される。
24
管理者ガイド NAREGI Middleware GridVM
※ 以下の例では、GridVM エンジン実行ユーザを globus としており、計算ノードの一つ
である pbg1008.naregi.org 上の sudo 設定ファイルを参照しているものとする。
[Linux 環境]
# cat /etc/sudoers
:
globus ALL=NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_wrapper
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_kill
pg
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/ckpt.*
:
#
[AIX 環境]
# cat /etc/sudoers
:
globus ALL=NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_wrapper
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_kill
pg
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_getc
time
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/ckpt.*
:
#
2.2.5. インストールに失敗した場合の対処方法
z
各計算ノードにて、GridVM エンジン実行ファイル・GridVM エンジンライブラ
リ・/engine_inst_Dir /sbin/gvm_manager_local.sh・GridVM エンジン設定ファイ
ルが存在しない場合
→ 該当する計算ノードにおいて、GridVMエンジンインストールディレクトリ
（/engine_inst_Dir/）以下でGridVMエンジンパッケージファイルをGridVMエンジ
ンの実行ユーザ権限で展開する（2.2.3節参照）。
z
インストールスクリプトの実行が失敗した場合
→ 以下の点を再確認し、GridVMエンジンのインストールディレクトリ下におい
てroot権限でインストールスクリプトを再実行する（2.2.3節参照）。
25
管理者ガイド NAREGI Middleware GridVM
‹ 計算ノードが複数あり、root 権限での rsh を可能にしてインストールスクリプ
トを実行した場合、計算ノード定義ファイル（/engine_inst_Dir /etc/nodes）に
記述されているホスト名が、全て“hostname”コマンドが返却する形式で正
しく記述されているか。
-bash-2.05b$ cat /usr/local-d/GridVM/engine/etc/nodes
pbg1008.naregi.org
pbg1009.naregi.org
pbg1010.naregi.org
pbg1011.naregi.org
-bash-2.05b$ hostname
pbg1008.naregi.org
-bash-2.05b$
‹ 計算ノードが複数あり、root 権限での rsh を可能にしてインストールスクリプ
トを実行した場合、計算ノード定義ファイルに記述されている全ノードについ
て、root 権限での rsh が可能になっているか。
-bash-2.05b$ su Password:
# rsh pbg1008.naregi.org echo ok
ok
# rsh pbg1009.naregi.org echo ok
ok
# rsh pbg1010.naregi.org echo ok
ok
# rsh pbg1011.naregi.org echo ok
ok
#
‹ GridVM インストールディレクトリ・GridVM のログディレクトリとして指定
したディスクが、root 権限で書き込み可能であるか。
# touch /usr/local-d/GridVM/engine/foo
# rm /usr/local-d/GridVM/engine/foo
# touch /opt/naregi-mdl/log/GridVM/foo
# rm /opt/naregi-mdl/log/GridVM/foo
#
2.2.6. インストール後の作業
必要であれば、インストール前に行った root 権限での rsh を許可する設定を元に戻す。
26
管理者ガイド NAREGI Middleware GridVM
運用時にGridVMエンジンの実行ユーザでのrshが許可されていない環境では、インスト
ール時に計算ノード定義ファイル（etc/nodes）を作成した場合、これを削除する。計算ノ
ードが複数あり、運用時にGridVMエンジンの実行ユーザでのrshが許可されている環境で、
インストール時に計算ノード定義ファイルを作成しなかった場合は、2.2.3節を参照してこ
れを作成する。
27
管理者ガイド NAREGI Middleware GridVM
第 3 章. ローカルスケジューラのセットアップについて
使用するローカルスケジューラに応じて、ローカルスケジューラの起動、または環境設
定上、以下の操作が必要である。
3.1. PBS Professional
PBS Professional に対して、以下の環境設定が必要である。
キューの設定
GridVM で利用するクラスタ資源の範囲を規定するために、テンプレートとなるバッチキ
ューを作成し、ジョブ投入、実行が可能な状態にしておく。（キューの作成方法等に関して
は PBS Professional の管理者ガイドを参照のこと。）
ここで、GridVM スケジューラの運用に反映されるキューの設定は以下の項目である。こ
れらの属性の設定をすることによって、GridVM スケジューラに投入されるジョブに対して
制限をかけることができる。
—
resources_available.ncpus (キューで利用可能なノードあたりの CPU 数)
—
resources_max.pmem (キューで利用可能な物理メモリ)
—
resources_max.pvmem (キューで利用可能な仮想メモリ)
—
resources_max.cput (キューで利用可能な CPU 時間)
—
resources_max.walltime (キューで利用可能な WallTime)
—
resources_max.file (キューで利用可能な最大ファイルサイズ)
—
resources_max.nodect or resources_max.nodes (キューで利用可能な最大ノード数)
—
acl_user_enable (キューのユーザ制限の有無)
—
acl_users (キューのユーザ制限時のユーザ名)
—
acl_group_enable (キューのグループ制限の有無)
—
acl_groups (キューのグループ制限時のグループ名)
28
管理者ガイド NAREGI Middleware GridVM
3.2. SGE(Sun Grid Engine)
Sun Grid Engine に対して、マスターホスト上において以下の環境設定が必要である。
管理者アカウントの設定
GridVM では、ジョブ制御のため、root ユーザを Sun Grid Engine の管理者アカウントと
して設定しておく必要がある。既存の管理者アカウントで、qsonf コマンドを使用して root
を管理者アカウントに追加する。
% qconf –am root
reporting 設定
GridVM では、Sun Grid Engine のジョブイベントを採取するために、Sun Grid Engine
の reporting ファイルを利用している。このため、reporting ファイルへの出力情報の設定と
して、qconf コマンドを使用して以下の設定を行う。
# qconf -mconf
ここで、起動されるエディタ内で、reporting_params の項目の内容を以下のように編集
する。
z
reporting=true
z
accounting=true
z
joblog=true
reporting_params
accounting=true reporting=true joblog=true ¥
flush_time=00:00:15 sharelog=00:00:00
並列環境（PE）の設定
GridMPI を利用した並列ジョブの実行のため、GridMPI 用の並列環境を作成する（並列
環境の作成方法等に関しては、Sun Grid Engine の管理者ガイドを参照のこと）。GridMPI
用の並列環境の起動手続き(startyampi.sh)、終了手続き(stopyampi.sh)を、クラスタ内の各計
算ノードにおいて同じパスになるよう配置する。これらの手続きは、GridVM スケジューラ
のインストールディレクトリ/bin 以下にある。
※ ここでは、GridVM スケジューラのインストールディレクトリを/usr/local-
29
管理者ガイド NAREGI Middleware GridVM
d/GridVM/scheduler 、GridMPI 用の並列環境の起動・終了手続きを配置するディレ
クトリを、クラスタ内の全計算ノードにおいて NFS 共有されている/usr/locald/pe/yampi とする。
# cp /usr/local-d/GridVM/scheduler/bin/startyampi.sh /usr/local-d/pe/yampi/
# cp /usr/local-d/GridVM/scheduler/bin/stopyampi.sh /usr/local-d/pe/yampi/
GridMPI 用の並列環境を qconf コマンドを利用して以下のように設定する。
※ ここでは、GridMPI 用の並列環境名を”yampi”とする。
# qconf –mp yampi
ここで、起動されるエディタ内で、start_proc_args、stop_proc_args、allocation_rule の
項目の内容を以下のように編集する。
z
start_proc_args GridMPI 用の並列環境の起動処理のファイルパス
$pe_hostfile $job_id
z
stop_proc_args
GridMPI 用の並列環境の終了処理のファイルパス $job_id
z
allocation_rule
$round_robin
start_proc_args
/usr/local-d/pe/yampi/startyampi.sh $pe_hostfile $job_id
stop_proc_args
/usr/local-d/pe/yampi/stopyampi.sh $job_id
allocation_rule
$round_robin
スロット数等、その他並列環境の設定を行う。
キューの設定
GridVM で利用するクラスタ資源の範囲を規定するために、テンプレートとなるクラスタ
キューを作成し、ジョブ投入、実行が可能な状態にしておく。（キューの作成方法等に関し
ては Sun Grid Engine 6 の管理者ガイドを参照のこと。）
作成したキューに、GridMPI 用の並列環境を追加する。qconf コマンドを使用して以下の
設定を行う。
※ ここでは、キュー名を”workq”とする。
# qconf –mq workq
ここで、起動されるエディタ内で、pe_list の項目に上記で設定した並列環境名を追加す
30
管理者ガイド NAREGI Middleware GridVM
る。
※ ここでは、GridMPI 用の並列環境名を”yampi”とする。
pe_list
make yampi
キューの資源制限を行う場合、GridVM スケジューラの運用に反映されるキューの設定は
以下の項目である。これらの属性の設定をすることによって、GridVM スケジューラに投入
されるジョブに対して制限をかけることができる。
—
h_rss (キューで利用可能な物理メモリ)
—
h_vmem (キューで利用可能な仮想メモリ)
—
h_cpu (キューで利用可能な CPU 時間)
—
h_rt (キューで利用可能な WallTime)
—
h_fsize (キューで利用可能な最大ファイルサイズ)
—
user_lists（キューのユーザ制限時の利用可能ユーザリスト）
—
xuser_lists（キューのユーザ制限時の利用不可ユーザリスト）
3.3. LoadLeveler
LoadLeveler に対して、以下の環境設定が必要である。
クラスの設定
GridVM で利用するクラスを作成し、ジョブ投入および実行が可能な状態にしておく。ここ
で、GridVM スケジューラの運用に反映される LoadLevler のクラスの制限値の設定は以下の項
目である。これらの項目を設定することによって、GridVM スケジューラに投入されるジョブ
に対して制限をかけることができる。
（クラスの作成方法等に関しては LoadLeveler の管理者ガイドを参照のこと。）
¾ 管理ファイル LoadL_admin での class stanza の制限
—
wall_clock_limit（クラスで利用可能な Walltime）
31
管理者ガイド NAREGI Middleware GridVM
—
cpu_limit（クラスで利用可能な CPU 時間）
—
file_limit（クラスで利用可能なファイルサイズ）
—
rss_limit（クラスで利用可能な物理メモリ）
—
data_limit（クラスで利用可能なデータサイズ）
—
include_users（クラスを利用可能なユーザ）
—
exclude_users（クラスを利用不可なユーザ）
—
include_groups（クラスを利用可能なグループ）
—
exclude_groups（クラスを利用不可なグループ）
¾ 管理ファイル LoadL_admin での user stanza の設定
class stanza での制限で include_groups, exclude_groups を利用する際は、以下の設定を
行うこと。
—
default_group = Unix_Group
注意事項
予約ジョブが非予約ジョブと混在している状況や並列ジョブの場合に、ジョブステップ数や
タスク数に関係する制限がかかっていると、条件により、予約ジョブが予約時間通りに実行さ
れないことがある。従って、GridVM で使用するクラスを作成する際、並びに管理者ファイル
LoadL_admin に制限値を設定する際、以下の点に注意すること。
¾ クラス作成時
クラスを構成する各ノードのスロット数を均一に設定すること。
GridVM スケジューラでは、ノード当たりの CPU 数がこのスロット数となる。
¾ 管理ファイル LoadL_admin の class stanza で定義する制限値で以下のものは設定し
ないこと。
z
maxjobs （最大同時実行ジョブステップ数）
z
max_total_tasks （最大同時実行タスク数）
z
max_node （パラレルジョブでの最大使用ノード数）
－ 但し、クラスのノード数と同じ値であれば設定してもよい。
32
管理者ガイド NAREGI Middleware GridVM
z
total_tasks （パラレルジョブでの最大タスク数）
¾ LoadL_admin で user stanza の制限値の設定は行わないこと。
¾ LoadL_admin で group stanza の制限値の設定は行わないこと。
33
管理者ガイド NAREGI Middleware GridVM
第 4 章. GridVMのセットアップについて
4.1. GridVMスケジューラのセットアップ
4.1.1. 初期状態
GridVM スケジューラのインストール直後の設定は下表のようになっている。環境に合わ
せて設定の変更を行う必要がある。
項目
インストール時の設定
説明
必須ソフトウェア関連
Java（J2SDK）のインストールパス
/usr/java/jdk1.5.0_14
4.1.2節
Globus Toolkit 4.0.5 のインストールパス
/opt/globus
4.1.2節
JWSDP のインストールパス
/opt/jwsdp-2.0
4.1.2節
GridVM スケジューラ関連
GridVM スケジューラのインストールディレ /usr/local-d/GridVM/scheduler
4.1.2節
クトリ
GridVM エンジンとの通信用ポート番号
7777
4.1.2節
プラグインライブラリとの通信用ポート番号
8888
4.1.2節
GridVM エンジンのラウンチャのパス
/usr/local-d/
4.1.2節
GridVM/engine/bin/gvm_launcher
予約受付可・不可
可
4.1.2節
ログレベル
4
4.1.2節
利用量制御機能1
オフ
4.1.4節
https://192.168.0.1:8443/wsrf/
4.1.2節
Globus Toolkit 関連
LRPSサービス2のURI
services/org/naregi/admin/LRPSServic
e
3
RUSサービス のURI
1
https://192.168.0.1:8443/wsrf/
4.1.2節
利用量制御機能は、利用量制御ポリシーに従ってジョブの資源利用量（実行時間、CPU 時間、
ディスク使用量）を制御する機能である
2
LRPS サービスは、情報サービスにより提供されるグリッドサービスで、GridVM から各種情報
を提供するために利用する。
3
RUS サービスは、情報サービスにより提供されるグリッドサービスで、GridVM から各種情報を
提供するために利用する。
34
管理者ガイド NAREGI Middleware GridVM
services/org/naregi/admin/ResourceUs
ageService
GridVMJob サービスの URI
https://192.168.0.1:8443/wsrf/services/
4.1.2節
gridvm/GridVMJobFactoryService
Globus Toolkit のコンテナ起動ユーザ
globus
4.1.2節
情報サービスへの情報登録ユーザ
globus
4.1.2節
gridmap ファイルのパス
/etc/grid-security/grid-mapfile
4.1.2節
コンテナ証明書ファイルパス
/etc/grid-security/containercert.pem
4.1.2節
コンテナキーファイルパス
/etc/grid-security/containerkey.pem
4.1.2節
1
GridVMJob サービス、GridVM スケジュー MAX=100MB×3 ファイル,
ラライブラリのログ
4.1.3節
category=INFO
ローカルスケジューラ関連
※インストール時の設定は PBSPro の設定が有効となっているため、以下の設定項目について、
私用するローカルスケジューラに応じた設定を行うこと
ローカルスケジューラ種別
PBSPro
4.1.2節
ローカルスケジューラのインストールパス
/usr/pbs
4.1.2節
ローカルスケジューラのサーバログファイル /var/spool/PBS/server_logs
4.1.2節
のパス（PBS 環境のみ）
提供キュー名
workq
4.1.2節
最大バルクタスク数（PBS 環境のみ）
10000
4.1.2節
削除イベント用ポート番号
12121
4.1.2節
（LoadLeveler 環境のみ）
1
gridmapfile は、Globus Toolkit が使用する、ユーザ証明書の Subject とローカルユーザとのマッ
ピングのためのファイルである。
35
管理者ガイド NAREGI Middleware GridVM
4.1.2. GridVMスケジューラの設定
2.1.2節でローカルスケジューラ、Globus Toolkit のインストールを行った際の情報や、
インストールするマシンの環境に合わせて、GridVMスケジューラの設定ファイルgvms.conf
によってGridVMスケジューラの設定を行う。この操作は、スーパーユーザで行う。
※ ここでは、GridVM スケジューラのインストールディレクトリを/usr/locald/GridVM/scheduler とする。
# export GVMSD_ROOT=/usr/local-d/GridVM/scheduler
# cd $GVMSD_ROOT/etc
# vi gvms.conf
(gvms.confファイルを下記の説明に従って編集)
# ./setup
#
GridVM スケジューラ設定ファイルの設定
GridVM スケジューラ設定ファイル（gvms.conf）の各項目の設定フォーマットは、一行
一項目で、
項目名=設定値
のように記述する。また、＃で始まる行はコメント行となる。各項目に設定する内容は
以下の通りである。
JAVA_HOME
Java のインストールディレクトリをフルパス指定で指定する。
GLOBUS_LOCATION
Globus Toolkit 4.0.5 のインストールディレクトリをフルパス指定で指定する。
JWSDP_HOME
JWSDP のインストールディレクトリをフルパス指定で指定する。
GVMSD_ROOT
GridVM スケジューラのインストールディレクトリをフルパス指定で指定する。
GVMSD_PORT
36
管理者ガイド NAREGI Middleware GridVM
GridVMエンジンとの通信ポートを指定する。ポート番号は、2.2.3節でGridVMエ
ンジンのインストール時に指定したSPORTの値と一致させる必要がある。
EVENT_PORT
GridVM スケジューラとローカルスケジューラ対応プラグインライブラリ間の通信
のためのポート番号を指定する。
GVM_LAUNCHER
GridVM エンジンを利用してジョブの監視を行うために、GridVM ラウンチャのイ
ンストールパス名を指定する。
RESERVABLE
予約受付可、不可の指定をする。可の場合"True"、不可の場合、"False"を指定す
る。
LOG_LEVEL
GridVM スケジューラのログレベルを指定する。指定する値は 1～5 の整数値で、
数値が大きいほどログ出力が詳細になる
LRPS_URI
情報サービスから提供される、LocalResourceProvider サービスの URI を指定す
る。GridVM スケジューラは、これと下記の RUS_URI で指定された URI を使用して、
情報サービスのサービスを利用する。
RUS_URI
情報サービスから提供される、RUS サービスの URI を指定する。
GRIDVM_JOBSERVICE_URI
GridVM が提供する GridVMJob サービスの URI を指定する。ここで指定する URI
は、自ホスト（クラスタの管理ノード）上の Globus Toolkit で提供する GridVMJob
サービスの Factory サービスのもの（スーパースケジューラが GridVM 経由でジョブ
を実行する際に指定する URI と同じもの）を指定すること。
GLOBUS_USER
自ホスト上での Globus Toolkit の起動ユーザ名を設定する。
IS_USER
37
管理者ガイド NAREGI Middleware GridVM
GridVM スケジューラが情報サービス(LRPS サービスおよび RUS サービス)を利
用する際に使用する自ホスト上のユーザ名を指定する。ここで指定するユーザに対し
ては、Globus Toolkit で LRPS サービスおよ RUS サービスを利用するための証明書
が正しく設定されている必要がある。
GRIDMAP
Globus Toolkit で使用する”Grid-Mapfile”を指定する。デフォルトは、”/etc/gridsecurity/grid-mapfile”。
CONTAINER_CERT_FILE
Globus Toolkit で使用するコンテナ証明書ファイルのパスを指定する。デフォルト
は、”/etc/grid-security/containercert.pem”。
CONTAINER_KEY_FILE
Globus Toolkit で使用するコンテナ鍵ファイルのパスを指定する。デフォルト
は、”/etc/grid-security/containerkey.pem”。
LOCAL_SCHED
利用するローカルスケジューラを指定する。PBS Professional 環境では”PBSPro”、
SGE 環境では”SGE”、LoadLeveler 環境では”LoadLeveler”を指定する。
LOCAL_SCHED_PATH
利用するローカルスケジューラのインストールパスを指定する。（SGE 環境では
不要）
LOCAL_SCHED_LOG
PBS Professional のサーバーログの出力ディレクトリのパス名を指定する。
（PBS 環境のみ）
QUEUES
GridVMで利用するローカルスケジューラのキュー名を指定する。3.1節で設定し
たキュー名を指定する。複数のキューを記述する場合は、”,”(カンマ)によってキュー
名を区切る。
[記述例]
QUEUES=queue1,queue2
38
管理者ガイド NAREGI Middleware GridVM
MAX_TASKS_OF_BULKJOB
バルクジョブの最大タスク数を指定する。（PBS 環境のみ）
SGE_ROOT
SGE のインストールパスを指定する。（SGE 環境のみ）
SGE_CELL
SGE で使用する CELL 名を指定する。（SGE 環境のみ）
SGE_ARCH
SGE で使用するアーキテクチャ名を指定する。SGE のコマンド郡が、
SGE_ROOT/bin/SGE_ARCH 以下に配置されるように指定する。（SGE 環境のみ）
SGE_PE
SGE で使用する並列環境（PE）名を指定する。（SGE 環境のみ）
PLUS_BINDIR
PluS のバイナリをインストールしたディレクトリを指定する。PluS のコマンド
郡が、PLUS_BINDIR 以下に配置されるよう指定する。（SGE 環境のみ）
PLUS_JARDIR
PluS の jar ファイルをインストールしたディレクトリを指定する。（SGE 環境の
み）
JAVA5_HOME
jdk1.5.0 のインストールディレクトリを指定する。（SGE 環境のみ）
AIX_DELETE_PORT
LoadLeveler 上で実行が Rejected となったジョブを削除するため、GridVM 内で
の通信に使用するポート番号を指定する。（LoadLeveler 環境のみ）
FILTER_PROG
不使用
DELETE_PRI_FILTER
不使用
39
管理者ガイド NAREGI Middleware GridVM
NODE_PRI_FILTER
不使用
SHOW_SUBGROUP
不使用
JACCT_PATH
不使用
SCHED_TYPE
不使用
## GridVM Scheduler Configuration
## Common Software
JAVA_HOME=/usr/java/j2sdk1.5.0_14
GLOBUS_LOCATION=/opt/globus
JWSDP_HOME=/opt/jwsdp-2.0
## GridVM Scheduler
GVMSD_ROOT=/usr/local-d/GridVM/scheduler
GVMSD_PORT=7777
EVENT_PORT=8888
GVM_LAUNCHER=/usr/local-d/GridVM/engine/bin/gvm_launcher
RESERVABLE=True
DELETE_PRI_FILTER=
NODE_PRI_FILTER=
LOG_LEVEL=4
## GlobusToolkit4.0
LRPS_URI=https://192.168.0.1:8443/wsrf/services/org/naregi/admin/LRPSService
RUS_URI=https://192.168.0.1:8443/wsrf/services/org/naregi/admin/ResourceUsageService
GRIDVM_JOBSERVICE_URI=https://192.168.0.1:8443/wsrf/services/gridvm/GridVMJobFactoryS
ervice
GLOBUS_USER=globus
IS_USER=globus
GRIDMAP=/etc/grid-security/grid-mapfile
40
管理者ガイド NAREGI Middleware GridVM
CONTAINER_CERT_FILE=/etc/grid-security/containercert.pem
CONTAINER_KEY_FILE=/etc/grid-security/containerkey.pem
#############################################
## Local Scheduler Plugin setting
##
## LOCAL_SCHED: Local scheduler selection
##
(PBSPro, LoadLeveler or NQSII)
LOCAL_SCHED=PBSPro
PLUGIN_PORT=8888
#############################################
## Each Local Scheduler's setting
## (set the selected local scheduler's part)
## PBSPro (only on Linux) setting
LOCAL_SCHED_PATH=/usr/pbs
LOCAL_SCHED_LOG=/var/spool/PBS/server_logs
QUEUES=workq
MAX_TASKS_OF_BULKJOB=10000
## LoadLeveler (only on AIX) setting
#LOCAL_SCHED_PATH=/usr/loadl
#EVENT_PORT=12121
#QUEUES=test
## NQSII (only on Linux) setting
## SCHED_TYPE: NQSII's job scheduler selection
##
(STD or JM)
#SCHED_TYPE=STD
#QUEUES=testq
## SGE (only on Linux) setting
#SGE_ROOT=/usr/local/n1ge
#SGE_CELL=default
#SGE_ARCH=lx24-amd64
#SGE_PE=gridmpi
41
管理者ガイド NAREGI Middleware GridVM
#FILTER_PROG=
#PLUS_BINDIR=/usr/local/bin
#PLUS_JARDIR=/usr/local/PluS
#JAVA5_HOME=/usr/java/jdk1.5.0_11
#QUEUES=all.q
## Solaris_NQS (only on Solaris) setting
#SHOW_SUBGROUP=/usr/lib/pworks/pm/showSubGroup
#JACCT_PATH=/var/opt/FJSVpnrm/jacct
#QUEUES=testq
4.1.3. Globus Toolkit 関連ログの設定
GridVMJob サービスのログの設定
GridVMJobサービスは、スーパースケジューラからジョブの予約や制御を行ったり、ジ
ョブのイベントを通知したりするためのサービスである。GridVMJobサービスのログ出力は、
Log4jのライブラリを使用しており、2.1.3節のGlobus Toolkit 用GridVMモジュールのインス
トールにおいて、$(GLOBUS_LOCATION)/container-log4.propertiesファイルに、以下のよ
うに設定されている。ログレベル、ログ出力先、ログローテーションの指定を変更が必要な
場合は、ここでcontainer-log4j.propertiesファイルの設定を変更する。
設定例 $(GLOBUS_LOCATION)/container-log4j.properties
：
# GridVM JobService
log4j.appender.GridVMService=org.apache.log4j.RollingFileAppender
log4j.appender.GridVMService.File=/opt/globus/var/gridvm-service.log
log4j.appender.GridVMService.MaxFileSize=100MB
log4j.appender.GridVMService.MaxBackupIndex=3
log4j.appender.GridVMService.layout=org.apache.log4j.PatternLayout
log4j.appender.GridVMService.layout.ConversionPattern=%d [%-5p] %c{3} - %m [%t] %n
log4j.category.org.naregi.gridvm=INFO, GridVMService
log4j.additivity.org.naregi.gridvm=false
：
インストール環境に合わせて変更が必要な項目について、設定する内容は以下の通りで
ある。
42
管理者ガイド NAREGI Middleware GridVM
log4j.appender.GridVMService.File
出力ログファイルを指定する。
log4j.appender.GridVMService.MaxFileSize
ログファイルの最大ファイルサイズを指定する。ログファイルがこのサイズを超
えると、ローテーションが行われる。
log4j.appender.GridVMService.MaxBackupIndex
ログファイルの最大バックアップファイル数を指定する。
log4j.category.org.naregi.gridvm =INFO, GridVMService
ログレベルを指定する。Log4j で設定可能なレベルは以下である。
ALL > DEBUG > INFO > WARN > ERROR > FATAL > OFF
GridVM スケジューラライブラリ用ログの設定
GridVM スケジューラライブラリ（GridVMJob サービスの GridVM スケジューラとのイ
ンタフェースライブラリ）用ログの設定は、GridVMJob サービスのログ設定と同様に、
$(GLOBUS_LOCATION)/container-log4.properties ファイルで行う。ログレベル、ログ出力
先、ログローテーションの指定を変更が必要な場合は、ここで container-log4j.properties フ
ァイルの設定を変更する。
設定例 $(GLOBUS_LOCATION)/container-log4j.properties
※ここで、GlobusTookit のインストールディレクトリ($GLOBUS_LOCATION)を
/opt/globus とする。
：
# GridVM Scheduler Library
log4j.appender.GridVMLibrary = org.apache.log4j.RollingFileAppender
log4j.appender.GridVMLibrary.File = /opt/globus/var/gridvm-library.log
log4j.appender.GridVMLibrary.MaxFileSize=100MB
log4j.appender.GridVMLibrary.MaxBackupIndex=3
log4j.appender.GridVMLibrary.layout = org.apache.log4j.PatternLayout
log4j.appender.GridVMLibrary.layout.ConversionPattern = %d [%-5p] %c{3} - %m [%t]
%n
log4j.category.org.naregi.gridvm.scheduler.library = INFO, GridVMLibrary
log4j.additivity.org.naregi.gridvm.scheduler.library=false
：
43
管理者ガイド NAREGI Middleware GridVM
インストール環境に合わせて変更が必要な項目について、設定する内容は以下の通りで
ある。
log4j.appender.GridVMLibrary.File
出力ログファイルを指定する。
log4j.appender.GridVMLibrary.MaxFileSize
ログファイルの最大ファイルサイズを指定する。ログファイルがこのサイズを超
えると、ローテーションが行われる。
log4j.appender.GridVMLibrary.MaxBackupIndex
ログファイルの最大バックアップファイル数を指定する。
log4j.category. org.naregi.gridvm.scheduler.library = INFO, GridVMLibrary
ログレベルを指定する。Log4j で設定可能なレベルは以下である。
ALL > DEBUG > INFO > WARN > ERROR > FATAL > OFF
4.1.4. 利用量制御機能の設定
利用量制御機能を利用するためには、以下の設定が必要である。
1） GridVM スケジューラ設定ファイルの設定
GridVM スケジューラの設定ファイル gvmsd.conf に下記の設定を追加する必要がある。
利用量制御機能を使用しない場合、本設定は不要である。gvmsd.conf の各項目の設定フォ
ーマットは、一行一項目で、
項目名=設定値
のように記述する。また、＃で始まる行はコメント行となる。
各項目に設定する内容は以下の通りである。
RU_ENABLE
利用量制御機能のオン（True）・オフ（False）を設定する。既定値は、”False”
となる。
44
管理者ガイド NAREGI Middleware GridVM
RU_POLICY
利用量制御機能を使用する場合、利用量制御ポリシー設定ファイルのファイル位
置を絶対パスで指定する。
RU_MONITOR
利用量制御機能を使用する場合、個々の監視対象のオン・オフを指定する。
z
ELAPSE：実行時間の監視
z
CPU
：CPU 時間の監視
z
DISK
：ディスク使用量の監視
z
ALL
：上記全ての監視
“ELAPSE”、“ CPU”、“DISK”の組み合わせ、または“ALL”で指定する。
複数の監視対象の組み合わせは“,”区切りで指定する。規定値は“ELAPSE, CPU”
となる。
RU_INTERVAL
利用量制御機能を使用する場合、利用量を監視する時間間隔を秒で指定する。規
定値は“60”となる。
RU_DISK_MONTYPE
利用量制御機能を使用し、かつディスク使用量を監視する場合、ディスク使用量
の採取方式を指定する。
z
PCT ：ディスク使用率による使用量採取
z
SIZE：ディスクサイズによる使用量採取
規定値は“PCT”となる。
設定例(gvmsd.conf)
# GridVM Scheduler Config
RU_ENABLE=True
RU_POLICY=/usr/local-d/GridVM/scheduler/etc/policy_ru.xml
RU_MONITOR=ELAPSE,CPU
RU_INTERVAL=60
45
管理者ガイド NAREGI Middleware GridVM
RU_DISK_MONTYPE=PCT
2） 利用量制御ポリシー設定ファイルの設定
利用量制御機能を有効にする場合は、利用量制御ポリシー設定ファイル
（policy_ru.xml）を作成し、GridVM スケジューラ設定ファイルで利用量制御機能を有効に
設定し（RU_ENABLE を”True”に設定）、また作成した利用量制御ポリシー設定ファイルの
パスを設定する（RU_POLICY に設定）。
利用量制御ポリシー設定ファイルの各タグの内容は以下の通りである。
(*): 設定必須
/GridVMPolicyConfig
(*)
ポリシーのルートタグ。ポリシー設定ファイルに１つだけ記述する。
/GridVMPolicyConfig/AccessControl
(*)
アクセス制御ポリシーのルートタグ。GridVMPolicyConfig タグ内に１つだけ記述
する。
/GridVMPolicyConfig/AccessControl/ResourceUsage
(*)
利用量制御ポリシーのルートタグ。GridVMPolicyConfig タグ内に１つだけ記述す
る。属性としてルール解釈アルゴリズムを指定することが出来る。
•
ルール解釈アルゴリズム属性（RuleCombiningAlgorithm）
複数のルールをまとめる際のルール結合アルゴリズムを指定する。値とし
て、”tight-overrides”または”loose-overrides”が指定できる。指定がない場合
は、”tight-overrides”と解釈する。
tight-overrides
適用可能なルールが複数ある場合に、上限値として設定された最小値を採用す
る。
loose-overrides
適用可能なルールが複数ある場合に、上限値として設定された最大値を採用す
る。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule
46
(*)
管理者ガイド NAREGI Middleware GridVM
利用量制御ルールを記述する。ルールを適用する主体の分類（AppliedTo）、制
御を行う対象（Metrics）を記述する。ResourceUsage タグ内に１つ以上記述す
る。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule/AppliedTo
ルールを適用する主体の種類を記述する。UsageRule タグ内に１つまで記述する。
省略時は全種類が対象となる。属性として、主体の単位を指定する。
•
主体の単位属性(TargetUnit)
値として、"user"（グローバルユーザ ID）または "vo"（VO 名）が指定できる。
指定が無い場合は、"user" と解釈する。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule/AppliedTo/Subjec
ts
ルールを適用する主体の集合を記述する。AppliedTo タグ内に 1 つまで記述し、
値は Subject タグ内に記述する。省略時は全主体が対象となる。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule/AppliedTo/Subjec
ts/Subject
ルールを適用する個々の主体を記述する。Subjects タグ内に 0 以上記述する。省
略時は全主体が対象となる。AppliedTo タグの設定に対応したグローバルユーザ
ID 又は VO 名を、値としてタグ内に設定する。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule/Metrics
制御を行う対象の集合を記述する。UsageRule タグ内に 1 つまで記述する。省略
時は、全対象について監視・制御を行わないことを示す。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule/Metrics/Metric
制御を行う個々の対象を記述する。Metrics タグ内に 0 以上記述する。省略時
は、監視・制御を行わないことを示す。
/GridVMPolicyConfig/AccessControl/ResourceUsage/UsageRule/Metrics/Metric/Am
ount
資源利用量の上限値を記述する。Metric タグ内に 0 以上記述する。省略時は、監
視・制御を行わないことを示す。属性として、資源種別、上限値を指定する。
•
資源種別属性(AmountResource)
47
管理者ガイド NAREGI Middleware GridVM
値として、"elapse"（実行時間）、"cpu"（CPU 時間）、または "disk"（ディ
スク使用量）の何れかを指定する。設定がない資源は、監視・制御を行わない
ことを示す。
•
上限値属性(AmountValue)
値を浮動小数点で記述する。elapse、cpu に対応する単位は秒(s)、disk に対応
する単位は MB である。
設定例(policy_ru.xml)
<?xml version="1.0" encoding="UTF-8"?>
<gvmcf:GridVMPolicyConfig
xmlns:gvmcf="http://www.naregi.org/wp1/GridVM/PolicyConfig1.0">
<gvmcf:AccessControl>
<!-- Resource Usage Control policy example -->
<gvmcf:ResourceUsage
gvmcf:RuleCombiningAlgorithm="tight-overrides">
<!-- Usage Rule 1: for all user -->
<gvmcf:UsageRule>
<gvmcf:Metrics>
<gvmcf:Metric>
<gvmcf:Amount gvmcf:AmountResource="disk" gvmcf:AmountValue="1.0E6"></g
vmcf:Amount>
</gvmcf:Metric>
</gvmcf:Metrics>
</gvmcf:UsageRule>
<!-- Usage Rule 2: for naregi VO user -->
<gvmcf:UsageRule>
<gvmcf:AppliedTo gvmcf:TargetUnit="vo">
48
管理者ガイド NAREGI Middleware GridVM
<gvmcf:Subjects>
<gvmcf:Subject>naregi.org</gvmcf:Subject>
</gvmcf:Subjects>
</gvmcf:AppliedTo>
<gvmcf:Metrics>
<gvmcf:Metric>
<gvmcf:Amount gvmcf:AmountResource="elapse" gvmcf:AmountValue="2.0E+6">
</gvmcf:Amount>
</gvmcf:Metric>
</gvmcf:Metrics>
</gvmcf:UsageRule>
<!-- Usage Rule 3: for ims VO user -->
<gvmcf:UsageRule>
<gvmcf:AppliedTo gvmcf:TargetUnit="vo">
<gvmcf:Subjects>
<gvmcf:Subject>ims.ac.jp</gvmcf:Subject>
</gvmcf:Subjects>
</gvmcf:AppliedTo>
<gvmcf:Metrics>
<gvmcf:Metric>
<gvmcf:Amount gvmcf:AmountResource="cpu" gvmcf:AmountValue="3.0E8"></gv
mcf:Amount>
<gvmcf:Amount gvmcf:AmountResource="disk" gvmcf:AmountValue="5.0E5"></g
vmcf:Amount>
</gvmcf:Metric>
</gvmcf:Metrics>
</gvmcf:UsageRule>
<!-- Usage Rule 4: for special user -->
49
管理者ガイド NAREGI Middleware GridVM
<gvmcf:UsageRule>
<gvmcf:AppliedTo gvmcf:TargetUnit="user">
<gvmcf:Subjects>
<gvmcf:Subject>/OU=Grid/O=Naregi/OU=naregi=user001.naregi.org/CN=Naregi
User001</gvmcf:Subject>
</gvmcf:Subjects>
</gvmcf:AppliedTo>
<gvmcf:Metrics>
<gvmcf:Metric>
<gvmcf:Amount gvmcf:AmountResource="elapse" gvmcf:AmountValue="1.0E+5">
</gvmcf:Amount>
<gvmcf:Amount gvmcf:AmountResource="disk" gvmcf:AmountValue="1.0E5"></g
vmcf:Amount>
</gvmcf:Metric>
</gvmcf:Metrics>
</gvmcf:UsageRule>
</gvmcf:ResourceUsage>
</gvmcf:AccessControl>
</gvmcf:GridVMPolicyConfig>
4.2. GridVMエンジンのセットアップ
4.2.1. 初期状態
GridVM エンジンのインストール直後の設定は下表のようになっている。下記の設定で問
題ない場合は、GridVM エンジンのセットアップは不要である。
なお、下記で“PORT”はインストール時（2.2.3節）設定したGridVMエンジン
（GridVMマネージャ）のポート番号、“GVMSHOST”はGridVMスケジューラの起動ホス
ト名、“SPORT”はGridVMスケジューラのポート番号である。
項目
インストール時の設定
変更する場合
GridVM エンジン（GridVM マネージャ）ポート番号
PORT
4.2.2節
GridVM スケジューラホスト名
GVMSHOST
4.2.2節
GridVM スケジューラポート番号
SPORT
4.2.2節
50
管理者ガイド NAREGI Middleware GridVM
アクセス保護機能1
オフ
4.2.2節
4.2.3節
設定を変更する場合の注意
計算ノードが複数あり、GridVMエンジンを全計算ノードのローカルディスクにそれぞれ
インストールした場合は、各計算ノードのGridVMエンジン設定ファイルconfig.xml（4.2.2節
参照）やアクセス保護ポリシー設定ファイルpolicy_ap.xml（4.2.3節参照）の設定を同一に
する必要があるため、注意が必要である。
4.2.2. GridVMエンジン設定ファイルの設定
GridVM エンジン設定ファイル config.xml 中の各タグを設定する。
各タグの内容は以下の通りである。
(*): 設定必須
/GridVMConfig/AccessControl
アクセス保護機能に関する各パラメータ値の設定を行う。
/GridVMConfig/AccessControl/Enable
アクセス保護機能のオン・オフを、”True” （オン）または ”False” （オフ）で指
定する。
/GridVMConfig/AccessControl/PolicyFile
アクセス保護ポリシー設定ファイルの位置を、絶対パスで指定する。
（ デ フ ォ ル ト ｛ GridVM エ ン ジ ン イ ン ス ト ー ル デ ィ レ ク ト リ ｝
/etc/policy_ap.xml）
アクセス保護ポリシー設定ファイルの内容については、4.2.3節を参照。
/GridVMConfig/Monitoring
1
アクセス保護機能は、アクセス保護ポリシーに従ってジョブのファイルアクセスを制御（許可・
拒否）する機能である。
51
管理者ガイド NAREGI Middleware GridVM
資源監視機能に関する各パラメータ値の設定を行う。
/GridVMConfig/Monitoring/Interval
資源監視の時間間隔を整数値で指定する。単位は秒(デフォルト 5)。
/GridVMConfig/GridVMScheduler
GridVM スケジューラに関する各パラメータを指定する。
/GridVMConfig/GridVMScheduler/Host
(*)
GridVM スケジューラが動作するノード名を指定する。
/GridVMConfig/GridVMScheduler/Port
(*)
GridVMスケジューラとの接続ポート番号を指定する。ポート番号は、GridVMス
ケジューラの設定と一致させる必要がある。GridVMスケジューラの設定ファイル
については、4.1.2節を参照。
/GridVMConfig/GridVMManager
GridVM マネージャに関する各パラメータを指定する。
/GridVMConfig/GridVMManager/Port
(*)
GridVM マネージャの接続ポート番号を指定する。
/GridVMConfig/GridVMManager/LogLevel1
GridVM マネージャのログ出力レベルを 0～7 で設定する (デフォルト 6)。値が
大きい程詳細なログを出力する。
/GridVMConfig/GridVMLauncher
GridVM ラウンチャに関する各パラメータを指定する。
/GridVMConfig/GridVMLauncher/LogLevel
GridVM ラウンチャのログ出力レベルを 0～7 で設定する (デフォルト 6)。値が
大きい程詳細なログを出力する。
1
GridVM エンジンのログ出力は、他の NAREGI ミドルウェア（スーパースケジューラ、情報サー
ビス）と同様、Syslog の local1 facility を利用して出力される。GridVM エンジンのログを出力する
為には、システムの Syslog 出力の設定を適切に行う必要がある。
52
管理者ガイド NAREGI Middleware GridVM
/GridVMConfig/GridVMAgent
GridVM エージェントに関する各パラメータを指定する。
/GridVMConfig/GridVMAgent/Monitoring/Exclude/Path
set-user-id ビットが設定されたプログラム(rcp/rsh など)をグリッドジョブとして
利用可能としたい場合、そのプログラムの絶対パスを指定する。
/GridVMConfig/GridVMAgent/LogLevel
GridVM エージェントのログ出力レベルを 0～7 で設定する (デフォルト 6)。値
が大きい程詳細なログを出力する。
設定例 （config.xml）
<?xml version="1.0" encoding="utf-8"?>
<GridVMConfig>
<!-- Common section -->
<!-<AccessControl>
<AccessProtection>
<Enable>True</Enable>
<PolicyFile>/usr/local-d/GridVM/engine/etc/policy_ap.xml</PolicyFile>
</AccessProtection>
</AccessControl>
-->
<Monitoring>
<Interval>5</Interval>
</Monitoring>
<GridVMScheduler>
<!-- GridVM Scheduler Section -->
<Host>pbg1007.naregi.org</Host>
<Port>7777</Port>
</GridVMScheduler>
<GridVMManager>
53
管理者ガイド NAREGI Middleware GridVM
<!-- GridVM Manager Section -->
<Port>7474</Port>
<LogLevel>6</LogLevel>
</GridVMManager>
<GridVMLauncher>
<!-- GridVM Launcher Section -->
<LogLevel>6</LogLevel>
</GridVMLauncher>
<GridVMAgent>
<!-- GridVM Agent Section -->
<LogLevel>6</LogLevel>
<Monitoring>
<Exclude>
<Path>/usr/bin/rsh</Path>
</Exclude>
</Monitoring>
</GridVMAgent>
</GridVMConfig>
4.2.3. アクセス保護機能の設定
アクセス保護機能を有効にする場合は、アクセス保護ポリシー設定ファイル
（policy_ap.xml）を作成し、GridVMエンジン設定ファイルでアクセス保護機能を有効に設
定し（/GridVMConfig/AccessControl/Enableを”True”に設定）、また作成したアクセス保護
ポリシー設定ファイルのパスを設定する（/GridVMConfig/AccessControl/PolicyFileに設定）。
GridVMエンジン設定ファイルの設定の詳細については4.2.2節を参照のこと。
アクセス保護ポリシー設定ファイルの各タグの内容は以下の通りである。
(*): 設定必須
/GridVMPolicyConfig
(*)
ポリシーのルートタグ。ポリシー設定ファイルに１つだけ記述する。
/GridVMPolicyConfig/AccessControl
54
(*)
管理者ガイド NAREGI Middleware GridVM
アクセス制御ポリシーのルートタグ。GridVMPolicyConfig タグ内に１つだけ記述
する。
/GridVMPolicyConfig/AccessControl/AccessProtection
(*)
アクセス保護ポリシーのルートタグ。GridVMPolicyConfig タグ内に１つだけ記述
する。属性としてアクセス可否規定値、ルール解釈アルゴリズムを指定すること
が出来る。
•
アクセス可否規定値属性(Default)
アクセス許可判定のデフォルト値を指定する。値として、”permit”（許可）ま
たは”deny”（拒否）が指定できる。指定がない場合は”deny”と解釈する。
•
ルール解釈アルゴリズム属性（RuleCombiningAlgorithm）
複数のルールをまとめる際のルール結合アルゴリズムを指定する。値とし
て、”deny-overrides”または”permit-overrides”が指定できる。指定がない場合
は、”deny-overrides”と解釈する。
deny-overrides
適用可能なルールが複数ある場合に、どれか１つのルールが“deny”であれば結
果を“deny”とする。
permit-overrides
適用可能なルールが複数ある場合に、どれか１つのルールが“permit”であれば
結果を“permit”とする。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule
(*)
アクセスルールを記述する。ルールを適用する主体の分類（AppliedTo）、対象
(Resources)、操作（Actions）を記述し、アクセス可否属性を記述する。
AccessProtection タグ内に 1 つ以上記述する。
•
アクセス可否属性（Effect）
アクセスルールの許可を指定する。値として、”permit”（許可）または”deny”
（拒否）を指定する。”Effect”の指定がない場合は、AccessProtection タグで指
定したアクセス可否規定値を採用する。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/AppliedTo
ルールを適用する主体の種類を記述する。AccessRule タグ内に 1 つまで記述す
55
管理者ガイド NAREGI Middleware GridVM
る。省略時は全種類が対象となる。属性として、主体の単位を指定する。
•
主体の単位属性(TargetUnit)
値として、"user"（グローバルユーザ ID）または "vo"（VO 名）が指定できる。
指定が無い場合は、"user" と解釈する。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/AppliedTo/Subj
ects
ルールを適用する主体の集合を記述する。AppliedTo タグ内に 1 つまで記述し、
値は Subject タグ内に記述する。省略時は全主体が対象となる。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/AppliedTo/Subj
ects/Subject
ルールを適用する個々の主体を記述する。Subjects タグ内に 0 以上記述する。
AppliedTo タグの設定に対応したグローバルユーザ ID 又は VO 名を、値としてタ
グ内に設定する。省略時は全主体が対象となる。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/Resources
(*)
ルールを適用する対象（資源）の集合を記述する。AccessRule タグ内に 1 つ記
述し、値は Resource タグ内に記述する。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/Resources/Reso
urce
(*)
ルールを適用する対象（資源）を指定する。Resources タグ内に 1 つ以上記述す
る。値として、対象とするファイル、またはディレクトリを記述する。対象がデ
ィレクトリである場合、そのアクセスルールは指定したディレクトリ以下のファ
イル、またはディレクトリ全てに適用されることを意味する。パスが相対パス表
記の場合は、ジョブの初期ディレクトリ以下のルールとして解釈される。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/Actions
ルールを適用する操作の集合を記述する。AccessRule タグ内に 1 つまで記述し、
値は Action タグ内に記述する。省略時は全操作が対象となる。
/GridVMPolicyConfig/AccessControl/AccessProtetion/AccessRule/Actions/Action
アクセスルールを適用する操作を指定する。Actions タグ内に 0 以上記述する。
値として、”read”、”write”、”execute”の何れかを指定する。省略時は全操作が対
56
管理者ガイド NAREGI Middleware GridVM
象となる。
read
読み込み権に対するアクセスルールであることを示す。
write
書き込み権に対するアクセスルールであることを示す。
execute
実行権に対するアクセスルールであることを示す。
設定例（policy_ap.xml）
<?xml version="1.0" encoding="UTF-8"?>
<gvmap:GridVMPolicyConfig
xmlns:gvmap="http://www.naregi.org/wp1/GridVM/APPolicyConfig1.0">
<gvmap:AccessControl>
<!-- Access Procection policy example -->
<gvmap:AccessProtection gvmap:Default="Permit"
gvmap:RuleCombiningAlgorithm="Permit-overrides">
<!-- Access Rule 1: for all user -->
<gvmap:AccessRule gvmap:Effect="Deny">
<gvmap:Resources>
<gvmap:Resource>/etc/passwd</gvmap:Resource>
</gvmap:Resources>
</gvmap:AccessRule>
<!-- Access Rule 2: for naregi VO user -->
<gvmap:AccessRule gvmap:Effect="Deny">
<gvmap:AppliedTo gvmap:TargetUnit="vo">
<gvmap:Subjects>
<gvmap:Subject>naregi.org</gvmap:Subject>
57
管理者ガイド NAREGI Middleware GridVM
</gvmap:Subjects>
</gvmap:AppliedTo>
<gvmap:Resources>
<gvmap:Resource>/home/ims</gvmap:Resource>
</gvmap:Resources>
</gvmap:AccessRule>
<!-- Access Rule 3: for ims VO user -->
<gvmap:AccessRule gvmap:Effect="Deny">
<gvmap:AppliedTo gvmap:TargetUnit="vo">
<gvmap:Subjects>
<gvmap:Subject>ims.ac.jp</gvmap:Subject>
</gvmap:Subjects>
</gvmap:AppliedTo>
<gvmap:Resources>
<gvmap:Resource>/home/naregi</gvmap:Resource>
<gvmap:Resource>/WorkSpace</gvmap:Resource>
</gvmap:Resources>
<gvmap:Actions>
<gvmap:Action>write</gvmap:Action>
</gvmap:Actions>
</gvmap:AccessRule>
<!-- Access Rule 4: for special user -->
<gvmap:AccessRule gvmap:Effect="Permit">
<gvmap:AppliedTo gvmap:TargetUnit="user">
<gvmap:Subjects>
<gvmap:Subject>/OU=Grid/O=Naregi/OU=naregi=user001.naregi.org/CN=Naregi
User001</gvmap:Subject>
</gvmap:Subjects>
</gvmap:AppliedTo>
58
管理者ガイド NAREGI Middleware GridVM
<gvmap:Resources>
<gvmap:Resource>/etc/passwd</gvmap:Resource>
</gvmap:Resources>
<gvmap:Actions>
<gvmap:Action>read</gvmap:Action>
</gvmap:Actions>
</gvmap:AccessRule>
<gvmap:AccessRule gvmap:Effect="Permit">
<gvmap:AppliedTo gvmap:TargetUnit="user">
<gvmap:Subjects>
<gvmap:Subject>/OU=Grid/O=Naregi/OU=naregi=user001.naregi.org/CN=Naregi
User001</gvmap:Subject>
</gvmap:Subjects>
</gvmap:AppliedTo>
<gvmap:Resources>
<gvmap:Resource>/etc</gvmap:Resource>
</gvmap:Resources>
<gvmap:Actions>
<gvmap:Action>execute</gvmap:Action>
</gvmap:Actions>
</gvmap:AccessRule>
</gvmap:AccessProtection>
</gvmap:AccessControl>
</gvmap:GridVMPolicyConfig>
59
管理者ガイド NAREGI Middleware GridVM
第 5 章. GridVMの起動／停止と保守について
5.1. GridVMの運用操作と保守
GridVMの運用操作は、管理ノードでGlobusコンテナ・GridVMスケジューラを起動・停
止することにより行う。また、計算ノードの一つ（2.2.3節でインストールスクリプトを実
行したノード）あるいは全計算ノードでGridVMエンジンを起動・停止することにより行う。
5.2. 運用手順
5.2.1. 起動
GridVM スケジューラの起動
GridVM スケジューラの起動は、クラスタの管理ノードにおいて GridVM スケジューラ起
動スクリプトを root 権限で実行することによって行う。GridVM スケジューラ起動スクリプ
トを、以下のように実行する。
# /sched_inst_Dir/sbin/gvmsd.sh start
GVMSD Server start(PID=1622)
GridVM エンジンの起動
GridVMエンジンインストールディレクトリ下のGridVMエンジン起動スクリプトを、
2.2.3節でインストールスクリプトを実行したノードにおいてGridVMエンジンの実行ユーザ
権限で実行する。計算ノード定義ファイル（/engine_inst_dir/etc/nodes）を記述し、GridVM
エンジン実行ユーザ権限によるrshの実行が許可されている環境では、このスクリプトの実
行により、計算ノード定義ファイルに定義された全ノードにおいて、GridVMエンジンが起
動する。そうでない環境では、全計算ノードにおいてGridVMエンジン起動スクリプトを実
行する。GridVMエンジン起動スクリプトを以下のように実行する。
$ /engine_inst_Dir/sbin/gvm_manager.sh start
pbg1008.naregi.org - Starting GridVM Manager Daemon: [ OK ]
pbg1009.naregi.org - Starting GridVM Manager Daemon: [ OK ]
pbg1010.naregi.org - Starting GridVM Manager Daemon: [ OK ]
pbg1011.naregi.org - Starting GridVM Manager Daemon: [ OK ]
Globus コンテナの起動
Globus コンテナの起動は、クラスタの管理ノードにおいて、Globus 管理ユーザ権限で
$(GLOBUS_LOCATION)/sbin/globus-start-container-detached コマンドを実行する。
$ GLOBUS_OPTIONS=-Xmx512m
60
管理者ガイド NAREGI Middleware GridVM
$ export GLOBUS_OPTIONS
$ ${GLOBUS_LOCATION}/sbin/globus-start-container-detached
Starting Globus container. PID: 11683
$
この場合、ポート番号は 8443 となる。
ポート番号を指定して Globus コンテナを起動する場合は、globus-start-containerdetached コマンドに -p オプションを付加して実行する。
$ GLOBUS_OPTIONS=-Xmx512m
$ export GLOBUS_OPTIONS
$ ${GLOBUS_LOCATION}/sbin/globus-start-container-detached -p ポート番号
5.2.2. 起動の確認
GridVM スケジューラの起動確認は、クラスタの管理ノードにおいて GridVM スケジュー
ラ(gvms_server, gvms_adm, gvms_monitor, gvms_req_event)のプロセスが存在することで
確認する。
$ ps –e | grep gvms
1622 ?
00:00:00 gvms_server
1624 ?
00:00:00 gvms_adm
1625 ?
00:00:00 gvms_monitor
2023 ?
00:00:00 gvms_req_event
$
GridVMエンジンの起動確認は、GridVMエンジンインストールディレクトリ下のGridVM
エンジン起動スクリプトを、2.2.3節でインストールスクリプトを実行したノードにおいて
実行する。計算ノード定義ファイル（/engine_inst_dir/etc/nodes）を記述し、GridVMエンジ
ン実行ユーザ権限によるrshの実行が許可されている環境では、このスクリプトの実行によ
り、全計算ノードのGridVMエンジンの起動が確認できる。そうでない環境では、全計算ノ
ードにおいてGridVMエンジン起動スクリプトを実行して確認する。GridVMエンジン起動ス
クリプトを以下のように実行する。
$ /engine_inst_Dir/sbin/gvm_manager.sh status
pbg1008.naregi.org - gvm_manager (pid 5363) is running...
pbg1009.naregi.org - gvm_manager (pid 27741) is running...
pbg1010.naregi.org - gvm_manager (pid 27007) is running...
pbg1011.naregi.org - gvm_manager (pid 20167) is running...
61
管理者ガイド NAREGI Middleware GridVM
5.2.3. 停止
Globus コンテナの停止
Globus
コ ン テ ナ の 停 止 は
Globus
管 理 ユ ー ザ 権 限 で
$(GLOBUS_LOCATION)/sbin/globus-stop-container-detached コマンドを実行して停止する。
$ ${GLOBUS_LOCATION}/sbin/globus-stop-container-detached
Stopping Globus container. PID: 11683
Container stopped
GridVM エンジンの停止
GridVMエンジンインストールディレクトリ下のGridVMエンジン起動スクリプトを、
2.2.3節でインストールスクリプトを実行したノードにおいてGridVMエンジンの実行ユーザ
権限で実行する。計算ノード定義ファイル（/engine_inst_dir/etc/nodes）を記述し、GridVM
エンジン実行ユーザ権限によるrshの実行が許可されている環境では、このスクリプトの実
行により、計算ノード定義ファイルに定義された全ノードにおいて、GridVMエンジンが停
止する。そうでない環境では、全計算ノードにおいてGridVMエンジン起動スクリプトを実
行する。GridVMエンジン起動スクリプトを以下のように実行する。
$ /engine_inst_Dir/sbin/gvm_manager.sh stop
pbg1008.naregi.org - Shutting down GridVM Manager Daemon: [ OK ]
pbg1009.naregi.org - Shutting down GridVM Manager Daemon: [ OK ]
pbg1010.naregi.org - Shutting down GridVM Manager Daemon: [ OK ]
pbg1011.naregi.org - Shutting down GridVM Manager Daemon: [ OK ]
GridVM スケジューラの停止
GridVM スケジューラの停止は、GridVM スケジューラ起動スクリプトを root 権限で実行
することによって行う。GridVM スケジューラ起動スクリプトを、以下のように実行する。
# /sched_inst_Dir/sbin/gvmsd.sh stop
Shutting down GridVM Scheduler Daemon:
PID = 1622
5.2.4. 停止の確認
GridVMエンジンインストールディレクトリ下のGridVMエンジン起動スクリプトを、
2.2.3節でインストールスクリプトを実行したノードにおいて実行する。計算ノード定義フ
ァイル（/engine_inst_dir/etc/nodes）を記述し、GridVMエンジン実行ユーザ権限によるrsh
の実行が許可されている環境では、このスクリプトの実行により、全計算ノードのGridVM
エンジンの停止が確認できる。そうでない環境では、全計算ノードにおいてGridVMエンジ
62
管理者ガイド NAREGI Middleware GridVM
ン起動スクリプトを実行して確認する。GridVMエンジン起動スクリプトを以下のように実
行する。
$ /engine_inst_Dir/sbin/gvm_manager.sh status
pbg1008.naregi.org - gvm_manager is stopped
pbg1009.naregi.org - gvm_manager is stopped
pbg1010.naregi.org - gvm_manager is stopped
pbg1011.naregi.org - gvm_manager is stopped
GridVM スケジューラの停止確認は、クラスタの管理ノードにおいて GridVM スケジュー
ラ (gvms_server, gvms_adm, gvms_monitor, gvms_req_event)のプロセスが存在しないこと
で確認する。
$ ps –e | grep gvms
$
5.3. 保守
5.3.1. キュー情報更新
第 3 章で設定した、GridVMで使用するローカルスケジューラのキューに対して、使用
するキューを追加したり、キューの属性の変更を行ったりする際は、以下のように、
gvmsupdateコマンドを使用して、スーパーユーザでGridVMスケジューラへ通知を行う必要
がある。キュー情報の更新の結果は、情報サービスにおいて、更新後のキュー情報が登録さ
れているかで確認する。
# /sched_inst_Dir /bin/gvmsupdate -r
#
注意：AIX 環境の場合は GridVM スケジューラの再立ち上げ（GridVM スケジューラの停
止、起動）を行う必要がある。
5.3.2. ローカルスケジューラを再起動した場合
GridVM スケジューラを運用中に、ローカルスケジューラを再起動した場合には、
GridVM スケジューラ及び GridVM エンジンも再起動する必要がある。
63
管理者ガイド NAREGI Middleware GridVM
5.4. 索引
起動.................................................................60
キュー情報
更新................................................................. 63
起動確認..........................................................61
GridVM エンジン
停止.................................................................62
起動................................................................. 60
停止確認..........................................................63
起動確認......................................................... 61
保守.................................................................63
Globus コンテナ
停止................................................................. 62
停止確認......................................................... 62
起動.................................................................60
保守................................................................. 63
停止.................................................................62
GridVM スケジューラ
64
管理者ガイド NAREGI Middleware GridVM
第 6 章. GridVMのアンインストールについて
GridVM を運用していたクラスタの管理ノード上の GridVM スケジューラ、及び計算ノー
ド上の GridVM エンジンをアンインストールする。
6.1. GridVMスケジューラのアンインストール
6.1.1. アンインストールの概要
クラスタの管理ノード上で、以下の操作を行うことにより、GridVM スケジューラをアン
インストールすることができる。
1） Globus Toolkit から GridVMJob サービスの undeploy
2） uninstall.shスクリプトにより、Globus Toolkit用GridVMモジュールのインストール
でインストールしたGridVM用のGlobus Toolkit 関連の設定の削除、およびGridVM
スケジューラのログファイル出力ディレクトリを削除
3） GridVM スケジューラインストールディレクトリを削除
6.1.2. アンインストール前の作業
なし
6.1.3. アンインストール
GridVMJob サービスの削除
クラスタシステムの管理ノード上にインストールされた Globus Toolkit に globus ユーザ
権限で、GridVMJob サービスを undeploy することでアンインストールを行う。
※ ここで、GlobusTookit のインストールディレクトリを /opt/globus とし、Globus
Toolkit の管理者ユーザを globus とする。
# su – globus
$ export GLOBUS_LOCATION=/opt/globus
$ cd $GLOBUS_LOCATION
$ . $GLOBUS_LOCATION/etc/globus-user-env.sh
$ globus-undeploy-gar org_naregi_gridvm
$
65
管理者ガイド NAREGI Middleware GridVM
アンインストールスクリプト実行
クラスタシステムの管理ノード上で、スーパーユーザになって、次のように GridVM ス
ケジューラの uninstall.sh スクリプトを実行する。
※ ここで、/usr/local-d/GridVM/scheduler 下に GridVM スケジューラをインストールし
たものとする。
# cd /usr/local-d/GridVM/scheduler
# ./sbin/uninstall.sh
#
GridVM スケジューラインストールディレクトリ削除
クラスタの管理ノードにおいて、GridVM スケジューラのインストールディレクトリを削
除する。
※ ここでは /usr/local-d/GridVM/scheduler 下に GridVM スケジューラをインストールし
たものとする。
# rm -rf /usr/local-d/GridVM/scheduler
#
また、AIX 環境の場合は、LoadLeveler の各 schedd ホストにおいて、GridVM スケジュ
ーラインストールディレクトリを同様に削除する。
6.1.4. アンインストール結果の確認
アンインストールスクリプトの実行の結果、Globus Toolkit のインストールディレクトリ
から以下のファイルが削除されて、存在しないことを確認する。
以下では Globus Toolkit のインストールディレクトリを<GLOBUS_LOCATION>で示してい
る。また、下記の XXXX で示した部分には、Globus Toolkit のインストール時の flaver が入
る。
<GLOBUS_LOCATION>/lib/perl/Globus/GRAM/JobManager/gridvm.pm
<GLOBUS_LOCATION>/lib/GridVMJobServiceClient.jar
<GLOBUS_LOCATION>/lib/gridvm_scheduler_library.jar
<GLOBUS_LOCATION>/lib/libGridVMSchedulerConnectionService.so
<GLOBUS_LOCATION>/lib/libglobus_seg_gridvm_XXXX.a
<GLOBUS_LOCATION>/lib/libglobus_seg_gridvm_XXXX.la
66
管理者ガイド NAREGI Middleware GridVM
<GLOBUS_LOCATION>/lib/libglobus_seg_gridvm_XXXX.so.0.0.0
<GLOBUS_LOCATION>/lib/libglobus_seg_gridvm_XXXX.so.0
<GLOBUS_LOCATION>/lib/libglobus_seg_gridvm_XXXX.so
<GLOBUS_LOCATION>/lib/gridvm_is_providers.jar
<GLOBUS_LOCATION>/lib/libGridVM_ISProviders.so
<GLOBUS_LOCATION>/etc/globus-gridvm.conf
<GLOBUS_LOCATION>/etc/gram-service-GridVM
<GLOBUS_LOCATION>/libexec/globus-scheduler-provider-gridvm
<GLOBUS_LOCATION>/libexec/gridvm
また、<GLOBUS_LOCATION>/container-log4j.properties ファイルから、以下のように
記述された、ログ出力の表示が削除されていることを確認する。
:
# GridVM JobService
log4j.appender.GridVMService=org.apache.log4j.RollingFileAppender
log4j.appender.GridVMService.File=/opt/globus/var/gridvm-service.log
log4j.appender.GridVMService.MaxFileSize=100MB
log4j.appender.GridVMService.MaxBackupIndex=3
log4j.appender.GridVMService.layout=org.apache.log4j.PatternLayout
log4j.appender.GridVMService.layout.ConversionPattern=%d [%-5p] %c{3} - %m [%t] %n
log4j.category.org.neregi.gridvm=INFO, GridVMService
log4j.additivity.org.neregi.gridvm=false
:
# GridVM Scheduler Library
log4j.appender.GridVMLibrary = org.apache.log4j.RollingFileAppender
log4j.appender.GridVMLibrary.File = /opt/globus/var/gridvm-library.log
log4j.appender.GridVMLibrary.MaxFileSize=100MB
log4j.appender.GridVMLibrary.MaxBackupIndex=3
log4j.appender.GridVMLibrary.layout = org.apache.log4j.PatternLayout
log4j.appender.GridVMLibrary.layout.ConversionPattern = %d [%-5p] %c{3} - %m [%t]
%n
log4j.category.org.naregi.gridvm.scheduler.library = INFO, GridVMLibrary
log4j.additivity.org.naregi.gridvm.scheduler.library=false
:
さらに、<GLOBUS_LOCATION>/etc/gram-service/globus_gram_fs_map_config.xml フ
ァイルから、GridVM に関する記述が削除されていることを確認する。
:
67
管理者ガイド NAREGI Middleware GridVM
<ns1:map xmlns:ns1="http://www.globus.org/namespaces/2004/10/gram/job" xmlns:xsi=
"http://www.w3.org/2001/XMLSchema-instance" xsi:type="ns1:FileSystemMapType">
<ns1:scheduler xmlns:xsd="http://www.w3.org/2001/XMLSchema" xsi:type="xsd:string
">GridVM</ns1:scheduler>
<ns1:ftpServer xsi:type="ns1:FtpServerType">
<ns1:protocol xmlns:xsd="http://www.w3.org/2001/XMLSchema" xsi:type="xsd:string"
>gsiftp</ns1:protocol>
<ns1:host xmlns:xsd="http://www.w3.org/2001/XMLSchema" xsi:type="xsd:string">png
1017.naregi.org</ns1:host>
<ns1:port xmlns:xsd="http://www.w3.org/2001/XMLSchema" xsi:type="xsd:unsignedSho
rt">2811</ns1:port>
</ns1:ftpServer>
<ns1:mapping xsi:type="ns1:FileSystemPathMappingType">
<ns1:jobPath xmlns:xsd="http://www.w3.org/2001/XMLSchema" xsi:type="xsd:string">
/</ns1:jobPath>
<ns1:ftpPath xmlns:xsd="http://www.w3.org/2001/XMLSchema" xsi:type="xsd:string">
/</ns1:ftpPath>
</ns1:mapping>
</ns1:map>
:
最後に、GridVM スケジューラのインストールディレクトリが削除されていることを確認
する。
6.1.5. アンインストールに失敗した場合の対処方法
z
アンインストールスクリプトの実行が失敗した場合
→ GridVMスケジューラログファイル、および6.1.4節で記述したGlobus Toolkit
のインストールディレクトリに作成されるGridVM関連のファイルを手動で削除す
る。
6.1.6. アンインストール後の作業
なし
6.2. GridVMエンジンのアンインストール
6.2.1. アンインストールの概要
計算ノード上の GridVM エンジンをアンインストールする。
68
管理者ガイド NAREGI Middleware GridVM
各計算ノードの syslogd 設定ファイル（/etc/syslog.conf）及び sudo 設定ファイル
（/etc/sudoers）から GridVM のエントリを削除し、GridVM エンジンのインストールディレ
クトリ（/engine_inst_Dir /）を削除する。
6.2.2. アンインストール前の作業
計算ノードが複数ある場合、可能であればroot権限でのrshを許可する。この際、計算ノ
ード定義ファイル(/engine_inst_Dir /etc/nodes)が存在しない場合は、2.2.3節を参照してこれ
を作成する。
6.2.3. アンインストール
GridVMエンジンの起動・停止（5.2節参照）を行う計算ノードにおいて、GridVMエンジ
ンのインストールディレクトリ下で、root権限でアンインストールスクリプトuninstall.shを
実行する。計算ノードが複数あり、アンインストール時にroot権限でrshが実行できない場合
は、アンインストールスクリプトを全計算ノードで実行する。アンインストールスクリプト
の実行は以下のように行う。
uninstall.sh [--sudoers=SUDOERS] [-y]
--sudoers=SUDOERS
sudo の 設 定 フ ァ イ ル パ ス を “ SUDOERS ” に 指 定 す る 。 規 定 値 は
“/etc/sudoers”である。
--y
バッチモードでアンインストールを実行する。規定値はインタラクティブモード
である。
※ ここでは計算ノードとして“pbg1008.naregi.org”、“pbg1009.naregi.org”、
“pbg1010.naregi.org”、“pbg1011.naregi.org”が定義されていたものとする。
# ./uninstall.sh -y
Settings:
GridVM engine hosts
pbg1011.naregi.org
sudoers file path
: pbg1008.naregi.org pbg1009.naregi.org pbg1010.naregi.org
: /etc/sudoers
[pbg1008.naregi.org]
mdifying /etc/sudoers ...
[pbg1009.naregi.org]
mdifying /etc/sudoers ...
69
管理者ガイド NAREGI Middleware GridVM
[pbg1010.naregi.org]
mdifying /etc/sudoers ...
[pbg1011.naregi.org]
mdifying /etc/sudoers ...
Completed.
Please remove /usr/local-d/GridVM/engine on all of GridVM engine hosts.
#
全計算ノードにおいて、GridVM エンジンのインストールディレクトリを削除する。
※ ここでは /usr/local-d/GridVM/engine 下に GridVM エンジンをインストールしたもの
とする。
# rm -rf /usr/local-d/GridVM/engine
#
6.2.4. アンインストール結果の確認
アンインストールスクリプトの実行の結果、各計算ノードの sudo 設定ファイル内の
GridVM エンジンに関するエントリが削除されていることを確認する。それぞれの内容は下
記のようなものである。
※ 以下の例では、GridVM エンジン実行ユーザを globus としており、計算ノードの一つ
である pbg1008.naregi.org 上の sudo 設定ファイルを参照しているものとする。
[Linux 環境]
:
globus ALL=NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_wrapper
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_kill
pg
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/ckpt.*
:
[AIX 環境]
:
globus ALL=NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_wrapper
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_kill
70
管理者ガイド NAREGI Middleware GridVM
pg
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/gvm_getc
time
globus ALL=(ALL) NOPASSWD: /usr/local-d/GridVM/engine/pbg1008.naregi.org/bin/ckpt.*
:
全計算ノードについて GridVM エンジンのインストールディレクトリが削除されている
ことを確認する。
6.2.5. アンインストールに失敗した場合の対処方法
z
アンインストールスクリプトの実行が失敗した場合
→ 以下の点を再確認し、GridVM エンジンのインストールディレクトリ下にお
いて root 権限でアンインストールスクリプトを再実行する。
‹ 計算ノードが複数あり、root 権限での rsh を可能にしてアンインストールスク
リプトを実行した場合、計算ノード定義ファイル（/engine_inst_Dir
/etc/nodes）に記述されているホスト名が、全て“hostname”コマンドが返却
する形式で正しく記述されているか。
-bash-2.05b$ cat /usr/local-d/GridVM/engine/etc/nodes
pbg1008.naregi.org
pbg1009.naregi.org
pbg1010.naregi.org
pbg1011.naregi.org
-bash-2.05b$ hostname
pbg1008.naregi.org
-bash-2.05b$
‹ 計算ノードが複数あり、root 権限での rsh を可能にしてアンインストールスク
リプトを実行した場合、計算ノード定義ファイルに記述されている全ノードに
ついて、root 権限での rsh が可能になっているか。
-bash-2.05b$ su Password:
# rsh pbg1008.naregi.org echo ok
ok
# rsh pbg1009.naregi.org echo ok
ok
# rsh pbg1010.naregi.org echo ok
ok
71
管理者ガイド NAREGI Middleware GridVM
# rsh pbg1011.naregi.org echo ok
ok
#
6.2.6. アンインストール後の作業
必要であれば、アンインストール前に行った root 権限での rsh を許可する設定を元に戻
す。
また、必要であれば GridVM エンジンの実行ユーザアカウントを削除する。
72

レターズ - 分子科学研究所

Document 5398685

詳しく - 西華デジタルイメージ株式会社

ジュニアTA募集中！ - 東京大学農学生命科学図書館

NAREGIミドルウェア

走り出した 「テレマティックスサービス」

MT Plus - 日本発明資料

科学計算用ベクトル計算機及び高速計算機の利用について

印刷用PDFファイルダウンロード