仕様書 - 量子科学技術研究開発機構

Helios計算機の一部システム再構築
仕様書
平成２８年９月
国立研究開発法人量子科学技術研究開発機構
六ヶ所核融合研究所ＢＡ計画調整グループ
1. 件名
Helios 計算機の一部システム再構築
2. 数量
1式
3. 目的及び概要
量子科学技術研究開発機構（以下「量研機構」という）六ヶ所核融合研究所では、
日欧共同の幅広いアプローチ活動の一環として、国際核融合エネルギー研究セン
ターにおいて大型並列計算機 Helios を運用し磁場閉じ込め核融合の研究開発を行
っている。Helios 運用終了後、Helios 計算機を用いて開発された数値計算コード
群、およびそれらにより得られた成果を活用し、核融合原型炉の実現に向けた研
究開発を推進するため、Helios の一部システムについて再構築を行う必要がある。
本件は、Helios 計算機の一部システム再構築に必要な機器の調達、およびシステ
ムの再構築に関する仕様を定めるものである。
4. 納期
平成29年3月17日
5. 納入場所
六ヶ所核融合研究所
計算機・遠隔実験棟
6. 仕様
大型並列計算機 Helios は、本体システム（計算ノード 4500 ノード）
、増強システ
ム（MIC ノード 180 ノード、GPU ノード 6 ノードを含む）
、ストレージ機器、管理
ノード等で構成されている。Helios 本体システムは平成 29 年 1 月に撤去予定であ
るが、Helios 上で開発・検証された数値計算コード群、およびそれらを用いて得
られた成果を活用し、核融合原型炉の研究開発を推進するため、Helios システム
の一部（機器の詳細は別紙１を参照）については再利用し、構成を変更、再構築
する。
現在 Helios 計算機を利用しているユーザが支障なく利用できるよう、コード開
発環境やジョブスケジューラなど再構築システムの利用環境は、現行 Helios の利
用環境を維持することが必要である。再構築されるシステムの要件は以下のとお
りである。
6.1. ハードウェア
（1）計算ノード
Helios の増強システム部（MIC ノード 180 ノード、GPU ノード 6 ノード）を再
利用し、それらを用いた並列計算が可能となるよう設定すること。
（2）管理ノード、ログインノード、IT ノード
① Helios の管理ノード 5 台、ログインノード 8 台、IT ノード 7 台を再利用
し、システムの監視・管理が可能となるよう再構築すること。
② 管理ノードはフェイルオーバーを利用し冗長化すること。
③ 管理ノード上に Atos 社製ツール Bull System Manager HPC edition をイ
ンストールし、データベースを利用したクラスタ管理、rpm パッケージの
配布、更新、管理を行うこと。
④ IT ノードを用い、Wiki サーバ、RT（RequestTracker）サーバ、メールサ
ーバ、メーリングリストサーバ、DNS サーバ、Proxy サーバ、LDAP サーバ、
syslog サーバ、バックアップサーバを構築すること。
⑤ LDAP サーバによりユーザ情報を管理できるよう設定し、ユーザがネット
ワークを介してログインできる環境を整えること。
⑥ ログインノードにおいてユーザ管理設定、およびセキュリティ対策を施す
こと。
（3） I/O ノード、ストレージ機器
① Helios の I/O ノード、ストレージ機器を再利用し、各計算ノードからス
トレージ機器にアクセスできるよう設定すること。
② Lustre ファイルシステムを利用し構築すること。
③ Lustre ファイルシステムの MDS、OSS は冗長化構成とし、1 台が故障した
としてもファイルシステムの利用が中断しないようにすること。
（4）階層型ストレージ管理機器・テープライブラリ
Helios の階層型ストレージ管理機器、テープライブラリを再利用し、SGI DMF
を使って階層型ストレージシステムが利用可能となるよう設定すること。
（5）ネットワーク
① 全ノードを接続する Infiniband スイッチを必要数新規導入すること。本
Infiniband スイッチは 56Gbps 以上の通信速度で 36 ポート以上のポート
数を有し、併せて新規導入する InfiniBand ケーブルにより、計算ノード
や、その他管理ノード等を結合すること。ネットワークトポロジとしては、
フルバイセクションバンド幅で結合されるノードグループを複数構築し、
グループ間については、フルバイセクションバンド幅の 33%（1/3）以上
で結合すること。
② 全ノードを接続するイーサネットスイッチを必要数新規導入すること。本
イーサネットスイッチは量研機構ネットワークと接続し、セキュリティポ
リシーは量研機構管理者から指定された設定に準拠すること。
6.2. 管理・制御プログラム等
（1）オペレーティングシステム
Red Hat Enterprise Linux OS に、Atos 社製ハードウェアに準拠しているパ
ッケージを適用した OS を再構築し、MIC ノード、GPU ノード、およびその他必
要となるノードを構築すること。
（2）ジョブ管理機能
① バッチジョブ処理を行うためのソフトウェアとして slurm をインストー
ルし設定すること。
② 量研機構より指定したジョブクラスを設定し、実行できるようにすること。
③ 複数の計算ノードを 1 つのジョブで占有実行できること。
④ キュークラス毎にユーザの使用権限を設定できること。
⑤ キュークラス毎に各ジョブが消費する資源量（CPU（コア）時間、経過時
間、メモリ量）を制限できること。
⑥ ジョブの終了をメールでユーザに通知できること。
⑦ ユーザがジョブの状態（ジョブ ID、ユーザ ID、キュークラス、ジョブの
状態、コア数、使用メモリ、経過時間、CPU（コア）時間）を確認できる
こと。
⑧ インタラクティブ処理用ノードとバッチ処理用ノードに分けて運用でき
ること。
⑨ 大規模並列ジョブの CPU（コア）リザーブ中にジョブ実行開始予定時間を
遅らせることなく、その空き CPU（コア）を利用して他の実行待ち並列ジ
ョブを優先実行させるバックフィル機能を有すること。
（3）ユーザ管理機能
① ログイン中またはジョブ実行中において、
利用期限または利用可能 CPU
（コ
ア）時間を超過した場合、次のログイン時にユーザの利用権を、次のジョ
ブ投入時にジョブ実行権を自動的に失効できる機能を有すること。
② 各ユーザは、利用期限、累積 CPU（コア）時間及びディスク使用量を一覧
形式で確認できること。
③ 定期保守等のためにユーザのログインを一時的に制限できること。
④ ログインシェルには、sh、csh、bash、tcsh を選択できること。
⑤ LDAP によるユーザ管理機能を有すること。
（4）ファイル管理機能
① 磁気ディスク装置上のファイルシステムは、複数の計算ノードから複数の
I/O ノードを経由して 1 つのファイルを MPI-IO 及び並列入出力機能によ
ってアクセスできること。このファイルシステムは Lustre ファイルシス
テムを利用して構築すること。
② 磁気ディスク装置上の Lustre ファイルシステムは、quota に対応するこ
と。
③ 磁気ディスク装置上のファイルシステムは、一部の計算ノードまたは I/O
ノードが故障した場合でも、当該ノード以外からは、正常にファイルアク
セスが継続できるよう、フェイルオーバー機能を有すること。
④ ワーク用領域に置かれたファイルは、一定期間経過後、ユーザへ警告メッ
セージを電子メールで促し、ディレクトリ毎に、参照日付の古いファイル
を量研機構と取り決めた計画に沿って適時一括して削除できること。
（5）ネットワーク機能
① 標準的な TCP/IP プロトコルに基づくネットワーク機能(ssh、sftp、NFS、
mail 等)を有すること（ログインノード）
。
② X11R6 以上の X-Window システムを有すること（ログインノード）
。
③ 量研機構が指定する NTP サーバに 1 日 1 回アクセスして自動的に時刻補
正を行うよう設定すること。
（6）セキュリティ機能
① セキュリティ関連の事象を監査記録し、システム管理者にメールで通知で
きること。
② ACL 機能により、ファイルアクセス権を設定できること。
③ iptables 相当のアクセス制限機能を有すること（ログインノード）
。
（7）運転管理機能
ユーザ管理、システム稼動状況が一元的に管理運用できること。
6.3. プログラム開発環境
（1）コンパイラ
① Fortran/C/C++コンパイラとして、インテル Parallel Studio XE Cluster
Edition for Linux をフローティングライセンスで商用版 5 ライセンス以
上を新規導入すること。
② GPU ノード用コンパイラとして、PGI コンパイラをフローティングライセ
ンスで商用版 1 ライセンス以上を新規導入すること。
（2）並列計算環境
① Bullx MPI、Intel MPI、OpenMP により並列化されたコード、およびハイ
ブリッド並列化されたコードが、上記コンパイラでコンパイルすることが
でき、コンパイルされたコードが MIC システム 1 万コア以上を利用して動
作する環境を備えること。
② OpenACC/CUDA により並列化されたコードが、上記コンパイラでコンパイ
ルすることができ、コンパイルされたコードが GPU システム 18GPU
（3GPU/GPU ノード x6）を利用して動作する環境を備えること。
（3）バックアップソフトウェア
① Netbackup 相当以上のバックアップソフトウェアを新規導入すること。
② 管理ノードおよび IT ノード上のファイルを磁気テープライブラリ装置へ
自動的にバックアップ（フルバックアップ、差分バックアップ）できるこ
と。
（4）フリーソフトウェア
量研機構より指定したフリーソフトウェアのインストールに協力すること。
（5）グラフィックソフトウェア
Helios の可視化ノードで運用している IDL、MATLAB、AVS/Express Viz のラ
イセンスを移し、これらが利用できる環境構築を行うこと。
6.4. 設置要件等
（1）本契約には、据付配線作業を含めること。
（2）本契約には、据付配線作業において再構築システムを接続するため必要となる
ケーブル及びその配置、配線、調整等の作業を含めること。
（3）本契約には、再構築システムで必要となるネットワークの構築及び既設機器へ
の接続・調整、各機器の動作確認の作業を含めること。なお、既設機器(ギガビ
ットイーサネットスイッチ等)への接続にあたっては、量研機構と協議の上、そ
の指示に従うこと。
（4）搬入、据付、設置、調整等の作業は、量研機構の業務に支障をきたさないよう、
担当者と協議の上その指示に従うこと。
（5）計算機・遠隔実験棟 2 階計算機室での、搬入、据付、設置、調整等の作業は、
Helios 本体システム撤去後（2 月中旬以降）に行うこと。
再利用する機器の位置は、別紙 2 のとおり計算機・遠隔実験棟 2 階計算機室内
に分散しているので、これらを集約して配置すること。
6.5. マニュアル
システム管理者向けに具体的なシステム操作手引書及びシステム環境設定書
を作成して電子媒体で提供すること。
7. その他
7.1. 再構築作業に関する留意事項
受注者は、再構築の作業工程表、附帯設備等の施工方法、再構築システムのレ
イアウト、体制及び作業等について量研機構と事前に協議を行うこと。協議結果
は「作業計画書」にまとめて量研機構に提出し、各作業等の開始前に確認を得る
こと。なお、再構築作業は全て受注者側にて実施すること。また、再構築作業の
実施に際しては、下記の諸法規則並びに量研機構の定める諸規程等に準拠して行
うこと。
① 電気事業法
② 量研機構の定める電気工作物保安規程
③ 量研機構の定める電気作業要領書
④ 労働安全衛生法
⑤ 量研機構の定める安全衛生管理規則
⑥ 消防法
⑦ 量研機構の定める情報セキュリティ関連規程等
材料置場及び現場事務所の設置をする場合は、あらかじめ量研機構と打合せ許可
を得るものとする。仮設物設置等の敷地は無償貸与とする。また、作業用電力及
び水（現場事務所での利用も含む）は無償とする。
7.2 契約後の検査に関する留意事項
（1）員数検査、外観検査、据付配線検査
再構築システムが本仕様書の通り納入及び設置されていることを検査する。
（2）性能検査
再構築されたシステムにおいて、LINPACK ベンチマークを用いた性能検査を
行う。このベンチマークにより、全 MIC ノードを用いた性能検査、全 GPU ノー
ドを用いた性能検査をそれぞれ実施する。これらに加えて、Helios で動作して
いる、MPI/OpenMP を用いてハイブリッド並列化されたユーザーコード（R5F）
を、計算ノードで実行し動作を確認する。
7.3 契約後の提出書類に関する留意事項
本契約において、必要な提出書類を以下に示す。
提出書類は定められた期限までに必要部数を提出することとする。
(提出書類)
① 作業計画書（作業開始前）
4 部
② 検査要領書（納入時検査前）
4 部
③ 検査成績書（納入時検査後速やかに）
4 部
④ 機器構成表（納入時）
4 部
⑤ その他必要な書類（その都度）
4 部
7.4 費用に関する留意事項
搬入、現地調整、附帯設備作業等の導入諸経費、既設機器との接続・動作確認に
要する全ての費用は受注者の負担とする。
7.5 秘密保持義務に関する留意事項
受注者は、本作業により知り得た量研機構のプログラム及びデータ等に関する情報
及び量研機構の内部情報を量研機構の許諾なくして第三者に漏洩してはならない。
7.6 協議事項に関する留意事項
本仕様書に記載されている事項及び本仕様書に記載のない事項について疑義が生じ
た場合は、量研機構と協議のうえ、その決定に従うものとする。
以上
別紙１：再利用する製品の詳細

管理ノード
BULL bullx S6030（数量 5）
- Intel Westmere E7 4870（2.4GHz）x 4
- 128GB memory（4GB DDR3@1067MHz x 32）
- 300GB 2.5" 10Krpm SAS x 2

IO ノード
BULL bullx R423-E2（数量 56）
- Intel Westmere EP X5650（2.66GHz）x 12
- 96GB memory（4GB DDR3@1333MHz x 12）
- 300GB 2,5" 15Krpm SAS x 2

ログインノード
BULL bullx R424-F3（数量 8）
- Intel(R) Xeon(R) CPU E5-2680（2.70GHz）x 2
- 128GB memory（16GB DDR3@1600MHz x 8）
- 500GB SAS x 2

IT ノード
BULL bullx R423-E2（数量 7）
- Intel(R) Xeon(R) CPU X5650（2.67GHz）x 2
- 24GB memory（4GB DDR3@1333MHz x 6）
- 2TB SATA x 1

MIC ノード
BULL bullx B515（数量 180）
- Intel(R) Xeon(R) CPU E5-2450（2.10GHz）x 2
- 48GB memory（8GB DDR3@1600MHz x 6）
- 128GB 1.8" SSD SATA
- Intel® Xeon Phi™ Coprocessor 5110P x 2

GPU ノード
BULL bullx R421-E4 K80（数量 6）
- Intel(R) Xeon(R) CPU E5-2650 v3（2.30GHz）x 2
- 128GB memory（16GB DDR4@2133MHz x 8）
- 240GB 2.5" SSD SATA x 2
- NVIDIA Tesla K80 GPU Accelerator x 3

GPU 管理ノード
BULL bullx R421-E4（数量 1）
- Intel(R) Xeon(R) CPU E5-2640 v3（2.60GHz）x 2
- 128GB memory（16GB DDR4@2133MHz x 8）
- 1TB SATA x 2

ストレージ機器
DDN SFA10K-X（数量 26）
NetApp FAS6000（数量 1）
EMC CX4-240（数量 1）

テープライブラリ
IBM TS3584 Tape Library（数量 1）
IBM TS1050 Tape Drive（数量 18）

HSM(Hierarchical Storage Management:階層型ストレージ管理)
SGI CH-1103-RK-TY12-2R（数量 6）
- Intel(R) Xeon(R) CPU E5540（2.53GHz）x 2
- 24GB memory（4GB DDR3@1066MHz x 6）
- 500GB x 2
SGI InfiniteStorage 5000 (数量 1)
SGI InfiniteStorage 16000 (数量 2)
EMC CX4-120 (数量 1)
G
F
E
D
C
B
A
• MICノード
• ITノード
• NetApp
• GPUノード
• GPU管理ノード
• 管理ノード
• ログインノード
• EMC
• ストレージ機器
• IOノード
再利用する機器の現在の配置（計算機遠隔実験棟2階計算機室）
再利用する機器の現在の配置（計算機・遠隔実験棟2階
• テープライブラリ
• HSM
別紙２

Download Report