13 マルチフェーズフィールド法を用いた金属多結晶組織形成シミュレーションの大規模 GPU 計算 Multi-GPU Computation of Multi-phase Field Simulation of the Evolution of Metallic Polycrystalline Microstructure 量子モンテカルロ法に基づく振動状態解析の大規模並列計算 A Large-scale Parallel Computation for Vibrational State Analysis Based on Quantum Monte Carlo method 個別要素法による粉体の大規模シミュレーション Large-scale DEM Simulations for Granular Dynamics マルチフェーズフィールド法を用いた金属多結晶組織形成シミュレーションの大規模 GPU 計算山中晃徳 *　岡本成史 **　下川辺隆史 ***　青木尊之 *** * 東京農工大学大学院工学研究院先端機械システム部門　** 東京農工大学大学院工学府機械システム工学専攻　*** 東京工業大学学術国際情報センター金属材料の内部で生じるミクロな多結晶組織形成のシミュレーション法として注目されているマルチフェーズフィールド（ MPF ）法を複数の GPUで高速かつ大規模に並列計算する方法を開発した。本稿では、数値計算と並列処理のためのデータ通信を非同期実行するためのオーバーラッピング法を導入した MPF 法の計算手法を紹介する。さらに、開発した GPU 計算手法による多結晶粒成長の大規模 3 次元シミュレーションをGPUスーパーコンピューター TSUBAME2.5 に実装し、良好な実行性能が得られたことを示す。はじめに 1 演算とデータ通信を非同期に行うアルゴリズム）と、それを東京工業大学学術国際情報センターの GPUスーパーコンピューター TSUBAME2.5 に実装して実施した、金属多結晶組織形成の大規模 3 次元シミュレーションを紹介し、我々が開発したGPU 計算法の実行性能評価を示す [4] 。地球環境に与える負荷の低減のために、ハイブリッド自動車などの燃費の良い自動車の開発が活発である。自動車の燃費をさらに向上させるためには、エンジンやモーターの効率向上の他に、車体の軽量化も重要な技術課題とされている。自動車車体の軽量化は、使用する金属板材を薄肉化することにより可能であるが、衝突安マルチフェーズフィールド法全性を確保するために強度も高めることが必要とされる。しかし 2 一般には、金属材料は強度を高めると加工性は低下する。すなわち、薄くプレス加工する際に割れ易くなる。そのため従来の材料研究本研究で使用したMPF 法は、1999 年にSteinbachらによって提案開発では、絨毯爆撃的な実験を行い、材料の特性を支配する材料された [1] 。MPF 法は、次式で表される材料の全自由エネルギーが内部のミクロな構造の空間分布や形態を制御するための適切な合単調に減少するようにミクロ組織形成が進行するとの仮定に基づ金組成や製造プロセスを見つけ出す努力を重ねてきた。しかし近いている。年では、材料研究開発の国際競争が激化しており、如何にして効率良く、無限の組み合せが存在する合金元素や製造プロセスの中から、所望の特性を具備する材料を作るための条件を見つけ出すかが極めて重要となっている。ルギーと呼ばれる。W ij や a ij は界面エネルギーや界面幅に関係づけ縮するために、計算材料学に基づく数値シミュレーションによりられるパラメータである。　（ r, t ）は、フェーズフィールド変数と材料のミクロ組織や特性を予測する計算技術の開発が世界的に活呼ばれ、異なる N 個の結晶粒からなる系を考えたとき、空間座標 r 発となっている。その中でも、材料中のミクロ組織を予測するたと時間 t において、ある i 番目（ i = 1 ~ N ）の結晶粒が存在する確率めの強力な数値シミュレーション方法としてフェーズフィールドを表す。したがって、たとえば番号 1 の結晶粒（結晶粒 1 と呼ぶ）法が注目されている。特に、実用金属材料のほとんどで観察されが存在する座標では　（ r, t ）= 1 、結晶粒 1 が存在しない座標ではる多結晶構造を有するミクロ組織の形成過程を計算するための方（ r, t ）= 0 と定義する。また、結晶粒 1 と他の結晶粒との界面を法として、マルチフェーズフィールド（ MPF）法 [1] が世界標準とな有限厚さの領域と定義し、そこで 0 から 1 へと滑らかに変化するもりつつある。しかしながら、2011 年にゴードンベル賞を受賞したのと定義する。以下では各変数について、（ r, t ）は省略して記する。通常のフェーズフィールド法を用いた合金凝固の計算 [2] とは異な式（1）に示した全自由エネルギーの時間に対する単調減少を仮り、MPF 法では複雑な非線形項を含んだ複数の偏微分方程式を解定すると、　の時間発展方程式は、Allen-Cahn 方程式より次式でく必要があるため、数値演算とメモリの両面で計算コストが大き与えられる。いことが問題である。そこで我々の研究では、GPUを用いてMPF 法を高速かつ大規模に並列計算する技術を開発している。本稿では、MPF 法を多数の GPUを用いて計算するために必要なオーバーラッピング法 [3]（数値 02 ここで、右辺第 1 項はポテンシャルエネルギー、第 2 項は勾配エネこれに対して現在では、材料開発のコストや期間を飛躍的に短ここで、n は任意座標において非零となるフェーズフィールド変数の個数、　はフェーズフィールド変数の変化を規定するモビリ３．２　領域分割ティーである。 MPF 法を複数のGPUで計算するために、全計算領域を複数のサブなお数値シミュレーションにおいては、式（ 2）に示す　の偏微領域に分割し、各サブ領域の計算にCPUとGPUを 1 基ずつ割り当分方程式を時間と空間について離散化し、3 次元直交格子上でスてる、領域分割法を採用した。例えば、図 1 に示すように、NX × テンシル計算を行う。本研究では、空間微分は 2 次精度の有限差 NY × NZ 個の差分格子からなる全計算領域を 3 次元分割により x 、分法、時間積分は 1 次精度のオイラー法を用いて計算した。 y 、z 方向にそれぞれ X 、Y 、Z 分割する場合には、サブ領域に含まれる差分格子点は NX /X × NY /Y × NZ /Z 個となる。本研究では、ステンシル計算を行う為、隣接するサブ領域間のデータ通信が必要 MPF 法の複数 GPU 計算 3 となる。そのため、各サブ領域の x 、y 、z 方向の端面に境界領域を作成する。すなわち、サブ領域の x 、y 、z 方向の端に、それぞれ 1 × NY × NZ 、NX × 1 × NZ 、NX × NY × 1 の境界領域を作成する。境界領域のデータ通信には、MPI を用いる。なお、本研究で実施した実行性能の評価では、全計算領域サイズを変えるごとに、1 次元分割、2 次元分割および 3 次元分割でテスト計算を実施し、実行性能３．１　Active Parameter Tracking 法が最も高い領域分割方法を採用した。本研究で用いたMPF 法では、N 個すべての結晶粒ではなく、任意座標に存在する n 個の結晶粒に対応する　についてのみ時間変化３．３　スレッドブロックの設定を計算すればよい。したがって、N 個すべての　の値や結晶粒番 GPUの性能を十分に発揮させてシミュレーションを行うためには号 i の値をメモリ上に保存しておく必要はない。そこで本研究では、スレッドおよびブロックの割当て方法が非常に重要となる。本研メモリ効率化手法としてActive Parameter Tracking（ APT）法を究では、図 2 のように、サブ領域の格子点数が nx × ny × nz の場合、用いた [5] 。APT 法の詳細は文献 [5] を参照されたいが、MPF 法で多結 x 、y 方向にそれぞれ X ’ 、Y ’に分割した。つまり、サブ領域を nx /X ’ 晶組織形成の 3 次元シミュレーションを高速に行うためには、メ × ny /Y ’ × nz の小領域に分割し、nx /X ’ × ny /Y ’ × 1 のスレッドブモリアクセス数やデータ通信量を低減するためにも、APTの利用ロックが z 方向に nz 回移動するように計算した。スレッドとブロッは必須である。本稿では、APT 法の処理のうち隣接差分格子点のクの割り当て数については、計算領域サイズや領域分割数に応じデータを必要としない処理をAPT1 、隣接差分格子点のデータを必て、試行錯誤により最適値を決定した。要とする処理をAPT2 と記する。図 1 3 次元分割による計算領域の分割 03 マルチフェーズフィールド法を用いた金属多結晶組織形成シミュレーションの大規模 GPU 計算図 3 オーバーラッピング法の計算ダイアグラム図 2 スレッドブロックの設定 GPU スーパーコンピューター TSUBAME2.5 における実行性能評価３．４　オーバーラッピング法 4 複数のGPUとCPUを用いて並列計算する場合、並列数を増やすほど境界領域のデータ通信のオーバーヘッドが発生し、実行性能が低下する。そこで本研究では、CUDAの複数カーネルの非同期実４．１多結晶粒成長シミュレーション行機能とGPU-CPU 間の非同期通信機能およびこれらの同時実行本研究で開発したMPF法の複数GPU計算法のベンチマークとして、機能を利用して、数値演算とデータ通信をCPUとGPUの両方で同東京工業大学学術国際情報センターのGPUスーパーコンピュー時に実行し、オーバーヘッドを隠蔽するためのアルゴリズム(オーター TSUBAME2.5 において、多結晶粒成長の大規模 3 次元シミュバーラッピング法 )を開発した。レーションを実施し、実行性能の評価を行った。実行性能の評価は、図 3 に、オーバーラッピング法を適用したMPF 法の計算ダイアすべて単精度計算にて行った。グラムを示す。本方法では、GPUで行う計算を 4 つのストリーム図 4 に、TSUBAME2.5 で計算した多結晶粒成長シミュレーション（ Stream 1 ~ Stream 4）として用意する。まず、Stream 1 では、各の結果の一例を示す。この例では、0.512 3 mm 3 の計算領域を GPU に割り当てられたサブ領域内部に対して式（ 3）の時間発展方 1024 3 の規則差分格子で分割し、256 台のGPUを用いて計算した。程式の計算とAPT1 の処理を行う。これと並行して、Stream 2 ~ 初期結晶粒数は 32768 個であり、図 4 では各結晶粒に異なる色を Stream 4 では、境界領域に対して式（ 3）の時間発展方程式の計算付けて多結晶粒組織を可視化した。多結晶粒成長は、金属材料のを行う。Stream 2 ~ Stream 4 での計算が終わり次第、GPUのグロー強度を調節するために行われる熱処理（焼鈍）などで生じる現象でバルメモリにある計算結果をCPU 側のホストメモリへ転送する。あり、その際に観察される結晶粒の粗大化と収縮して消滅する挙ここでは、CUDAの非同期通信関数（cudaMemCpyAsync ）を用いる。動を良好に再現できている。このシミュレーションのような大規一方、CPU は 1 計算ステップ前に計算され GPU のグローバル模な計算領域で、かつ非常に多数の結晶粒で構成されるミクロ組メモリ上にある境界領域の計算結果をcudaMemCpyAsyncによ織の変化を考慮したシミュレーションを行うことで初めて、正しいりホストメモリへ転送した後、Stream 2 ~ Stream 4 の処が完了多結晶組織の統計学的評価（例えば、結晶粒サイズの平均値の変するのを待機する。Stream 2 ~ Stream 4 の処理が完了すれば、化やその分布の評価）が可能となる。境界領域について APT 1 と APT 2 の処理とそれに必要なデータ図 4 で示したような、多結晶粒成長シミュレーションの実行性通信を行う。以上の処理により更新された境界領域のデータを能を評価するために、1GPUで計算する差分格子点数を 256 3 、結 cudaMemCpyAsyncによりGPUのグローバルメモリへ転送する。晶粒数を 512 で一定とし、使用するGPU 数を変えることで計算領 CPUでの計算とデータ通信、および全てのStreamの実行完了を域サイズを大きくした際の浮動小数点演算性能（ FLOPS）の変化確認してから、GPUが境界領域に対してAPT 2 の計算とデータ更を評価した。この評価により、弱スケーリング性能を評価するこ新を行い、1 計算ステップが完了する。なお、ホストメモリ上のデーとができる。図 5 に、弱スケーリング性能の評価結果を示す。オータ更新は、Stream 1 ~ Stream 4 を実行している間に行うことがでバーラッピング法を導入せずとも、FLOPS 値はGPU 数に比例してきる。増加しており、良好なスケーリング性能が得られているが、オー [4] バーラッピング法を導入すれば、実行性能は全体的に 3 ~ 4 倍は向上する。この結果、GPU 数を 729 、差分格子点数を 23043 、結晶粒数を 373248 とした計算では、実行性能は 1.9 TFLOPSとなった。 04 次に、計算領域サイズと結晶粒数は一定とし、領域分割数（GPU 数）を変化させてシミュレーションを実施した際のFLOPS 値の変化、すなわち強スケーリング性能を評価した。ここでは、2563 差分格子点の計算領域に含まれる結晶粒数を 512 で一定とし、計算領域を 2563 、5123 、10243 差分格子点とした。図 6 に、強スケーリング性能の測定結果を示す。基本的には、どの計算領域サイズを用いてもGPU 数の増加によりFLOPS 値は線形に増加し、良好な強スケーリング性能が得られているが、2563 差分格子点の計算領域を 128GPUで計算した場合のように、設定した計算領域に対してGPU 数が過多となると、実行性能が低下する。これは、GPUで行う計算時間がCPUで行うデータ通信などの処理に要する時間よりも短くなることで、オーバーラッピング効果が得られなくなったためである。しかしながら、計算領域を 5123 および 10243 差分格子とした計算では、GPU 数が 100 を超えても良好なスケーラビリティが得られることがわかる。図4 TSUBAME2.5 で計算した多結晶粒成長シミュレーションの結果。差分格子点数は 1024 3 であり、 256GPU を使用した。結晶粒ごとに異なる色を付けて多結粒組織を可視化した。図 6 多結晶粒成長シミュレーションの MPF 法の複数 GPU 計算の強スケーリング性能。図 5 多結晶粒成長シミュレーションの複数 GPU 計算の弱スケーリング性能。 05 マルチフェーズフィールド法を用いた金属多結晶組織形成シミュレーションの大規模 GPU 計算おわりに 5 MPF 法を用いて、金属材料中の多結晶組織形成の高速かつ大規模なシミュレーションを行うために、複数のGPUで並列計算する方法を開発した。本稿では、開発した計算法をGPUスーパーコンピューター TSUBAME2.5 に実装し、多結晶粒成長の大規模 3 次元シミュレーションを行い、優れた実行性能を得られることを示した。現代の材料制御技術を利用しても、実験的な研究開発を繰り返して、所望の結晶粒サイズを得るための最適条件を決定することは時間のかかる作業となる。我々が開発した MPF 法の複数 GPU 計算法により、金属多結晶組織の変化を効率的かつ高精度に解析可能となれば、材料開発期間の短縮、実験コストの削減に大きく貢献できるものと期待している。謝　辞本研究は、平成 25 年度および平成 26 年度の学際大規模情報基盤共同利用研究・共同研究拠点の支援のもと行ったものである。関係者の皆様に感謝申し上げる。また、本研究の一部は、科学研究費補助金・挑戦的萌芽研究（課題番号 25630322 ）から支援を頂いた。記して謝意を表す。参考文献 [1] I. Steinbach, F. Pezzola: A Generalized field method for multiphase transformations using interface fields, Physica D, Vol. 45, pp.385-393 (1999) [2] T. Shimokawabe, T. Aoki, T. Takaki, A. Yamanaka, A. Nukada, T. Endo, N. Maruyama, S. Matsuoka: Peta-scale phase-field simulation for dendritic solidification on the TSUBAME2.0 s u p e r c o m p u t e r, P r o c e e d i n g s o f t h e 2 0 1 1 A C M / I E E E International Conference for High Performance Computing, Networking, Storage and Analysis, SC’11, IEEE Computer Society, Seattle, WA, USA, (2011) [3] 岡本成史 , 山中晃徳 , 下川辺隆史 , 青木尊之 : マルチフェーズフィールド法による多結晶粒成長シミュレーションの複数 GPU計算, 日本計算工学会論文集, Vol. 2013, p.20130018 (2013) [4] A. Yamanaka, M. Okamoto, T. Shimokawabe, T. Aoki: Large scale 3 D multi-phase-field simulation of microstructure evolution using TSUBAME 2 . 5 GPU-supercomputer, Proceedings of 2nd. International Congress on 3D Materials Science, The Minerals, Metals & Materials Society, pp.59-64, (2014) [5] S. G. Kim, D. I. Kim, W. T. Kim, Y. B. Park: Computer simulation of two-dimensional and three-dimensional ideal grain growth, Phys. Rev. E, Vol. 74, p.061605 (2006) 06 量子モンテカルロ法に基づく振動状態解析の大規模並列計算中山涼太 *　藤岡蔵 **　北幸海 **　立川仁典 ** * 横浜市立大学国際総合科学部　** 横浜市立大学大学院生命ナノシステム科学研究科本稿では、我々が開発した振動量子モンテカルロ（vibQMC ）法、およびその並列化の実装法について概説する。 vibQMCプログラムの並列化率は 99.9981%であり、東京工業大学の TSUBAME2.5スーパーコンピューターシステムを用いたベンチマーク計算（最大 5376 cores）による実行並列化効率は約 91％である。また大規模並列計算の応用事例として、大気中のエアロゾル形成の前駆体となる負イオン核一水和物（ H 3 O 2 - ）に対する振動状態解析の結果についても報告を行う。序論 1 方法 2 量子モンテカルロ（ Quantum Monte Carlo; QMC）法 [1] は乱数を本研究では多原子分子の振動状態解析に、変分モンテカルロ用いた確率論的な量子化学計算手法であり、原子や分子を問わず（ VMC）法とReptation Monte Carlo（RMC）法という２種類の量子適用可能な超高精度第一原理計算の一つである。その中でも拡モンテカルロ法を用いた。本節ではこれら二手法について簡単に散モンテカルロ（Diffusion Monte Carlo; DMC）法は、高精度な変説明を行う。分エネルギーを与えることで知られている。しかしながら、（ i）配置数変動による誤差（population control bias）が不可避、（ii）ハ２．１　変分モンテカルロ（VMC）法ミルトニアンと非可換な演算子の固有値として与えられる物理量 VMC 法では、変分パラメーターを含む任意の試行反動関数　をの計算が困難である、といった問題があり、事実上、DMC 法の適用用いて、次式で定義されるハミルトニアン演算子　（　は範囲は変分エネルギーの解析に制限されている。運動エネルギー演算子、　はポテンシャルエネルギー演算子）の Reptation Monte Carlo（RMC）法 [2] は、DMC 法と同様に虚時間期待値　を考える：発展を利用した高精度な計算手法でありながら、上記の問題を解決することが出来る方法である。しかしRMC 計算は計算コストが大きいため、その適用範囲は水分子 [3] など極めて小さな系に留まっている。本稿では、大規模系に対する RMC 計算の実現に向けて実装した RMCプログラムの並列化の実装案を概説し、東京工業大学の TSUBAME 2.5スーパーコンピューターシステムを用いたベンチここで　は多次元の一般化座標であり、配置あるマーク計算（最大 5376 cores）の結果について報告を行う。また大いは walker と呼ばれる。また　は局所エネルギーで規模並列計算の応用計算例として、大気中のエアロゾル形成の前あり、試行波動関数には実関数を仮定した。（ 1）式はエネルギー駆体となる負イオン核一水和物（H 3 O 2- ）に対する振動状態解析の期待値　が局所エネルギー　の重み付き平均によって算出結果について報告を行う。されることを意味している。VMC 法では、　に従う配置のセットをメトロポリス法 [4] によって生成することでエネルギー期待値の算定を行う。 VMC 法では全エネルギーだけでなく、任意の演算子の期待値を与えることが可能であるが、その計算精度は試行波動関数　の質に強く依存する。多電子系のQMC 計算では、分子軌道計算で得られる単一（ Hartree-Fock 法）あるいは複数（配置間相互作用法）のSlater 行列式にJastrow 因子と呼ばれる相関因子を付与した、 Slater-Jastrow 型試行波動関数を用いることが一般的である。多原子分子の振動状態解析を主目的とした本研究では、試行波動関数には次式で表されるVibrational Self-Consistent Field（VSCF） 07 量子モンテカルロ法に基づく振動状態解析の大規模並列計算型関数 [5] を用いた：を用いた。ここで、　、　は振動モードの換算質量、　は分散　を持つ正規分布乱数、　は drift velocity である。また重みW によるreptileの採択・棄却にはメトロポリスここで　は i 番目の振動モードのmodal functionである。本研法を用いた。究では調和振動子の固有関数の線形結合によってを展開し、十分長い虚時間長　の下、reptile に対して採択・棄却を繰り返 [6] Umrigarらによって開発された線形法を用いて展開係数の最適すことで、 reptile の両端の配置 q（0）、q（）の集合は分布　×　へ、 N （ N /2 ）化を行った。また最適化したVSCF 関数は次節で説明するRMC 法 reptile の中央の配置 q における試行波動関数として用いる。エネルギー期待値などハミルトニアンと可換な演算子の期待値は、２．２　Reptation Monte Carlo（RMC）法は分布　へと収束する。本研究では、分布　×　を用いて次式で定義されるmixed estimatorによって算出した：以下、表記の簡単化のため問題を 1 次元とする。時間依存 Schrödinger 方程式の虚時間発展を利用したQMC 法では、任意の試行波動関数　に虚時間プロパゲータを作用させることで正確な波動関数　を得る：またポテンシャルエネルギーや分子の幾何構造など、ハミルトニここで　は虚時間である。RMC 法では以下に示す仮想的な分配関アンと非可換な演算子に対しては、分布　を直接解析すること数 Z 0 を導入する：で期待値の算定を行った。 3 虚時間ステップを　として虚時間プロパゲータ　をN 個に短時間分解し、二次の短時間近似（ Suzuki-Trotter 分解 [7 ] ）を並列化用いることで、分配関数に対する以下の式を得る：前節で概説したように、QMC 法による物理量の算定では、VMC 法ではwalkerに対して、RMC 法ではreptileに対してメトロポリス法ここで、による多重マルコフ連鎖を発生させる。その際、サンプリング回数が十分多く、計算するサンプルの総量が変わらなければ、その生成方法に寄らず統計学的に等価な結果を得ることができる。したがって、QMCアルゴリズムの並列化に向けた最も単純かつ有効な戦略は、統計的に独立した複数のwalker/reptileを用いた配置空間の同時サンプリングである。具体的には、単一のwalker/reptile を用いてサンプリング数を増やす代わりに、サンプリングに用いるである。q（）は虚時間　における配置であり、各虚時間におけ i walker/reptile 数を増大させる（図 1 参照）。る配置のセットを虚時間 Pathあるいは reptile と呼ぶ。また二次近似として次式を用いている：ただし、　、　、およびである。（5）式において、　は　に従うreptileを生成するプロパゲータ、　はそのreptileの重みと解釈することができる。本研究では、このreptileの生成にLangevin 方程式図 1 マルコフ連鎖の分割の模式図 08 2） RMC 計算では r （R1MC =0.3%となった。これは非並列計算（ 1core）時における処理の内、VMC 計算では 99.9981% が、RMC 計算では 99.975%が並列化されたことに相当する。図 2 並列化 QMCプログラムの概略図本研究では、複数になったマルコフ連鎖を複数のプロセスを用いて並列処理する。並列化された QMCプログラム概略を図 2 に示す。ここでデータ処理用に用意される 1 つのプロセスをマスタープロセス（ Master Process）、マルコフ連鎖の計算を並列的に処理するために用意される 1 つもしくは複数のプロセスがスレーブプロセス（Slave Process ）である。並列化の実装にはMPI（ Message 図 3 VMC 法、RMC 法の Speed up （12 並列時の計算を１とした） Passing Interface ）を用い、ライブラリーにはOpen MPI 1.4.2 を用いた。４．２　負イオン一水和物 H 3 O 2- の解析結果と考察 4 本手法を用いて、大気中のエアロゾル形成の前駆体となる負イオン核一水和物（ H 3 O 2- ）の振動状態解析を行った。H3 O 2- は大気中に存在する負イオン核 OH-に水分子が１つ配位した系である。原子核の量子効果を含めない通常の第一原理計算では、図 4 （ a）に示すように中央のプロトンが片側の酸素原子に寄った構造が最安４．１　並列化効率定となる。しかし、このプロトン移動の遷移状態におけるエネルギー障壁は極めて小さいことから（0.88 kJ/mol）、振動基底状態に本研究では、東京工業大学のTSUBAME2.5スーパーコンピューターおいては中央のプロトンが酸素原子間の中央に位置した遷移状態システム上で、最大 5376プロセス（ 1 process/core × 12 cores/ 構造が最安定構造となることが示唆されている（図 4（b））[10] 。 node × 448 nodes)を用いて、並列化効率に関するベンチマーク本研究では、H3 O2- 及びその重水素化（D）体、三重水素化（ T ）体計算を実行した。ベンチマーク計算に使用した分子系は、正イオンに対して、振動基底状態と中央のプロトン移動に関する振動モー H 3 O + の一水和物 H 5 O 2+ の振動基底状態であり、ポテンシャルエネド（以下、架橋振動）の基音凖位の解析を行った。試行波動関数はルギーにはBowmanらによってCCSD（ T）/ aug-cc-pVTZ レベルの VSCF 波動関数、PESにはHuangらによってCCSD （T ） /aug-cc-pV T Z 第一原理計算を再現するように作成された解析的なポテンシャルの第一原理計算を再現するように作成された解析ポテンシャルを関数 [8] を用いた。用いた [8] 。 12 並列（1node）計算を基準にした際のVMC 計算とRMC 計算の VMC 法とRMC 法によって得られた各系の零点振動エネルギーベンチマーク結果を図 3 に示す。5376 coresを用いた並列計算にお（ ZPE）と架橋振動の基本振動数を表 1 に示す。変分エネルギーでけるspeed up （=Time[12 process] / Time [ N process]）は、VMC 計算あるZPEに注目すると、全ての系においてRMC 法による値がVMC で 4868（= 405.70 × 12 ）倍、RMC 計算では 2307（=192.25 ×12 ）倍法よりも低いことから、RMC 法によって計算精度が改善されていである。各計算における問題サイズは不変（アムダールの法則 [9] ）ることがわかる。また架橋振動の基本振動数の実験値（ H 体）はと仮定し、これらの結果とから両手法の基準計算（12 並列）におけ 697cm -1 と報告されているが、RMC 法は誤差 12 cm - 1 の精度で実る逐次実行部分の割合を見積もると、VMC 計算では r （12） VMC =0.023%、験値を再現している。 09 量子モンテカルロ法に基づく振動状態解析の大規模並列計算各振動状態における水素結合プロトン（ H*）の振る舞い解析す解析で報告されているが、本研究によりD 体・T 体におけるピークるため構造パラメーター δOH* = R O1H* − R O2H* に注目した。ここでの分裂は、主に架橋振動の基音凖位の寄与であることが明らかに R O1H* 、O2H* は図 4（ b）で定義されている２つの OH* 間距離であり、なった。 δOH* = 0 のときH*は酸素原子間の中央に位置することを意味する。 RMC 法から得られた振動基底状態と架橋振動の基音準位におけるδOH* の一次元分布を図 5 に示す。振動基底状態ではH*は酸素原子間の中央に分布しており、同様の振る舞いが先行研究においても報告されている [10,12] 。またD 体、T 体でもD*、T * は酸素原子間の中央に位置しているが、その分布はH 体と比較して局在化している。経路積分分子動力学法を用いたSuzukiらの解析 [12] では、報告されている中で最も低温である 50Kにおいて、D 体とT 体に有意な差は得られていないが、本解析により振動基底状態（ 0 Kelvin）においてT 体の分布は、D 体と比較してわずかに局在化することがわかった。架橋振動の基音凖位においては、波動関数の節構造を反映した結果、δOH* はダブルピーク構造を持つ。２つの分布の内、片側一方に注目すると、その分布は原子核の質量が軽いほど非局在化しており、かつピーク位置は |δOH* | が大きい領域へシフトしている（片側の酸素原子へ寄る）。δOH* = 0 はプロトン移動の遷移状態に対応しているが、基底状態・基音凖位ともに原子核の質量が重いほど遷移状態付近の存在確率が増大するという興味深い結果が得られた。図 4 H 3 O 2 - の平衡構造（a）と振動平均構造（b）図 5（ c）は、振動基底状態と架橋振動の基音準位の二状態のみを考慮した場合の 600KにおけるδOH* の一次元分布である。H 体におけるδOH* は基底状態よりさらに非局在化したシングルピーク構造を、D 体・T 体はわずかに分裂したダブルピーク構造を有している。同様の分裂がSuzukiらによる 600Kにおける経路積分法の 10 （a）振動基底状態、図 5 H 3 O 2 - のδOH* の一次元分布。（b ）架橋振動の基音準位、（c ）600K 。単位は Bohr 。参考文献 [1] B.L. Hammond, W.A. Lester Jr. and P.J. Reynolds, “Monte Carlo Methods in Ab Initio Quantum Chemistry” ( World Scientific, 1994). [2] S. Baroni and S. Moroni, Phys. Rev. Lett., 82, 4745 (1999). [3] D.G. Oblinsky, W.K. Yuen, S.M. Rothstein, J. Mol. Struct. (THEOCHEM) 961, 219 (2010). [4] N. Metropolis, A.W. Rosenbluth, M.N. Rosenbluth, A.H. Teller [5] J. M. Bowman, J. Chem. Phys. 68, 608 (1978). [6] J.Toulouse, C.J. Umrigar, J. Chem. Phys. 126, 084102 (2007). and E. Teller, J. Chem. Phys., 21, 1087 (1953). [7] M. Suzuki, Proc. Japan Acad., 69, 161 (1993). [8] Huang et al. J. Am. Chem. Soc. 126, 5042 (2004). - 表 1 H 3 O 2 の零点振動点エネルギー（ZPE）と架橋振動の基本振動数（単位は cm -1 ） [9] Gene M. Amdahl. Validity of the single processor approach to achieving large scale computing capabilities. In AFIPS Conference Proceedings, pp. 483-485 (1967). 結論 5 [10] A. B. McCoy, X. Huang, S. Carter, and J. M. Bowman, J. Chem. Phys. 123, 064317 (2005) [11] E.G. Diken, J.M. Headrick, J.R. Roscioli, J.C. Bopp, and M.A. Johnson, A.B. McCoy J. Phys. Chem. A, 109, 8 (2005). [12] K.Suzuki, M. Shiga, and M. Tachikawa, J. Chem. Phys. 129, 本稿では、変分モンテカルロ（ VMC）法とReptation Monte Carlo 144310 (2008). （ RMC）法という２種類の量子モンテカルロ法、およびその並列化の実装方法に関する概略を示した。東京工業大学のTSUBAME2.5 スーパーコンピューターシステムを用いたベンチマーク計算（最大 5376 cores）を実行した結果、Speed upはVMC 法では 4868 倍（並列化効率 91% ）を、RMC 法では 2307 倍（並列化効率 43％）となった。プログラム全体の並列化率はVMC 法では 99.9981％、RMC 法では全体の 99.975％である。また大規模並列計算の応用例として、大気中のエアロゾル形成の前駆体となる負イオン核一水和物（H3 O2- ）に対する振動状態解析を行い、振動状態解析に対するQMC 法の有効性を示した。本研究では多次元のポテンシャルエネルギー曲面の算定に、計算コストが安価な解析的ポテンシャル関数を使用したが、第一原理計算を併用したon-the-fly 法の利用により、今後さらなる並列化効率の向上が期待される。謝　辞本研究における計算は「平成 26 年度秋期 TSUBAMEグランドチャレンジ大規模計算制度（カテゴリー B）」の採択により、東京工業大学学術国際情報センターの大型計算機（ TSUBAME2.5）を利用したものである。本制度を利用させて頂いた東京工業大学学術国際情報センターの関係各位に深く感謝致します。また本研究の一部は科学研究費補助金から支援を頂きました。 11 個別要素法による粉体の大規模シミュレーション都築怜理　渡辺勢也　青木尊之東京工業大学・学術国際情報センター砂や粉の振る舞いは液体などと似ている場合もあれば大きく違うときもある。このような粉体をシミュレーションするために、粒子間の接触相互作用をバネと摩擦のモデルで表現した個別要素法が良く使われる。スプーン1 杯に砂糖が何粒あるかを想像すれば分かる通り、実際の粒子サイズで粉体をシミュレーションしようとすると 100 万個を超える粒子数が必要になる。粗視化モデルのアプローチもあるが限界があり、スパコンによる大規模計算で実際に近い粒子サイズで粉体シミュレーションを行う意義は大きい。粉体は空間的な広がりが時間的に変化するため、大規模計算で良く使われる領域分割がそのままでは使えない。粒子分布に合わせて時々刻々と領域分割を変更しながら、動的に計算負荷のバランスを取ることが重要である。本稿では動的負荷分散をやり難いと言われているGPUスパコンにおいて、大規模粉体シミュレーションを行い、いくつかの実用計算とゴルフのバンカーショットのような砂粒子からゴルフボールへの運動伝達を含む複雑な粉体計算を行った例を示す。はじめに 1 GPU による DEM 計算 2 粉体（粉粒体）はさまざまな場面で現れ、その振る舞いが明らかに GPUは階層的なメモリ構造と 2,000 を超える演算コア（CUDAコア）されていない現象も多い。工学的にもプリンターのトナーや製薬を持っている。GPUのアーキテクチャを考慮した超細粒度・超多プロセス、化学工学プラントなどにおいて、粉体シミュレーションスレッドの計算アルゴリズムと実装を行うことにより、高い性能の需要は高い。粉体計算は粒子計算の 1 つであり、天体の重力多を引き出すことができる。GPU のプログラミングは NVIDIA 社が体計算と類似した印象を受ける場合がある。しかし、粉体の相互提供する統合開発環境のCUDAを用いる。作用は後で述べるように接触による相互作用であるため、1 つの粒子が相互作用する粒子は高々数個程度であり、メモリ律速の計算である。一方、重力多体計算や分子動力学計算などは相互作用する粒子数が非常に多く、浮動小数点演算のコストが支配的である。粉体シミュレーションも粒子数を増やして行くと（メモリアクセスを含めた）計算負荷が非常に高くなり、これまで大規模粉体シミュレーションは余り行われてこなかった。近年、スパコンの性能は飛躍的に向上し、実サイズの粒子を用いた大規模粉体シミュレーションが可能な性能を有している。しかし、プロセッサはマルチコア化し、数千～数万計算ノードから構成されているため並列図 1 個別要素法の物理モデル計算が必須の条件である。粉体シミュレーションにおける粒子間相互作用は接触による反発と摩擦であるため、粒子番号による並粉体シミュレーションの計算モデルを図 1 に示す。本研究では、列化は現実的でなく、領域分割による並列化を行うことが必要で粉体粒子同士が接触すると反発力とダンパー（バネとダッシュある。時間・空間的に粒子分布が変化する粉体シミュレーションポット）が作用する個別（離散）要素法 DEM（ Discrete Element に対し、計算負荷の分散とメモリ分散の目的で動的領域分割を導 Method）を用いている。せん断方向にはバネとダッシュポットに入する必要がある。GPU（Graphics Processing Unit）は演算性能、加えて摩擦力も発生する。粒子運動は式（ 1）に従い、加えられたメモリバンド幅や電力効率の点で有利な反面、メモリ階層が深く力とトルクに対して 2 次精度のルンゲクッタ法かleap-frogなどにデータ移動のオーバーヘッドが大きい。本稿では、そのGPUを用より時間積分される。いて大規模粉体シミュレーションを実行するためのアルゴリズムの開発と実装を行い、実用問題への適用例を示す。 GPU 計算では、各粒子の持つ速度や座標、運動量などの従属変数は粒子構造体の中のメンバ変数として GPUボード上の Deviceメモリ（CUDAプログラミング上では、グローバル・メモリ）に保持され、1スレッドが 1 粒子を計算する。 12 DEM のように接触した粒子とのみ相互作用する局所性の高い割し、各分割幅内の粒子を数え上げる。境界を移動すべき距離が計算では、全粒子との接触判定を行うことは非効率的である。計分かると、境界が移動したために小領域外にはみ出る粒子をGPU 算領域を仮想的に格子に分割し、自身の属する格子（セル）及び上でパッキングし、隣接小領域のGPUにホスト計算機を介してデー隣接するセルに属する粒子とのみ相互作用計算を行う「セル分割タ転送する。複数ノードに分散するGPU 間ではMPIライブラリに法」を用いて計算する。粒子が属するセルに全ての粒子番号を登よる通信が必要になる。受け取る側の小領域はパッキングされた録する通常のセル分割法ではメモリ不足を引き起こす可能性があ粒子を小領域の粒子に加え領域の再分割が完了する。る。図 2 のように各セルでは 1 つの粒子の番号のみを登録し、同粒子は運動するため、時間積分後に境界を横切り領域外に出た一セルに属するその他の粒子は粒子番号を数珠つなぎに保持する粒子の通信や、隣接小領域内の接触する可能性がある粒子のデー Linked-list を導入する [1][2] 。これにより空間格子のメモリ使用量は静的な空間格子を用いる場合と比較して 8 分の 1 に削減できる。タ転送も必要になる。GPUではメモリの確保や解放に非常に時間がかかるため、粒子データを格納するメモリはある程度静的に保持する必要がある。一方、このような頻繁な小領域境界を横切る粒子移動が起こると、使用するメモリの断片化が発生する。そこで図 5 のように定期的に粒子の再整列を行い、メモリの断片化を解消する。図 2 Linked-list を用いた近傍粒子探索動的負荷分散を用いた複数 GPU 計算 3 複数のGPUで粉体計算を行うには、計算領域を小領域に分割し、分割された各小領域にGPUを割り当てて計算する。図 3 の左側のよ図 4 粒子の数え上げと境界線の変更うに均等分割した場合、小領域内の粒子数に偏りが生じる。そこで、図 3 右図のように小領域内の粒子数を一定にするために、小領域の境界を計算途中で移動させるスライスグリッド法を導入する [3] 。図 3 スライスグリッド法による負荷分散図 5 Deviceメモリ上の粒子データの再整列境界線の移動にともない隣接小領域に移動する粒子をGPU 上で探索するための効率的な手法を提案する。粒子は小領域のどこに分布しているか不明なので、図 4 のように小領域を微小幅で分 13 個別要素法による粉体の大規模シミュレーション TSUBAME2.5 における強・弱スケーリング 4 スライスグリッド法による動的負荷分散を導入した DEM の GPU コードを用いて、TSUBAME 2.5 の GPU （K20X）で大規模粉体シミュレーションの実行性能を強スケーリングで検証した。図 6 のスクリューが粉体中で回転する撹拌計算を約 200 万個、約 1,600 万個、約 1 億 2,900 万個の粒子により計算する場合の実行性能の測定結果を図 7 に示す。縦軸の実行性能は用いた粒子数を計算時間で割ったもので、1 秒当たり何個の粒子を計算できるかを意味している。図 7 の× 印で表された 2 つの測定点が、それぞれ 1 億 2,900 万粒子を用いた場合の 256GPU 、512GPUに対する実行性能の測定結果である。同一図 7 粉体シミュレーションの強・弱スケーリング線上の実行性能の変化が強スケーリングを示している。1,600 万個程度までの粒子数であれば、8 ～ 16 倍まではGPU 数の増加に応じて性能向上が期待できるが、それ以上は性能が飽和してくることが分かる。弱スケーリングは 4GPU による 200 万粒子の計算、 32 GPU による1,600 万粒子の計算、256GPUによる 1 億 2,900 万粒提案手法の実用問題への適用子の計算に対する実行性能を比較することにより検証でき、理想 5 的な直線と比較して大きく性能低下していることがわかる。スライスグリッド法の欠点である分割された小割領域の形状（アスペクト比）の悪化による領域間通信量の増大が原因となり並列化効率が低下したためである。DEM 計算へのスライスグリッド法の適用限界が 256GPU 〜 512GPU 程度であることが確認できる。工業的、産業的に重要ないくつかの典型的な粉体現象に対して、動的負荷分散を用いた複数 GPU による大規模シミュレーションを行った。実用的なDEM 計算には任意形状の物体との相互作用を取り扱う必要がある。図 8 のようにCADデータから物体表面からの符号付距離関数（ Level Set 関数）を事前計算しておくことにより [4] 、そのLevel Set 関数を参照するだけで物体－粒子間の距離が求まり、粒子－物体間の相互作用を効率的に計算できる。図 6 64 台の GPU を使い 412 万個の粒子を使った撹拌計算図 8 Level Set 関数による物体形状表現 433 万個の粒子による粉体の搬送計算を 64 GPUを用いて計算した結果をそれぞれ図 9 に、416 万個の粒子による螺旋すべり台の計算を 32 GPUを用いて計算した結果を図 10 に示す。ゴルフのバンカーショットはサンドウェッジのスイングによる砂のかき上げと、かき上げられた砂によるゴルフボールへの運動 14 伝達を含む複雑な問題である。解析手法である DEM は計算コスを 64 台の GPU を用いて行った。サンドウェッジの軌道は回転及トが高いため、これまでは 10 万個程度の粒子による 2 次元計算にび二重振り子モデルから決定している。バンカーショットに特徴とどまっている [5] 。実際の砂と同程度のサイズの粒子を数千万個的な砂上のゴルフボールの「目玉」の初期状態は、実際と同じよ〜 1 億個用いることにより、実現象のスケールでの 3 次元バンカーうにボールを落とし、DEM 計算で 64,000 ステップかけて生成してショット・シミュレーションを実行することができた。いる。サンドウェッジの先端の最大速度を 5.0 m/s としてスインバンカー砂に含まれる粗砂を想定し、粒子半径 0.4 mmの粒子グを開始した。計算結果を図 11 に示す。 1,670 万個を用いた大規模バンカーショット・シミュレーション図 9 64 台の GPU を使い 433 万個の粒子を使った搬送計算図 10 32 台の GPU を使い 416 万個の粒子を使った螺旋すべり台のシミュレーション算図 11 1,670 万粒子のバンカーショット計算 15 個別要素法による粉体の大規模シミュレーション非球形粒子を用いた DEM 計算 6 複数の粒子を剛体連結させた非球形の粒子モデルを用いることで、球形粒子よりも粒子間の摩擦を正確に表現でき、より現実の現象に近い粉体シミュレーションが可能となる [6] 。1 つの非球形粒子を複数の粒子を用いて表現するため球形粒子を用いたDEMに比べて多くの粒子が必要となり計算コストが増大するため、GPU 計算の必要性が高まる。1 台のGPUで数十万～数百万個の非球形粒子（ a ）球形粒子による計算による粉体シミュレーションを実行することができた。図 12 テトラポッド型非球形粒子実問題への適用例として、長靴の足跡のシミュレーションを実（ b ）テトラポッド型の非球形粒子による計算行した。図 12 のように、4 つの粒子をテトラポッド型に連結させた非球形粒子を約 40 万個用いた。図 13 に（ a）球形粒子、（ b）テトラポッド型の非球形粒子を用いた場合のシミュレーション結果を示す。非球形粒子を用いた場合は粒子間のインターロックの影響が表われ、靴底の溝が確認できるほど明確な足跡が砂に残った。非球形粒子で計算することで粒子間の摩擦を正確に表現できることを確認した。 16 図 13 長靴の足跡のシミュレーションまとめ 7 Miyasaka, Katsuaki Ohdoi, Investigation of elemental shape for 3 D DEM modeling of interaction between soil and a narrow cutting tool, Journal of Terramechanics, Volume 50, Issue 4, August 2013, Pages 265-276,ISSN0022-4898. DEM 計算に動的負荷分散を導入することにより、大規模粉体シミュレーションをGPUスパコンで実行することができた。スライスグリッド法によるGPU 間の動的領域分割と近傍粒子探索におけるLinked-list 法の導入により、効率的に粉体計算を実行する手法を提案した。複雑形状物体を含む問題や非球形粒子のDEM 計算も可能になり、今後は流体と連成させるなどより実用問題への展開が期待できる。謝辞本研究の一部は、科学研究費補助金・基盤研究（ S）課題番号 26220002「ものづくりHPC アプリケーションのエクサスケールへの進化」、科学技術振興機構 CREST「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」、学際大規模情報基盤共同利用・共同研究拠点、および革新的ハイパフォーマンス・コンピューティング・インフラから支援を頂いた。記して謝意を表す。参考文献 [1] G. S. Grest, B. D¨unweg, and K. Kremer, “Vectorized link cell Fortran code for molecular dynamics simulations for a large number of particles,” Computer Physics Communications, vol. 55, pp. 269–285, Oct. 1989. [2] Gomez-Gesteira, M., Crespo, A., Rogers, B., Dalrymple, R.,Dominguez, J. and Barreiro, A.: fSPHysicsg development of a free-surface fluid solver Part 2 : Efficiency and test cases,Computers and Geosciences, Vol. 48, No. 0, pp. 300 – 307 (2012). [3] S, Tsuzuki, and T, Aoki: Large-scale granular simulations using Dynamic load balance on a GPU supercomputer, in Poster at the 26th IEEE/ACM International Conference on High Performance Computing, Networking, Storage and Analysis (SC) 2014, New Orleans, US-LA, USA (2014). [4] J. A. Bærentzen and H. Aanæs, “Computing discrete signed distance fields from triangle meshes,” Informatics and Mathematical Modeling, Technical University of Denmark, DTU, Richard Petersons Plads, Building 321, DK-2800 Kgs. Lyngby, Tech. Rep., 2002. [5] 堀井宏祐 , 小泉孝之 , 辻内仲好 , 三木光範 , 日高重助 , 折戸啓太 ,: " 並列粒子要素法によるバンカーショット解析 ", 情報処理学会論文誌 , 数理モデル化と応用 , Vol. 44, No. 14, pp. 91-99 (2003) [6] I k u y a O n o , H i r o s h i N a k a s h i m a , H i r o s h i S h i m i z u , J u r o 17 ● TSUBAME e-Science Journal vol.13 2015 年 3 月 10 日　東京工業大学学術国際情報センター発行 © ISSN 2185-6028 デザイン・レイアウト：キックアンドパンチ編集： TSUBAME e-Science Journal 編集室青木尊之　渡邊寿雄　佐々木淳　仲川愛理住所：〒 152-8550 東京都目黒区大岡山 2-12-1-E2-6 電話： 03-5734-2085　FAX：03-5734-3198 E-mail：[email protected] URL： http://www.gsic.titech.ac.jp/ 18 vol. TSUBAME 共同利用サービス『みんなのスパコン』TSUBAME 共同利用サービスは、ピーク性能 5.7PFlops 、18000CPUコア、4300GPU 搭載世界トップクラスの東工大のスパコンTSUBAME2.5 を東工大以外の皆さまにご利用いただくための枠組みです。課題公募する利用区分とカテゴリ共同利用サービスには、「学術利用」「産業利用」、「社会貢献利用」、の3つの利用区分があり、さらに「成果公開」と「成果非公開」のカテゴリがあります。ご利用をご検討の際には、下記までお問い合わせください。他大学や公的研究機関の研究者の学術利用［有償利用］ TSUBAME 民間企業の方の産業利用［有償・無償利用］共同利用とは… ［有償利用］その他の組織による社会的貢献のための社会貢献利用共同利用にて提供する計算資源共同利用サービスの利用区分・カテゴリ別の利用課金表を下記に示します。TSUBAME における計算機資源の割振りは口数を単位としており、1 口は標準 1ノード（12 CPUコア, 3GPU, 55.82GBメモリ搭載）の 3000 時間分（≒約 4 ヵ月）相当の計算機資源です。 1000 CPUコアを1.5日利用する使い方や、100 GPUを3.75日利用する使い方も可能です。利用区分利用者制度や利用規定等カテゴリ利用課金（税抜）※ 学術利用他大学または研究機関等共同利用の利用規定に基づく成果公開 1口：120,000 円産業利用民間企業を中心としたグループ「先端研究基盤共用・プラットフォーム形成事業」に基づく非営利団体、公共団体等共同利用の利用規定に基づく社会貢献利用成果公開トライアルユース（無償利用） 1口：120,000 円成果非公開 1口：480,000 円成果公開 1口：120,000 円成果非公開 1口：480,000 円 ※　平成 27 年度の利用課金です。最新の利用課金については、下記 URL をご参照ください。 http://www.gsic.titech.ac.jp/kyodou/kakin 産業利用トライアルユース制度（先端研究基盤共用・プラットフォーム形成事業）東工大のスパコンTSUBAMEを、より多くの企業の皆さまにご利用いただくため、初めて TSUBAMEをご利用いただく際に、無償にてご試用いただける制度です。（文部科学省先端研究基盤共用・プラットフォーム形成事業による助成）詳しくは、下記までお問い合わせください。お問い合わせ ●東京工業大学　学術国際情報センター　共同利用推進室 ●e-mail [email protected]　Tel. 03-5734-2085　Fax. 03-5734-3198 詳しくは http://www.gsic.titech.ac.jp/tsubame/をご覧ください。 13