close

Enter

Log in using OpenID

資料 - 独立行政法人理化学研究所 計算科学研究機構

embedDownload
Computer simulations create the future
性能解析ツールScalascaについて
2014年3月7日
中村朋健
理化学研究所 計算科学研究機構
RIKEN ADVANCED INSTITUTE FOR COMPUTATIONAL SCIENCE
性能解析ツール(プロファイラ)
性能解析ツールとは?
• プログラムの詳細な実行性能を取得するソフトウェア
• 取得した実行性能をわかりやすく表示するソフトウェア
いつ性能解析ツールを使うのか?
• プログラムを解析して効率のよいプログラムを書きたいとき
• 計算機の資源を活かしたプログラム
• 計算機の特性を活かしたプログラム
なぜ性能解析ツールを使うのか?
• 楽をしてプログラムを解析したいため
• 解析ツールがプログラムの詳細な実行性能を提供
• タイム関数の挿入などのコード改変による性能解析は面倒
• プログラムの実行時間だけではわからないことが多い
• 複数の計算機上の実行性能を容易に把握可能
2014/3/7
RIKEN AICS HPC Spring School
2
性能解析ツールのサマリ
• 性能解析
• 収集したメトリックの大まかな分析
• ほとんどのツールは関数/コールパスやプロセス/スレッド単位での解
析が可能
• gprof, mpiP, ompP, Scalasca, TAU, Vampirがよく使われる
• タイムライン解析
• イベントを時系列に可視化
• 実行トレースデータが必要
• Vampir, Paraver, JumpShot, Intel TAC, Sun Studioがよく使われる
• パターン解析
• 非効率的な部分を検出
• タイムライン解析を使って手動で検出可能
• 自動ではKOJAK, Scalasca, Periscopeがよく使われる
2014/3/7
RIKEN AICS HPC Spring School
3
Scalasca
•
アイデア
• 非効率的なプログラムの振る舞いのパターンを自動検索
• プログラムの振る舞いの分類や重要性を定量化
Analysis
High-level
result
≡
Property
Low-level
event trace
Call
path
Location
•
•
•
•
•
2014/3/7
性能解析結果の詳細(metric)
Call-treeパス(program location)
システム・ロケーション(process/thread)
すべてのイベントトレースを網羅していることを保証
可視化によるマニュアルトレース解析より早い自動解析
RIKEN AICS HPC Spring School
4
Scalascaプロジェクト
• 今の開発チーム
• Juelich Supercomputing Centre
(この資料はここの方に頂いたものを参考に作成)
• German Research School for Simulation Sciences
• Scalascaプロジェクトの目的
• 主要なプログラミングパラダイムに対してスケーラブルな
性能解析ツールを開発すること
• 具体的なターゲットアプリケーションは
• IBM BlueGene やCray XTなどで動く100万プロセスま
たはスレッド以上で動くアプリケーション
2014/3/7
RIKEN AICS HPC Spring School
5
Scalascaの特徴
• オープンソース+ New BSD ライセンス
• 移植先
• IBM BlueGene, IBM SP & blade clusters, Cray XT, SGI Altix,
Fujitsu FX10 & K computer, NEC SX, Intel Xeon Phi, Solaris &
Linux clusters, ...
• 並列プログラミングパラダイム&言語
• MPI, OpenMP, これらのハイブリッド
• Fortran, C, C++
• インストルメント,実行,分析の統合ツールセット
• 最新版
• v1.4.3 (2013年3月)
• 「京」用にポーティングされたもの
• 現在Score-Pで開発中のv2.xxをポーティング中
2014/3/7
RIKEN AICS HPC Spring School
6
Measurement
library
Instr.
target
application
HWC
Optimized measurement configuration
Local event
traces
Parallel waitstate search
Summary
report
Wait-state
report
Report
manipulation
Scalascaのワークフロー
Scalasca trace analysis
Instrumented
executable
Which
problem?
Where in the
problem?
Which
process?
Instrumenter
compiler/
linker
Source
modules
2014/3/7
RIKEN AICS HPC Spring School
7
検出可能な待ち時間 (MPI->Sync->Collective)
Wait at barrier
location
MPI_Barrier
MPI_Barrier
MPI_Barrier
MPI_Barrier
time
• 最後のプロセスがバリアに到達するまで,他のプロセスが待つ時間
• 表示ツールCUBEのMPI_Barrier部分に計上
2014/3/7
RIKEN AICS HPC Spring School
8
検出可能な待ち時間(MPI->Sync->Collective)
Barrier Completion
location
MPI_Barrier
MPI_Barrier
MPI_Barrier
MPI_Barrier
time
• 最初にあるプロセスがバリアが終わってから,他のプロセスがバリアが終
わるの待つ時間
• 表示ツールCUBEのMPI_Barrier部分に計上
2014/3/7
RIKEN AICS HPC Spring School
9
検出可能な待ち時間(MPI->comm->collective)
Wait at N x N
location
MPI_Allreduce
MPI_Allreduce
MPI_Allreduce
MPI_Allreduce
time
• 最後のプロセスがcollectiveオペレーションの同期に到達するまで,他のプ
ロセスが待つ時間
• 表示ツールCUBEのMPI_Allgather, MPI_Allgatherv, MPI_Allreduce,
MPI_Alltoall, MPI_Reduce_scatter, MPI_Reduce_scatter_block部分に計上
2014/3/7
RIKEN AICS HPC Spring School
10
検出可能な待ち時間(MPI->comm->collective)
N x N Completion
location
MPI_Allreduce
MPI_Allreduce
MPI_Allreduce
MPI_Allreduce
time
• 最初にあるプロセスがcollectiveオペレーションの同期が終わってから,他
のプロセスが終わるのを待つ時間
• 表示ツールCUBEのMPI_Allgather, MPI_Allgatherv, MPI_Allreduce,
MPI_Alltoall, MPI_Reduce_scatter, MPI_Reduce_scatter_block部分に計上
2014/3/7
RIKEN AICS HPC Spring School
11
検出可能な待ち時間(MPI->comm->collective)
Late Broadcast
location
MPI_Bcast
MPI_Bcast (root)
MPI_Bcast
MPI_Bcast
time
• 1対Nのcollective通信でソース(root)となるプロセスより,他のプロセスが
早く到達して待つ時間
• 表示ツールCUBEのMPI_Bcast, MPI_Scatter, MPI_Scatterv部分に計上
2014/3/7
RIKEN AICS HPC Spring School
12
検出可能な待ち時間(MPI->comm->collective)
Early Reduce
location
MPI_Reduce
MPI_Reduce
MPI_Reduce (root)
MPI_Reduce
time
• N対1のcollective通信でソース(root)となるプロセスが,他のプロセスから
転送が始まるまで待つ時間
• 表示ツールCUBEのMPI_Reduce, MPI_Gather, MPI_Gatherv部分に計上
2014/3/7
RIKEN AICS HPC Spring School
13
検出可能な待ち時間(MPI->comm->collective)
Early Scan
location
MPI_Scan
0
MPI_Scan
1
MPI_Scan
2
MPI_Scan
3
time
• 受けとるプロセスがソースプロセスのオペレーション開始を待つ時間
• 表示ツールCUBEのMPI_Scan, MPI_Exscan部分に計上
2014/3/7
RIKEN AICS HPC Spring School
14
検出可能な待ち時間(MPI->comm->P2P)
Late Sender (1)
location
MPI_Send
MPI_Send
MPI_Irecv
MPI_Recv
MPI_Wait
time
location
MPI_Isend
MPI_Recv
MPI_Wait
MPI_Isend
MPI_Irecv
MPI_Wait
MPI_Wait
time
• 受け取るプロセスのReceiveやWaitがソースのSendオペレーションの開始
を待つ時間
2014/3/7
RIKEN AICS HPC Spring School
15
検出可能な待ち時間(MPI->comm->P2P)
Late Sender (2)
location
MPI_Send
MPI_Send
MPI_Irecv
MPI_Waitall
time
• WaitオペレーションがSendの開始が最も遅いプロセスのSendオペレーショ
ン開始を待つ時間
2014/3/7
RIKEN AICS HPC Spring School
16
検出可能な待ち時間(MPI->comm->P2P)
Late Sender, Messages in Wrong Order
location
MPI_Send
MPI_Send
MPI_Send
MPI_Recv
MPI_Send
MPI_Recv
MPI_Recv
MPI_Recv
time
• Sendすべき順番が間違っているときの,Receiveオペレーションが間違った
Sendオペレーションの開始を待つ時間
2014/3/7
RIKEN AICS HPC Spring School
17
見つけられる待ち (MPI->comm->P2P)
Late Receiver
location
MPI_Send
MPI_Recv
MPI_Send
MPI_Irecv
MPI_Wait
time
• SendオペレーションがReceiveやWaitオペレーションの開始を待つ時間
2014/3/7
RIKEN AICS HPC Spring School
18
見つけられる待ち (MPI->Sync->RMA)
Late Post
location
Win_start
Put
Win_post
Win_start
Put
Win_complete
Win_wait
Win_complete
time
2014/3/7
RIKEN AICS HPC Spring School
19
見つけられる待ち (MPI->Sync->RMA)
Wait in Fence
location
Put
Win_fence
Win_fence
time
• MPI_Win_fence同期で最初に到達したものが最後に到達したプロセスを
待つ時間
2014/3/7
RIKEN AICS HPC Spring School
20
見つけられる待ち (MPI->Sync->RMA)
Early Fence
location
Put
Win_fence
Win_fence
time
• Win_Fenceがそれ以前に終わっていないRMAオペレーションの終わりを待
つ時間
2014/3/7
RIKEN AICS HPC Spring School
21
検出可能な待ち時間(MPI->Sync->RMA)
Early Wait
location
Win_start
Win_start
Win_post
Put
Win_complete
Put
Win_complete
Win_wait
time
2014/3/7
RIKEN AICS HPC Spring School
22
検出可能な待ち時間(MPI->Sync->RMA)
Late Complete
location
Win_start
Win_start
Win_post
Put
Win_complete
Put
Win_complete
Win_wait
time
2014/3/7
RIKEN AICS HPC Spring School
23
検出可能な待ち時間(MPI->Comm->RMA)
Early Transfer
location
Win_start
Win_complete
Put
Win_post
Win_wait
time
2014/3/7
RIKEN AICS HPC Spring School
24
検出可能な待ち時間(Time->Exec->OMP)
OpenMP Management Time
location
serial
parallel region body
serial
parallel region body
parallel region body
time
2014/3/7
RIKEN AICS HPC Spring School
25
検出可能な待ち時間(Time->Exec->OMP)
OpenMP Fork Time
location
serial
parallel region body
serial
parallel region body
parallel region body
time
2014/3/7
RIKEN AICS HPC Spring School
26
検出可能な待ち時間(Time->Exec->OMP)
OpenMP Idle Threads
location
serial
parallel region body
serial
parallel region body
parallel region body
time
2014/3/7
RIKEN AICS HPC Spring School
27
検出可能な待ち時間(Time->Idle Threads)
OpenMP Limited Parallelism
location
serial
parallel region body
serial
parallel region body
parallel region body
time
2014/3/7
RIKEN AICS HPC Spring School
28
検出可能な待ち時間(OMP->Sync->Barrier)
Wait at Barrier
location
OpenMP barrier
OpenMP barrier
OpenMP barrier
OpenMP barrier
time
2014/3/7
RIKEN AICS HPC Spring School
29
検出可能な待ち時間(OMP->Sync->Lock)
Lock Completition
location
Acquire Lock
Release Lock
Acquire Lock
Release Lock
time
2014/3/7
RIKEN AICS HPC Spring School
30
Author
Document
Category
Uncategorized
Views
1
File Size
587 KB
Tags
1/--pages
Report inappropriate content