No.2 ROC解析

研究レポート
研究レポート No.2 ~ROC 解析によ
解析によるモデル精度評価
によるモデル精度評価~
るモデル精度評価~
2011 年 7 月 14 日
株式会社アイズファクトリー
http://bodais.jp/company/
概要
ダイレクトメールの効率化のために顧客データから予測入会率の高い顧客を抽出したり、医療診断において、
X線画像から陽性部位を判別するなど、正解と不正解の混在するデータから効率よく正解を拾い出す技術が重
要となってきている。その際、抽出技術の精度を評価する手法として重要なのが ROC 解析である。本レポー
トでは、ROC 解析による精度評価手法を説明し、その適用事例を紹介する。
1. はじめに
ダイレクトメールの効率化のために顧客データから予測
入会率の高い顧客を抽出する場合、予め入会有無が正解デ
ータとして紐づいている顧客リストをもとに、ロジスティ
ック回帰などの手法で顧客ごとの予測入会率を算出し、そ
の値の降順に顧客を抽出する。その場合、モデルの精度は、
スコア上位に占める正解データの比率が高いほど良い。こ
れを図式化したのがゲインチャートであるが、その精度評
価指標となるゲインチャート面積比は、後述するように同
じモデルでもデータ群により上限値、下限値が異なる。例
えば、昨年の顧客リストによる予測モデルと今年の顧客リ
【図 1】ゲインチャート
ストによる予測モデルとを比較する場合[1]、ゲインチャ
ートをそのまま比較することはできない。異なるデータ間
で精度比較を行うには、通常のゲインチャートを規格化し
た曲線を定義する必要がある。本レポートで取り上げる
ROC が、正にそのような曲線である。ROC 解析では、ゲイ
ンチャートの縦横の両軸をデータ群の正解率に依存性しな
いように規格化して、異なるデータ間での精度比較を可能
にする。さらに、ROC 解析は正解が定義されているデータ
ならば、その背後にモデルが想定されてなくても使えるの
で、画像診断技術の精度評価などでも使用されている。
2. 正解予測モデルとゲインチャート
入会率予測のような正解予測モデルでは、各サンプルの
【図 2】ROC
予測正解率がスコアとして算出される。予測正解率(スコ
ア)の降順にサンプルを並べたとき、スコア順位 x までの
サンプル集合をスコア上位群 A(x ) 、 A(x ) における正解数
具体的には、横軸の最大値をサンプル数 A 、縦軸の最大値
を p 、非正解数を n と定義しよう。 A(x ) のサンプル数は x
を正解数 P としたとき、面積比の最小値は、正解率 P A 、
であるから p + n = x が常に成り立つ。ゲインチャートとは、 最大値は 2 − P A となる。ゆえに正解率の異なる 2 つのデ
横軸にスコア順位 x 、縦軸にスコア順位 x までの累計正解
ータ間でゲインチャート面積比による精度比較を行うと、
数 p を取って描かれる曲線のことである。一般的に、ゲイ
間違った結論に達してしまう可能性がある。これを回避す
ンチャートは、図 1 のような増加曲線となる。図に点線で
るためにゲインチャートを規格化する必要がある。
示された対角線は、サンプルをランダム抽出して並べた場
図 1 のように、ゲインチャートは底辺の長さが非正解数
合に対応する。ゲインチャートが対角線より上に膨らむほ
N ( = A − P ) 、高さが正解数 P に等しい平行四辺形の内部に
どランダム抽出に比べて抽出効率がよく精度が高いことに
収まる。ゲインチャートの規格化は、平行四辺形領域を、
なる。従って、ゲインチャートの精度評価は、その曲線下
一辺の長さが 1 の正方形領域に射影する線形写像として実
面積と対角線下面積との比率で決まるが、この値の上限値
現される(次式)
。
と下限値はデータに含まれる正解データの比率に依存する。
点 ( x , p ) ⇒ 点 (( x − p ) N , p P )
Copyright© 2011 i’s FACTORY Co., Ltd. All Rights Reserved.
ここで、スコア上位群 A(x ) に対して、 x − p はそれに含
まれる非正解数 n であるから、ゲインチャートの各点は、
非正解再現率 n N と正解再現率 p P を座標値とする点に
射影される(図 2)
。スコア順位 x を変化させて得られるこ
れら射影点の集合が ROC である。ROC 下面積は 0 から 1
の連続値をとり上限値と下限値はデータによらない。
3. ROC 解析の検索
解析の検索理論による理解
検索理論による理解
ROC とは、Receiver Operating Characteristic Curve の略で
あり受診者動作特性曲線と訳される。ROC を用いた識別精
度評価法は ROC 解析と呼ばれている。もともとは、第 2
【図 3】正解データ、非正解データのスコア分布
次大戦中に米国のレーダーの研究において、識別精度の評
が右から左に動いて行く。図の場合、正解分布は非正解分
価法として利用された解析手法である。
布より高スコア側に位置するので、スコア下限線の位置に
データ全体は、正解データと不正解データとに分かれる。
依らず TPF>FPF であり、ROC が対角線(TPF=FPF)より
一方、正解予測モデルにより予測正解率がスコア(確信度)
として算出されると、スコア上位群 A(x ) を以って予測正解
群を定義できる。 A(x ) に含まれるサンプルは、予測により
上に膨らんだ曲線になることが理解できる。
ここで、ROC の傾きを考えてみる。TPF、FPF の積分定
義式を微分して次式が得られる。
正解と判断されただけであり、実際には正解サンプルも非
正解サンプルも含んでいる。医療診断にならって正解を陽
d TPF ( s ) ds = − φ ( s ),
d FPF ( s ) ds = −ν ( s )
性(Positive)、非正解を陰性(Negative)と呼ぶことにすれ
正解データ、非正解データの確率密度関数は、ROC 上のス
ば、 A(x ) に含まれる正解群は、真陽性(TP:True Positive)
コア s に対応する点における接線ベクトルの各成分に対応
であり、 A(x ) 中の非正解群は、偽陽性(FP:False Positive)
している。従って、スコア s における ROC の傾きは、両密
となる。予測正解群での正解データの再現率は真陽性率
度関数の比として定義される(次式)
。
(TPF:True Positive Fraction)
、不正解データの再現率は偽
陽性率(FPF:False Positive Fraction)と解釈できる[2]
。
これとは逆に、非正解抽出群での正解データの再現率は偽
陰性率(FNF)
、不正解データの再現率は真陰性率(TNF)
と解釈でき、定義上、 FNF = 1 − TPF, TNF = 1 − FPF が成り
。ROC は、スコア降順にサンプルを並べた
立っている[2]
とき、当該順位における FPF を横軸、TPF を縦軸に取って
描かれる曲線である。
スコア順位 x を変化させたとき、スコア上位群 A( x ) が拡
大するに従って ROC の座標点が動いていく様子は、正解デ
d TPF ( s ) d FPF ( s ) = φ ( s ) ν ( s )
スコア順位 x* において正解データ、非正解データの確率密
度関数が互いに等しくなる場合( φ ( s ( x* )) = ν ( s ( x* )) )、
ROC 上の対応する点における接線の傾きは 1 になる。スコ
ア順位 x が x* より下位になるとスコア下限線 s ( x ) が境界
線 s ( x* ) より左側に位置し、ROC の傾きは定義により 1 よ
り小さくなる。すなわちスコア順位 x* より下位では正解デ
ータに比して非正解データの増加率が大きくなるので、予
測正解群を定義する切断点としてスコア順位 x* を採用す
ータ、
非正解データのスコア分布からも理解できる(図 3)
。
ることが考えられる。
一般に、予測正解率の高スコア側に正解データが分布し、
4. まとめ
低スコア側に非正解データが分布している。スコア上位群
A( x ) のスコア下限値を s ( x ) と定義すると(図 3 の縦実線)
、
本レポートでは、統計モデルの精度評価の手法として ROC 解析
正解データの確率分布曲線の下側面積のうちスコア下限線
を紹介した。本手法は、ダイレクトメールの入会率予測モデル等
の右側面積が正解再現率 TPF ( s ( x )) であり、ROC の縦軸座
の正解予測モデルの精度評価に利用できる。その他にも、SVM や
標となる。一方、非正解データの確率分布曲線の下側面積
決定木など判別モデルの精度評価や複数モデル間での精度比較に
のうちスコア下限線の右側面積が非正解再現率 FPF( s ( x ))
おいても使われている。また、医療現場におけるX線画像診断な
であり、ROC の横軸座標となる。正解データの確率密度関
どの画像診断技術における精度評価法としても使われている[3]
。
数を φ ( s ) 、非正解データの確率密度関数を ν ( s ) とすると、
スコア上位群の TPF、FPF はそれぞれ次式で定義できる。
TPF ( s ( x )) =
∫
∞
s( x)
φ ( s ) ds , FPF ( s ( x )) =
∫
∞
s( x)
5. 参考文献
[1] 研究レポート(2011)No.1
ν ( s ) ds
[2] 桂川(2004)
:日本放射線技術學會雜誌、第 60 巻 3 号, 309-316
スコア順位 x が下がるにつれて、図 3 のスコア下限線 s ( x )
[3] 池田(2005)
:画像診断のための ROC 解析概論、現代図書.
Copyright© 2011 i’s FACTORY Co., Ltd. All Rights Reserved.