現場ですぐできる定量データ分析～予測モデルのゆるい作り方～ SPI Japan 2013 発表資料 2013/10/18 NTTデータデタ矢部智／木暮雅樹／大鶴英佑 Copyright © 2013 NTT DATA Corporation 目次 1. 予測モデルとは？ 2. NTTデ NTTデータにおける予測モデルを利用した改善活動タにおける予測モデルを利用した改善活動 3. 予測モデル構築・普及における問題点 4 問題に対する解決策 4. 5. 組織での実践例 6 結論と今後の課題 6. Copyright © 2013 NTT DATA Corporation 2 発表者自己紹介矢部智所属：NTTデータ品質保証部主な業務：全社、グルプ会社に対して品質保証活動を提供する主な業務：全社、グループ会社に対して品質保証活動を提供する具体的な活動・プロセス改善支援・プロセス改善教育・全社標準プロセス整備・定量データ分析本日の発表テーマ Copyright © 2013 NTT DATA Corporation 3 予測モデルとは？開発プロセスにおけるある実績データ(品質やコストなど)から、それよりも後の時点の状態を確率論的に表現したもの x y 基本設計詳細設計単体テスト x 結合テスト x システムテスト y サービス提供 y y = f(x) 予測モデルのメリット：早い時点で対策が取れる、問題の深刻化を防ぐ予測モデルが成立する条件： 1 プロセスの尺度を使っていること 1. 2. 統計技法を使っていること 3. ビジネスの課題とリンクしていること Copyright © 2013 NTT DATA Corporation 4 本発表の狙い定量データを使った有益な予測モデルを、モデルの本質的な意義をとらえた上でいかに無駄なく早く構築するかいかに無駄なく、早く構築するか事例をふまえて紹介するデータ分析の専門家から見ると、「ゆるい」印象を与えるかもしれないだが、目指したのは、詳しい専門家でなくても、できること！ Copyright © 2013 NTT DATA Corporation 5 NTTデータにおける、予測モデルを利用した改善活動 CMMIレベル4，5の取り組みの中で実施 2008年以降、5つの社内組織で適用 • 組織A 中規模公共分野 • 組織B 大規模公共分野 • 組織C 中規模法人分野 • 組織D 大規模公共分野 • 組織E 大規模法人分野 Copyright © 2012NTT DATA Corporation 6 予測モデルを使用した組織の適用効果事例(先行2組織) 総合的な改善の結果品質生産性に改善効果が見られた 総合的な改善の結果、品質、生産性に改善効果が見られた品質生産性 (円/Step) H19年5月 ML4達成 H21年10月 ML5達成 UT→SIすり抜け UT→SIすり抜け SI1/2→SI3すり抜け SI1/2→SI3すり抜け (Step/人時) H19年5月 ML4達成 H21年10月 ML5達成各プロセス／サービス開始後の各プロセス／サビス開始後のエラー／バグ密度 Copyright © 2013 NTT DATA Corporation 7 予測モデル構築・普及における問題点ビジネス上の効果を生み出せる予測モデルであるが、課題もある 1. モデルの分析に必要なプロセス尺度の特定が難しい 2 モデルの仮説を導くのが難しい 2. 3. 統計技法を活用できる人材に限りがある初期の取り組みでは、モデル構築に8ヶ月～2年効果があるといってもこのままでは普及は進まない効果があるといっても、このままでは普及は進まない Copyright © 2013 NTT DATA Corporation 8 問題に対する解決策どうやったら、予測モデルの構築がより速く、簡単にできるか？どうやたら、予測デルの構築がより速く、簡単にできるか？モデルの精緻さよりも、モデルの便利さを早く体験できるようにしたい分析にかかる負担はなるべく小さくしたい 1. プロセス尺度は、すでにあるものを使う 2. モデルの仮説は、定性的な情報を使う 3. 統計技法は、基本的なものだけを使う Copyright © 2013 NTT DATA Corporation 9 解決策（1）プロセス尺度は、すでにあるものを使う •新規に尺度を導入するのは非常にハードルが高い • • • • 定義の議論トレーニングツールの整備分析可能になるまで測定データをためる期間 •すでにあるものなら、追加コスト・時間はかからない • トレーニング不要トレング不要 • ツールも既存のものが使える • ためるまで待たずにすぐ使える待ずにぐ使 Copyright © 2013 NTT DATA Corporation 10 解決策（2）モデルの仮説は、定性的な情報を使う •プロジェクトメンバーからの「なんとなくこう思う」という定性的な情報を仮説に取り入れる • レビューに力を入れていない設計書は、あとでバグが出やすいよ • レビューのとき、有識者がいないと不安になるよレビューのとき有識者がいないと不安になるよ • 生産性が良すぎるプロジェクトは、サービス開始後のバグが出やすいよ、など •モデルの仮説検討にかかる時間を節約 • 感覚的でいい、というとアイディアが豊富に出てくる • 必ずしもリニアな数字でとられていなくてもよい必ずしもリアな数字でとられていなくてもよい • 「○○の場合」と「それ以外」といった、離散値として扱う Copyright © 2013 NTT DATA Corporation 11 解決策（3）統計技法は、基本的なものだけを使う •仮説を用いてグループ間の検定を行う • 定性的な情報をグループを分ける名義尺度として扱う • レビュー時間が長い／短い、有識者あり／なし、など • t検定、Wilcoxon検定、分散分析など t検定 Wilcoxon検定分散分析など（例 y ：エラーー）グルプ② グループ② グループ① x（例：レビュー時間） •技法を絞ることで統計のトレーニングにかかる時間も短縮技法を絞ることで統計のトレニングにかかる時間も短縮 Copyright © 2013 NTT DATA Corporation 12 組織での実践例組織E 概要規模大規模（1000人以上）予測モデル構築（プロセス改善）の体制品質管理チム（2名）品質管理チーム（2名） SEPG（2名）開発プロジェクトのリダ（課長4名）開発プロジェクトのリーダー（課長4名）ビジネス目標サービス開始後3ヶ月間のバグ密度を一定以下にすること苦労した点ビジネス目標はお客様とも合意した数値目標となっており、ビジネス目標はお客様とも合意した数値目標となっており予測モデルを使うことで目標達成に向けた具体的な効果があることを期待されている待されてる Copyright © 2013 NTT DATA Corporation 13 使用したプロセス尺度組織で従来から収集していた品質データ（レビュー、テスト関連）を使用主なプロセスと尺度：レビュー：レビュー時間、参加人数、エラーの数、ページ数等テスト：工程ごとのバグ密度、サービス開始後3ヶ月のバグ密度等 Copyright © 2013 NTT DATA Corporation 14 定性的な情報を名義尺度として定量化仮説は開発プロジェクトリーダーを交えて検討設計書レビューの丁寧さが、サービス開始後のバグに影響しているのでは？散布図を見ると、設計書レビュー密度・レビュー人数が小さいと、BD混入PTバグ人数が小混グ密度が大きい？内部BD レビュー密度直線的な関連ではないが、分布に差はありそう！レビュー密度・レビュー人数の小さい（赤い枠）・大きい（青い枠）でグループ分けい枠）大きい（青い枠）でグルプ分け内部BD レビュー人数 ※BD内部レビュー密度：基本設計書の社内レビュー（分／ページ） ※BD混入PTバグ密度：システムテストのバグのうち、基本設計起因のもの（件／ｋｓ） Copyright © 2013 NTT DATA Corporation 15 グループ間検定を用いた予測モデルレビュー密度またはレビュー人数が一定値以上かどうかで2つのグループに分け、Wilcoxon検定でBD混入PTバグ密度の分布に差があることを確認。ＢＤ混入ＰＴバグ密度件(／ｋｓ ) ＢＤ混入ＰＴバグ密度件(／ｋｓ ) 内部ＢＤ x人以下レビレビュー人数人数 Copyright © 2013 NTT DATA Corporation x人超内部ＢＤ xx未満レビレビュー密度密度 (分/ページ) xx以上 16 予測モデル構築における解決策の効果１．モデル構築までの期間は大幅短縮 8ヶ月～2年 2～3ヶ月 ※目標とする尺度を決めてから、モデル式の統計的検定が終わるまでの期間２モデルに対する開発メンバーからの納得性も高い２．モデルに対する開発メンバーからの納得性も高い •もともと現場で感じていた問題点をモデル化したので、実感と合う •既存のプロセス尺度を使っているので、モデルの使い方を覚えるのも簡単 •レビューの十分さについて別途用意したチェックシートも役だった Copyright © 2013 NTT DATA Corporation 17 結論 •予測モデルの構築時間が短縮され、最短で２ヶ月となった •現場で感じている定性的な情報をモデルの変数にできることでメンバー現場で感じている定性的な情報をモデルの変数にできることでメンバの予測モデルに対する納得感が高まった •統計分析のトレーニングを簡素化できた統計分析簡素化き Copyright © 2013 NTT DATA Corporation 18 今後の課題 •今回構築した予測モデルによる、組織での改善効果の検証（実施待ち） •定量データ分析マニュアルへのノウハウ反映定量デタ分析マニュアルへのノウハウ反映 •既存の品質データ管理ツールへの統計分析機能組み込み •仮説のパターン化、カタログ化仮説のパタン化、カタログ化 Copyright © 2013 NTT DATA Corporation 19