実行トップへ検索結果一覧 ├ 新着情報 ├ 専門学校とeラーニング海外事情一覧 ├ イベントカレンダー最新情報の一覧へ戻る　▲ ├ ニュースリリース 2004年9月7日 elcについて第7回「カークパトリック以外の新しいｅラーニングの評価方法」 ├ 活動主旨と沿革 ├ 会員一覧 ├ 会員メリットカークパトリックの評価方法への批判：研修の世界において「評価」というと、すぐに出てくるのが「カークパトリックの４段階評価」である。この３０年、研修の成果を測定するモデルとして、広く研修業界で利用されている。しかし、最近になって、カークパトリックのアプローチと、カークパトリック ├ 入会方法の評価方法にこだわっている研修担当者に対しての強い批判が出てきている。批判者の一人であるKevin Kurse（the elearning guru）によると、これらの研修担当者は研修の世界にとどまっており、ビジネス界では通用するＲＯＩを測定していないと初めてのeラーニング ├ 導入ガイドいう。このアプローチを使う多くの研修担当者は、研修の要請がきたら、関連者との打ち合わせをする前の段階で「何が大事」「何を測定すべき」「何をレポートすべき」「何がＲＯＩになるのか」についてすでに決めてしまっている。研修側と依頼者であるビジネス側との間での打ち合わせの時でも、本当のビジネスのニーズはとりあげることなく、カークパトリックの４段階評価の測定 ├ 導入事例に合わせたレポーティングがやり易いように話が運ばれてしまうことが多いと批判している。 ├ 海外事情カークパトリックのやり方だけでは充分にビジネスのインパクトは測定できないという声は、決して一部の声だけではなさそうで、ｅラーニング業界においても、ｅラーニングの成長とともに評価に対する新しいやり方を求める声がでてきている。研修専門 ├ 用語集 └ 書籍案内データ・資料 ├ カンファレンス資料 ├ 映像アーカイブ集 ├ AEN └ ALIC報告書家がほとんどの参加者である２００３年のConference Board of Canada's Annual Learning and Development Conference では、グローバルな経済要因を考えると、学習成果を測定する他の方法（カークパトリック以外）をみつけることは必要であるということで全員が同意したという。カークパトリックの評価方法に代わる方法とは？２００４年３月のトレーニング誌でも現在アメリカの優れた研修成果を出している企業はカークパトリックのレベルにとどまっておらず、ＲＯＩをさまざまなかたちで測定し、ＲＯＩの次の段階である企業価値までを測定しようとしていることにふれていた。２００４年２月に「トレーニング・ウォッチ」誌で Kaliym Islamは、２つのシナリオを使って、「シックス・シグマ(Six Sigma)」を利用したケース・スタディを発表した。今回は、このケース・スタディをご紹介し、カークパトリックに代わる評価方法を考察してみたい。 1. シナリオ１Ａさんは、自分のグループが開発した研修プログラム（社内で開発したプロセスシステムの新しい機能をどう使うかを社員に教えるためのプログラム）について最終のレポートをする会議に出ようとしているところである。部屋を出ようとして eLP資格制度 ├ 資格について ├ 資格認定コース └ 資格更新案内 SCORM ├ ニュースリリース ├ SCORMとは └ SCORM技術者資格制度いたら、秘書が、運営部署からのレポートを手渡してくれた。最近の四半期の結果として、プロセス時間の削減のおかげで会社に＄１万ドルのコスト削減をもたらしたと書いてある。Ａさんは、今までに担当した中で一番よくできた研修プログラムだと自負している。カークパトリックの４段階評価をすべて網羅し、レベル１では、参加者の９９％は、研修を「大変すぐれている」と評価し、参加者全員がレベル２の評価テストに合格した。研修後のインタビューは、参加者と参加者の上司とでなされ、参加者全員が新しい機能を使っていることがわかっている。会議でレポート発表をしているとき、なぜか自分だけが笑顔でいることに気がついた。発表が終わって自分の席についたところで、CFOは＄１万ドルのコスト削減には、＄１６万ドルの開発費と研修費がかかったことと、（自分がよくできたと思っている）プログラムにかかった＄１６万ドルの投資を回収するだけでも、４年かかることを指摘した。 2. シナリオ２Ｂさんは、金融関係の会社のeラーニング担当マネージャーである。ある１つの部署では新しい商品を売り出そうとして └ SCORM技術者講習会テキストいるところである。この部署のマネージャーがやってきて、この新しいサービスの使い方についてユーザーに教えるた ├ SCORM技術者一覧めのeラーニングコースを開発してくれるよう依頼された。 └ SCORM適合LMS Ｂさんは、研修でどんな情報をカバーすべきか、期間、システムアクセス、ＳＭＥ（内容について良く知っている専門 ├ SCORM適合コンテンツ家）、システム仕様等について、社内のクライアントであるマネージャーと話し合った。その際に、評価と研修後のフォローアップの重要性についても説明し、研修後に製品の利用状況についてトラッキングすることを説得した。社内のＬＭＳ ├ 各種ダウンロードにホストされると、参加者の出席履歴、参加者の学習進捗状況のレポート、時間的にどのくらいオンラインにコースに参 └ SCORM技術者コミュニティ加し、研修に何回参加したかがわかるというようなことを説明すると、全員が乗り気になっていた。Ｂさんは、「研修のインパクトを測定することの重要性をわかってくれるビジネス部署の人物にやっとめぐりあえた」とすでにすっかりやる気 ├ アセッサ向け移行プログラム ├ AEN メールマガジンになっていた。両者は、プロジェクト・プランを協力してできるだけ早く作成することに同意した。さっそくＢさんはプロジェクト・プランを手がけようと自分の机にもどったら、先ほどのマネージャーから電話がかかってきて、「ところで、聞き忘れていたんだけれど、このプロジェクトのコストはどのくらいかかるの？」とまだ興奮気味の声できいてきた。その後、マネージャーに対して、プロセス毎にかかるコストの詳細を書いたプランを承認してもらえば、すぐに自分のグループはこのプロジェクトにとりかかる、というメモをつけて送った。するとマネージャーから、三日目の午後に、彼と彼の上司をまじえリンク集サイトマップアクセスマップた話し合いをしたいという連絡がきた。話し合いの議題は、「研修コスト」と書かれてあった。会議では、このプロジェクトのフェーズ毎にかかるコストについて詳細な説明をしたし、さらに全体のコストを１０％削減できる方法まで説明した。「２－３日後に、今後どう取り組むかについて、マネージャーから連絡をする」ということで、会議を終えたが、その後 eメールを何度も出したが返事がないので、週末に入る前に留守電にもメッセージを入れておいた。ようやく月曜日に、マネージャーから eメールが入っていたが、「今度の製品には eラーニングは使わないことにしお問い合わせた、今後ニーズがあったら連絡をする」というメッセージであった。その日の午後、たまたま他の社内会議で、このマネージャーと顔を合わす機会があったので、一体どうなっているのかについてきいてみた。すると「自分達は、新しいサービスがどんなものか知ってもらうための簡単な内容のものを考えていただけなの。レベル１とか何とかで履歴、フォローアップができる云々は確かにいいことだとは思うけど、ただ製品があることを知ってもらうだけのために、あれだけのコストはとてもじゃないけどかけられないわ。あなたたち研修関係者は、本当のビジネスのこと全然わかってないんじゃない。」と言われてしまった。 3. シナリオから学んだこと２つのシナリオのＡさんもＢさんも、依頼者であるカスタマーのビジネスニーズを把握しきれなかったか、ニーズにあうものを提供できなかったことによりカスタマーを満足させることができなかったといえる。研修のビジネスへのインパクトを示そうとする姿勢は多少なりとも見られたが、ビジネスニーズを把握することについては、研修側からの方法で、ビジネス側が納得する方法ではなかった。問題を把握するために研修側で使っている方法は、研修担当者にとって大事なことを把握はできるが、ビジネス側のニーズを充分に把握できるとは限らない。また、研修プログラムに関わってくる重要な人達（ステークホルダー）にとって大事な問題を正しく把握するには、ビジネス側からの方法を使うべきである。また、ビジネスの担当者と効果的にコミュニケートするには、ビジネス用語で話すべきである。ビジネスの世界でも通用する評価方法とは？１．大切なビジネスニーズの把握 Total Quality Management (TQM)などビジネスニーズを把握するのに使われているビジネスモデルは数多くある。しかし、最近の多くの企業が好んで使っているのは、 Six Sigmaである。General Electric（ＧＥ）が歴史上、最も力を入れて取り組んだもの」とジャック･ウェルチが述べたように、「ＧＥの生き返り」の大きな要因として知られている。 Six Sigma については、５回目のレポートで簡単に説明をしたように、５段階方法 (DMAIC：define明確化, measure測定、 analyze分析, improve改善、 control管理)を使って研修がカスタマーのビジネスニーズにあっているかどうかを測定できるビジネス方法である。研修側とビジネス側との一番大きな隔たりは、シナリオを読んでおわかりのように、カスタマー(ビジネス側の)ニーズの把握の部分にある。ビジネスニーズをしっかりと把握するためには、研修担当マネージャーはまず「カスタマーは誰なのか」を理解しなければならない。今までのやり方だと、研修担当者は研修プログラムを受けるエンドユーザーだけに焦点をあてていて、レベル１では学習者の気持ちを掴んだかどうか、レベル２では、学習者が何を学んだか、レベル３では、学習者が学んだスキルを職場で応用しているかどうか、レベル４では、３つの測定結果とビジネスインパクトの何らかの関係を示そうとし、この段階ではじめてビジネスに直接関係している部分をつかもうとしている。（ちなみに、２００２年のASTD's 産業別レポートによると、レベル４まで測定しているのは、研修組織全体の１１％のみだという。）これに対して、Six Sigma は、プロセスのOutput indicators（成果指標）となるものをつかむことによって、プロセスに関連しているすべてのステ－クホルダー（研修側、ビジネス側の重要な関連者達）の見方を必ず取り入れるようになっている。Output indicatorsは測定可能なものであり、優先度が設定でき、ビジネスのステークホルダーと研修の受講生にとっての両方の大事なニーズをリスト化したものである。Output indicatorsを見つけるには、ビジネスの声 (VOB)とカスタマーの声 (VOC)をとらえることが必要となる。２．カスタマーの声（ＶＯＣ）電話での会話、苦情の手紙、アンケート等を通して入手でき、カスタマーのキー・イシュー（重要な問題）としてカテゴリー化する。これらは、クリティカルなカスタマーのニーズ (CCR)あるいは、特定の測定可能なターゲットとして整理する。ｅラーニングでのＶＯＣ応用例：今、担当しているeラーニングのプログラムは長すぎるという電話なり、手紙での苦情を受けるとする。コースの長さ、テスト質問の数、ダウンロード時間についての苦情、コメントは「わかっている時間」のカテゴリーに入れる。その後、カスタマーの立場にたって、コース、レッスンの長さはどのくらいがいいのかを、このカテゴリーの声等から捉える。もし、カスタマーが１０分以内であるべきだという声が多いとすると、この時間はこのコースをとっているエンドユーザーを満足させる Output indicatorsのひとつとなる。３．ビジネスの声（ＶＯＢ）カスタマーの場合と同じプロセスを、ビジネスのパートナー、役員、本部長、他のビジネスの重要な関連者に対して行う。インタビュー等をして、研修について彼等がどんな問題をもっているのかを捉える。例えば、企業ゴール、新しい試み等が問題として捉えられるだろう。これらの問題をロジカルなトピックとしてカテゴリー化し、測定可能なターゲットに変換する。ｅラーニングでのＶＯＢ応用例：ある企業は、企業ゴールとして「すべての製品開発コストの削減」をしようとしており、この企業の事業部の部長は、今までと同様の研修サポートを自分達の予算に合わせて、より低いコストで行って欲しいと考えている。このタイプの問題は「コスト削減」にカテゴリー化される。アンケートで調べると、ビジネスのステークホルダー達は、１時間のeラーニングプログラム開発に＄２万６千ドル以上はかけたくないと思っていることが判明した。この測定可能なターゲットはビジネス側からの満足を得るのに必要なOutput indicatorsのひとつとなる。クリティカルなビジネスニーズを把握するひとつの簡単な方法としては、研修担当者に率直に「なぜ研修をしたいのですか」と聞くことである。この簡単な質問への回答が、何を測定すべきかにかなり役立つヒントを提供してくれることが多々ある。例えば、回答が「コンプライアンスの要請があるから」という場合には、生徒の出席人数をレポートするだけでビジネスインパクトを測定するには充分であるかもしれない。「研修結果として、利益を生み出したい」というのが回答だとすると、研修により創出される収入をレポートする必要がある。「もっと、優れた社員を養成したい」というのが回答だとすると、レベル２の評価の測定を行う意味がでてくる。また、ここにあげた例でも「何が重要」で「何を測定すべき」かは、すべて最終的にはビジネス・パートナーが決めるべきで研修担当者の仕事ではないことに留意すべきである。４．Output Indicators 測定可能なカスタマーのニーズとビジネスニーズを優先的にリスト化したものが Output indicatorsとなる。 Output indicatorsをまとめて優先順にということは、すべてのカスタマー、事業部が同様の優先順のものを作成することにはならないことを忘れてはならない。このリスト化された output indicatorsは、研修プログラムについて測定されるべきものだけではなく、ビジネスのインパクトのある研修にするための測定可能なターゲットをみつけるのに役立つ。また、このリストは、研修担当者、エンドユーザーの立場から作成されたリストで、彼等にとってなじみのある言葉で書かれてあるので、分かりやすい。研修担当者へのメッセージ：上記のシナリオにもあるように、今日の経済事情では、企業がコストに対して極度に敏感になることはやむを得ないことである。最近のＡＳＴＤの雑誌においても、教育担当リーダー達は「将来の成功を保証するには」次のことに留意すべきであると指摘している。 1. 組織のビジネス、ビジネスモデルについて、その業界で、どのように収入を得るのかについて、理解しておくべき 2. 信頼を得るには、彼らにとってなじみのある言葉で話すべき 3. バランス・シートを理解し、ビジネスの成功を測定するのに、どう使われているのか理解しておくべき今後、ｅラーニングの世界において、Six Sigma以外でも、「価値を評価」すると言ったような、カークパトリックの評価モデルにこだわらない新しい評価モデルを使った自動評価システムの必要性が増えてくるものと予測される。しかし現実は、高度な評価（カークパトリックのレベルを超えたような）になればなるほど、１つのＬＭＳ内では処理しきれなく、手作業の分野が増えるようである。データベースシステムのデータ互換性、標準化のスピードは、ビジネスニーズのスピードにはまだ追いついていないようである。システム的な問題はあるとしても、カークパトリック、フィリップス、７段階評価、Six Sigma、バランス・スコアカード、３６０度評価と、ｅラーニングの評価モデルの選択肢がでてきていることは、事実である。評価モデルの選択において大事なのは、どれが「良い悪い」をみつけることではなく、やはり「誰がデータを使うのか」、「そのデータを使って何をするのか」、「何を知りたいのか」、「何をレポートしたいのか」等を明確にしておくことのように思う。これらが、明確であれば、自然と方法は決まっていくのではないだろうか？参考資料 ROI Best Practices、２００３年１０月 - Jack J. Phillips, Ph.D. トレーニング・ウワッチ誌　２００４年２月１８日、 Kaliym Islam Is Kirkpatrick Obsolete? Alternatives for Measuring Learning Success トレーニング誌２００３年１２月号トレーニング誌２００４年３月号 Kirkpatrick, Donald. (1998) 2nd edition. Evaluating Training Programs, Berrett-Koehler, San Francisco. Phillips,Jack.(1997) Accountability in Human Resource Management, Gulf Publishing, Houston. Rylatt, Alastair ( June 2003) Winning the Knowledge Game, McGraw-Hill, Sydney ( in Australia and New Zealand), Butterworth- Heinemann, London (Elswhere), Beyond ROI - 7 Levels of Training Evaluation Alastair Rylatt 【著者紹介】きよみ・山崎・ハッチングスさんシリコンバレー在住、１９９２年に自らCrossTech社を設立。日米ビジネスに関連したコンサルテ―ションの他、ハイテク業界でグローバル・カンパニーとして成功するためのノウハウ、情報、コミュニケーション・スキル等を入れた企業向け研修プログラム、ビジネスセミナー等を日米で開催している。小松会長を団長とした「海外e-ラーニング調査団」の通訳としても活躍し、アメリカでの先端的なe-Learning活用状況について調査・研究を続けている。 eLCメールマガジン購読者募集中日本eラーニングコンソーシアムでは、eラーニングに関するイベント、 eLCメールニュースセミナー、技術情報などをメールマガジン（無料）で配信しております。メールアドレスを記入して『登録』ボタンを押してください。 →バックナンバーを読むメールアドレス必要事項を入力して、登録ボタンを押して下さい。 All Rights Reserved. Copyright (C) 日本eラーニングコンソシアム登録