第 1章 評価者の要件 ―評価研修の内容に関する考察― Evaluation of Sector-wide Program 藤田伸子 Xxxx Xxxx 要約 評価は様々な分野・形態で実施されるが,評価者に求められる共通の要 件としてはどのようなものがあるだろうか.本稿では,評価という仕事の 専門性や,評価者に必要な知識や技能・態度について考察し,その上で, 開発援助評価分野の人材育成のためにはどのような研修を提供したらよい かを検討した.評価者の要件としては,手法の知識や結果の分析能力はそ の一部に過ぎず,「聴く・話す・書く」コミュニケーション能力や,プロ としての倫理や公正さなどが求められる.研修で育成できる能力はそのよ うな要件のうちの限られた部分でしかないが,研修提供側は,手法に偏ら ず総合的な評価能力の育成を念頭に,研修内容を工夫することが必要であ る.開発援助の評価者としては,相手国側への評価技術移転を常に視野に 置きつつ,相手側への特別の配慮と,国際的な要求水準を満たす専門性を 維持することが求められる. はじめに 評価の質は多くの要素に左右され,その質の向上のための方策も様々で ある.例えば,発注者側と評価に関する理解を共有すること,評価の実 施・活用を容易にする制度を整備すること,評価にかけるリソースを増や すこと,皆が評価を受け入れるマインドを持つことなどが考えられる.そ 2 第 1 章 評価者の要件―評価研修の内容に関する考察― のような方策の一つが,実際に評価を実施する,あるいはコーディネート する有能な人材を育成することである.ではそのような評価人材 1 に必要 とされる能力とは何だろうか. 1980 年代から米国などでは評価におけるプロフェッショナリズムが意 識されるようになり,全米評価協会(American Evaluation Association 以 下 AEA)による評価専門家としての資格認定の議論も行われたが,実現 しなかった.というのも,評価に関する考え方は一様ではなく,評価や評 価専門家の定義についても統一見解に至らなかったからである.評価が 様々な分野や状況のもとで行なわれることから,単一の認定基準を作るこ とは困難とされてきた. そこで誰でも評価の仕事に就けるわけであるが,どのような知識やスキ ルがあったら良いかという目安がないと,新規参入者には準備がしにくい という問題がある.大学や研修機関はそれぞれが思うところにより評価関 連カリキュラムを提供している.また,評価を委託しようとする側は受託 者がその仕事に適格であるかどうかを見極めるのが難しい.実務の現場で は,共通のガイドラインに沿ってほぼ横並びで評価が実施され,一定の質 を確保している反面,個々の評価の目的や背景を勘案して評価の効果を高 めることは,評価者の力量に大きく依存する. このような中で,日本評価学会では「評価士認定制度」を発足させ,そ の一環として 2008 年 2 月に評価士(初級)育成のための研修を始めた. これをきっかけにどのような能力を持っていれば「評価士」に相応しいか という議論が,今後高まっていくことが期待される. そこで本稿では,まず評価という仕事の専門性について考察し,この問 題を過去 7 年にわたって研究している King 等の成果を参照しながら評価 専門家の要件を検討し,特に開発援助評価人材育成のためにはどのような 研修を提供したらよいかを考えてみたい. ★下線用12文字分ダミー★ 1 評価の実施に関わる人には,実際に現場で調査を行うコンサルタント等のほかに,評 価を発注する人,管理する人等があるが,本稿では「実際に現場で調査を行う人」あるいは 「調査を指揮・コーディネートする人」,いわゆる「評価専門家」を想定している.また内部 評価者と外部評価者ではその要件が若干異なってくるが,ここでは主に外部評価者を想定す る.ただし内部評価者でも評価を専門に担当または実施する人を含む. ○○○○ 3 1.評価という仕事の“専門性”について 1 − 1.評価は専門職と言えるか 評価の仕事は,免許も資格も不要で誰でも始められることから,評価を 専門職と考えることができるかどうかについては議論がある 2.Patton 等 は,プログラム評価がプロフェッショナルなステータスを唱えることに疑 問を呈している(Worthen 1999).他方,Scriven は,専門的な学問領域 (discipline)とは言えないが,専門職(profession)とは認められるとし, profession と discipline を同一に論じる Patton と意見を異にしている (The Oral History Project Team 2005).また Davidson は,多くの人々が 評価は少なくとも profession であると認めているとし,評価の活動はユニ ークかつ複雑で統計や会計の知識が多少あっても務まるものではなく,公 認会計士やマネジメントコンサルタントに評価の仕事ができるわけではな いことを考えれば,専門職として積極的にアピールすべきと述べている (Davidson 2005) . 確かに,評価の仕事には,一般の社会調査や監査,組織改善のためのコ ンサルティングと共通している部分もあるが,それらのノウハウだけでは ない要素が含まれる.その複雑さこそが,専門職としての独自性なのだと 思われる. 1 − 2.評価専門家としての認定 (1)認定の是非 評価の実施に必要な専門教育や研修を受けた人,あるいは知識や技能を ★下線用12文字分ダミー★ 2 ここでの「評価」は,いわゆる「プログラム評価(Program Evaluation):事業に関す る判断を下したり,事業の有効性を高めたり,将来の事業の計画に役立てたりするため,事 業の活動や特徴,成果に関する情報を体系的に収集すること(Patton 1997)」を指す.日本 で言うところのプロジェクト・プログラム・政策の評価を含む.他のジャンル,例えば人事 評価や製品評価は直接には対象としない. 4 第 1 章 評価者の要件―評価研修の内容に関する考察― 持った人を専門家と認定することの是非も,長年米国では議論にされてき たが結論を見ていない. 米国の評価研修専門機関である The Evaluators’ Institute(以下 TEI)の 創設者であり主宰者である Smith は,AEA における評価専門家認定制度 の導入に反対の立場を表明したが,その際に述べた理由は次のようなもの である(Smith 1999) . 1)まず,評価専門家として認定するのであれば,評価とは何かという 定義がなければならない.しかし,その点について AEA の会員の間 ですら合意がない.AEA が定めた評価のガイドラインにも,評価や 評価専門家の定義はない.AEA の会員間では,例えば評価が客観的 なものであるべきか否かということすら合意が得られていない. 2)次に,評価にはどんな知識や技能が必須か,しかもどのような質の レベルで,という点に関しても合意が必要である. 3)その上で,誰がそのような知識や技能を持っているのかを,何らか の形で決定しなければならない.試験の正当性をどう担保するか, 何点以上なら合格とするのか,エンパワーメント評価の専門家と定 量的評価の専門家をどのようにすればバイアス無しで見ることがで きるか,等についても意見の一致が必要である. 4)認定を出した後は, “有資格者”がそれらを適切に使っているかどう かをモニターし,適切に使っていない人の認定は取り消さなければ ならない. 5)この一連のプロセスには多額の経費がかかるが AEA にはそのような 資金はない. 認定制度導入の目的は,「質の低い評価から市民を守るため」とされて いたが,これに対し Smith は,「資格がなくても評価の仕事は合法的にで きる上,資格を持っていれば良い仕事ができるわけではない」と主張し, 「質の低い評価から市民を守るため」であれば,他の方法を考えた方がよ いと述べている.例えば,査読,発注者による評価デザインや報告書のレ ビュー,評価を学ぶ学生のインターン,実務家向けの継続的な研修などで ○○○○ 5 ある.さらに,異なる評価のスタイルごとのパフォーマンスに基づいたコ ンピテンシー・クライテリアの開発を提案した 3. 要は,評価専門家の専門性は,どのように専門知識やスキルを得たかで はなく,備わった技能と,それをどう使うかで判断されるべきということ である.実際,評価を受注したコンサルタントは,クライアントとの間で 予算や期間など様々な制約・事情のある中で最適と思われる方法で評価を 行っている.また評価専門家の仕事は単なる調査研究ではなくサービス業 であるから,発注者の意見無しには良い仕事ができない.即ち,発注者も 評価の質に大きな影響を与えると言える.そうした諸々の状況を踏まえて ベストの仕事ができて初めて評価専門家と呼べるのだろう. (2)認定の試み Smith は後に TEI の研修修了者に一定の条件での認定証(Certificate) の発行を始めた 4 が,その目的は,評価者やそれを目指す人が,質の高い 評価の実施に必須な知識や技術を獲得し,プロの評価専門家としての準備 が出来ていると認知されるのを助けることである(TEI 2008).これは, 評価が単独の discipline ではないことにも関連している.何の専門知識も なしに,人事異動など何かの拍子で評価を担当することになった“Accidental Evaluators”の多くは,短期間の研修などを細切れに受講せざるを 得ない.このような人たちに,何と何を学べば必要な知識としてはカバー されるかという指針を提供することが,認定プログラムのねらいである. カナダ評価学会(Canadian Evaluation Society 以下 CES)では,学会が 策定したカリキュラム(Essential Skills Series)に基づく研修を認定して いる.評価初心者向けの 4 日間のコースで,内容は別添資料 1 のとおりで ある.評価の基本概念,計画の仕方,データ収集法,結果の活用まで,実 務者として必要な一連の知識を身につける内容となっている. CES は「研修コース」を認定し,TEI は「研修修了の事実」を認定し ★下線用12文字分ダミー★ 3 AEA は結局資格認定を見送ったが,その大きな理由の一つは訴訟を避けるためだった と言われる(King 2007 筆者聞取りによる) .また,実験モデルに代表される定量的手法と定 性的手法の論争を背景に,手法を巡る AEA の分裂が危惧されたことも一因(Mabry 2008) . 4 AEA ではなく TEI による認定証である. 6 第 1 章 評価者の要件―評価研修の内容に関する考察― ているが,日本評価学会の「評価士認定制度」は,「人」自体を認定する. その目的は,「評価の専門性を持つ人材は未だ十分に育っていない現状を 改善するため,評価に関する専門的能力を身につけた人材を養成してその 能力を認定し,各分野における評価の向上に資すること」(IDCJ 2008)と されている.学会が「評価士養成講座」を主催し,講座修了者(評価士初 級で,講座は 6 日間.出席の 7 割で修了)には修了証が発行される.その 後「評価士」認定試験(筆記試験)に合格すると,学会の『評価士認定審 査委員会』から「評価士資格認定証書」が交付される.現在「初級」のみが 実施されているが,追って中級以上も実施される計画となっている(講座 の内容は別添資料 2) . 以上のような修了証書や認定証は,一通りの知識を得たことを示すが, 実際にその人がそれをどのように使う力があるか,また実際に使うかどう 5 かというパフォーマンスまでを保証するものではない . 1 − 3.評価の基準の策定 評価に関わる人が守るべき基準(standards)6 を策定することが有効と いう考え方もある.例えば,ある学会がこのような基準を定めた場合,会 員であることはその基準に則って業務を行うという意思表示とみなされる. 基準は,評価者の自己チェックとして使うことができるほか,評価の発 注側をはじめ関係者による評価の原則・倫理の共有を可能にするという点 で意味がある.評価のプロフェッショナルの存在は欠かせないが,関係者 の多くが評価に対して共通理解を持つこともまた重要である.評価は,発 注者や事業実施者などの関係者がその意義,プロセスを理解して初めて意 味を持つからである. 基準の設定は,米国,カナダ,大洋州(オーストラリア・ニュージーラ ★下線用12文字分ダミー★ 5 ただし TEI の評価マスター認定証(Master Evaluator Certificate)は例外で,指導者の 下で経験を積み,評価専門家としての仕事ができることを実証して初めて認定される(5-2 参照) . 6 評価の際に留意すべき原則を定めたもの. ○○○○ 7 ンド),アフリカのそれぞれ評価学会などで行われているほか,開発分野 では,DAC 評価ネットワークによって評価の品質基準(DAC Evaluation Quality Standards)が策定されている.いずれの場合でも,基準を守らな かったからといって罰則規定があるわけではないが,評価のプロセスにお いて何か問題(例えばデータの扱いやその公開,評価報告書の記述に関す る関係者間の意見の不一致,評価者の被評価者に対する態度に関する問題 7 など)が起きた際,関係者の判断のよりどころとなり得る . 2.評価者に求められる要件の変化 日本の ODA 評価や行政評価の分野では,まだ上記のような共通の評価 基準は設けられていないが,評価の内容や手順に関しては詳細なマニュア ルやガイドラインが整備されてきた.それによって標準化された評価を行 うことは,評価の普及を促し,一定の質を確保して,結果の提示とその活 用を容易にするなどの効果を生んだ.他方で,マニュアル化は評価デザイ ンの硬直化をもたらし,評価に求められていることと評価のアプローチと の不一致も生じている. 標準化によって一通りの評価が実施できるようになった今,評価対象の 個々の状況や評価の目的に合わせた評価手法の組み立てや制度の設計が求 められていると思われる.また,主として組織自体の進捗管理のための 「業績測定」と事業や政策の価値・是非を問う「評価」とが混在するため に不都合が生じているようなケースでは,二つは分けて考えたほうがわか りやすいと思われるが,その際に,マニュアルから離れて目的や背景・問 題を整理・分析し,個々のケースに最適な評価のアプローチを提案し,実 施することのできる評価専門家の必要性が高まってくると考えられる. 評価専門家としての役割を持つ人は,場合によっては一人でも評価を計 ★下線用12文字分ダミー★ 7 基準(Standard)については,AEA(2004),Canadian Evaluation Society(2008), African Evaluation Association(2002) ,Australasia Evaluation Society(2007) ,OECD(2006) を参照.なお OECD の基準に関しては藤本(2008) ,AEA 基準については藤田・野本(2004) の解説がある. 8 第 1 章 評価者の要件―評価研修の内容に関する考察― 画・実施できなければならないため,相当の知識や技能を備えていること が必要である.そのような立場の人には何が必要かを考えてみたい. 3.評価専門家に必要な知識・技能・態度 3 − 1.評価専門家の基礎的素養の体系化の試み 今日では,評価専門家になるための教育や研修の機会は増えてきている し,独学の傍ら経験を積んでいくことも可能である.そのような際に,何 ができれば評価専門家足りうるかが体系化されていれば,自己研鑽の参考 になると思われる. 評価専門家として持つべき知識・技能等を整理する試みは,カナダ,米 国,オーストラリアなどで過去に行われているが,関係者間で合意に達す るに至らなかった(King 2001).その理由は,前述のような,評価の定義 や評価はどうあるべきかに関する統一見解の欠如に加え,評価が様々なセ クターにおいて,様々な目的により,異なる理論・アプローチによって実 施されていることにある.例えば社会実験的な評価と参加型評価では,評 価専門家に求められる能力は異なるだろう. しかし,そのような差は,ある意味で瑣末的なもので,共通する部分の ほうが大きいのではないかと考える.有能な評価専門家として機能するた めに必要な知識(knowledge)・技能(skills)・態度(attitude)に関して, 当の評価実務家はどのように考えているかを調べる研究が,1998 年より King 等によって行われている(King et al. 2001,Stevahn et al. 2005, Ghere et al. 2006) .次節でこの概要を紹介したい. 3 − 2.King 等によるコンピテンシー研究の概要 King 等は,評価専門家に必須な能力は何か,という問いの答を,評価 実務家のコンセンサスによって導こうとした.草案は,米国における評価 ○○○○ 9 の規範である,Program Evaluation Standards(Joint Committee on Standards for Educational Evaluation 1994),The Guiding Principles of the American Evaluation(AEA 1995)等を基に,大学院の授業での演習とし て作成された.それを評価専門家に送ってコメントを要請し,“Essential Evaluation Competencies”として取りまとめた.Competencies は,優れ た能力を発揮する行動特性を指し,知識や潜在的な能力だけでなく,実際 にそれを発揮する力までが含まれる. 次の段階として,評価実務家を集め,Multi-Attribute Consensus Reaching(MACR)の方法を使って,各項目の重要性,どれだけ合意出来るか 等を検討し,修正を加えていった(MACR プロセスの詳細は King 2001 を 参照).この作業から,いくつかのことが明らかになった.一つは,誰に もアウトソーシングできないことが重要,ということである(例えば統計 処理は統計の専門家に外注すれば済む).また,評価専門家の置かれてい る状況(例えば大規模な公的機関の内部評価要員と,独立したコンサルタ ント)によって,項目の重要度は大きく違ってくる.そのような中で,重 要性に関し 100 %に近い一致を見たのは,評価設問の適切な設定と,倫理 的な取り組みに関する項目であった.その後,米国・カナダの専門誌に発 表してさらに意見を募り,最終的に抽出された 6 つの項目は,次のような ものである. 10 第 1 章 評価者の要件―評価研修の内容に関する考察― プログラム評価者(*)に不可欠なコンピテンシー (Essential Competencies for Program Evaluators) (1)プロフェショナリズム 評価の仕事の基盤となる,プロとしての倫理や規範に基づいて仕 事ができること. (2)体系的な調査能力 評価のデザイン・測定,データ分析,解釈,結果の共有などにお ける技術・能力を持ち,発揮できること. (3)評価対象の周囲にある,様々な状況・背景の分析能力 評価可能性の判定,対立的な状況,評価の活用等に際して,状況 を適切に分析し,対応できること. (4)プロジェクト管理能力 評価を最初から最後まで動かす勘所をおさえていること.契約交 渉,予算,必要なリソースの特定と確保,評価を期限までに完了 させる力を備え,発揮できること. (5)専門家としての自覚と更なる研鑽の必要性の認識 評価のプロとして自覚し,内省しつつ更なる研鑚の必要性を認識 し努力すること. (6)評価の実施に必要な,対人関係における能力 コミュニケーション能力(聞く・書く・話す)・交渉力を発揮し, 異文化にも適切に対応できること. (Ghere et al. 2006, p110. 各カテゴリーの詳細は別添資料 3 を参照) (*)ここでのプログラム評価の定義は脚注 2 に準じる. この中で,「評価の倫理・規範に基づき,プロとしての仕事ができる能 力」が冒頭に来ていることは注目すべきである(別添資料 3 を参照).「プ ロフェッショナルな評価基準を適用する(1.1)」が真っ先にあげられてい る.その他の項目の中には,「評価の実施において,倫理的に振舞い,誠 実で公正であるよう真剣に努力する(1.2)」,「潜在的なクライアントに, 自らの評価のアプローチや技能を説明する(1.3)」(即ち自分の信念,実 力と限界を偽らない) , 「発注者,被調査者,事業参加者,その他の関係者 を尊重する(1.4) 」 , 「評価の実施において,公共の福祉に配慮する(1.5) 」 ○○○○ 11 などが含まれる. 続いて,2.体系的な調査能力,3.分析能力,4.プロジェクト管理能 力,5.自己研鑽,と続き,最後は,6.対人関係における能力があげられ ている.全体として,倫理観・プロ意識と,一般的な調査能力に加え“サ ービス提供者”としての能力・センスが必要とされていることがわかる. この一連の取組みから King は,「評価に不可欠な能力」は確かに存在 すること,そのクライテリアをリストアップすることは,評価専門家が自 らの仕事を見直し,その後の評価活動を考える助けになると述べている. 4.ODA 評価者の要件 King 等による 6 つのコンピテンシーの特定は,主として米国内におけ る事業評価を想定しているが,開発援助評価の場合は,さらにどのような ことに留意すべきだろうか. 途上国の開発のための事業も,先進国の公的な事業も,社会の改善 (Social Betterment)という目的は変わらない.そのような事業を更によ くするため,またその結果を関係者に伝えるための評価という目的も同じ である.ただし,同じような事業でもその背景や文化が大きく違うところ での評価となることは言うまでもない.また開発援助評価の場合,被援助 国側(政府・人々)にとってのアカウンタビリティと,援助国側(政府・ 人々)にとってのそれの双方を確保することが必要になる. では,評価専門家に必要な能力という面ではどのような違いがあるだろ うか.以下,思いつくままに挙げてみる. ○評価者が提供する情報には,一層の信憑性・客観性が要求される 納税者は,海外で援助資金が効率的に使われないケースに敏感で ある.それは,複数の情報によって検証することが困難であるとい う情報の限定性や,一部の関係者や ODA モニター等を除けば,自 分の目で確かめることがほぼ不可能なことによるものと思われる. そのため,評価者が提供する情報には,一層の信憑性・客観性・専 12 第 1 章 評価者の要件―評価研修の内容に関する考察― 門性が求められる. ○異文化や社会規範の違いに対する一層の配慮が必要とされる 異なる文化や社会規範を尊重すべきことは当然のことであり,国 内にも言語や文化の異なる民族を抱える国々にとっては特別なこと ではない.いずれにしても ODA 評価者には,評価対象の国や地域 の文化や考え方をできる限り深く理解して臨む姿勢が必要である. ○ドナー側の評価者であることに関し,振舞いには特段の配慮が必要と される たとえ第三者である外部のコンサルタントであっても,ドナー側 の人間が評価者として相手側に向き合う場合には,有形無形のプレ ッシャーがかかっていることに十分留意する必要がある.回答にバ イアスがかかっていることもある(実態よりも悪く言って更なる支 援を要請したい,あるいは大変役に立っている,助かっていると言 ってドナーを喜ばせたい,等).それより何より重要なのは,威圧 的な態度や見下すような態度を決して取らないことである. ○異言語環境,データ収集が困難な環境での柔軟な対応が必要とされる 現地の言語を母国語並みに話せない限りは,優秀な通訳等の現地 パートナーが必須であるが,その上で,誤訳と発言者の言い違い・ 事実誤認を瞬時に判別できるように周到な事前準備が求められる. データの収集が困難であったり,突発的な事態が発生した場合でも, 機敏に対応できる柔軟性も必要である. ○パートナー国側への評価の技術移転を常に念頭におく必要がある 開発援助評価の場合,援助国側の国民へのアカウンタビリティの 確保が一つの重要な目的となっているが,やがてはパートナー国側 によって独自の評価がなされるように,評価の技術移転を常に意識 しておく必要がある.その点では,評価者には教育者的役割も求め られる. こうしてみる限り,ODA 評価であることで特別に必要とされることは, ドナーとしての“良識”であり,その他は程度の違いはあっても国内にお ける評価と変わりはないように思われる. ○○○○ 13 5.評価人材育成への示唆 5 − 1.FASID の評価人材育成研修 人材育成機関である国際開発高等教育機構(FASID)においてはこれま で,評価人材育成に役立つ研修カリキュラムや研鑚の機会を提供すること を大きな課題としてきた.1990 年度から「プロジェクトサイクル・マネ ジメント研修モニタリング・評価コース」として,また 2000 年度からは 評価経験者向けのブラッシュアップ研修として,「評価ワークショップ」 8 を毎年実施している . 「評価ワークショップ」のコース内容(別添資料 4 参照)を King 等の コンピテンシー・クライテリアに照らすと,「2.体系的調査能力」が格段 に多いことがわかる. 「1.プロフェショナリズム」の研修も過去には実施 したが,参加希望者が他のコースに比べて極端に少なかった.これは,評 価の倫理や基準はわざわざ研修を受けるまでもなく自明のことと考えられ 9 ているためと思われる が,参加者からは,非常にためになった,考えさ せられた,という感想が多かった.過去 2 年間はこの評価倫理や評価基準 と銘打ったコースは開設していないが,それに準じた内容を他の調査手法 のコースの中で織り交ぜている.「3.状況分析能力」の一部についても, 年によっては扱っている.評価のみならず他の業務とも共通するスキルで あり,FASID では別の研修コースとして開設している.「6.対人関係に おけるスキル」については,ファシリテーションや参加型評価に関する研 10 修の中で扱っている . ★下線用12文字分ダミー★ 8 「プロジェクトサイクル・マネジメント研修モニタリング・評価コース」(通常 4 日 間)は年に 2 回実施されている. 「ODA 評価者のための評価ワークショップ」は,ODA 評価 経験者(発注側を含む)を対象にしており年によって 8∼14 コース,日数にして年 12∼25 日間程度(18 年度までは,海外研修約 10 日間).モニタリング・評価コースの修了者は 1991 ∼2007 年で 3083 人,評価ワークショップの修了者は 2001∼2007 年で延べ 565 人である. 9 また,「倫理の研修を受けに行く」と言えば倫理を知らないと表明するようで,上司 に言い出しにくいという意見も聞かれた. 10 「インタビューの基礎」「フォーカス・グループ・ディスカッションの実践」「参加型 評価の理論と実践」 「ファシリテーション・ワークショップ」等. 14 第 1 章 評価者の要件―評価研修の内容に関する考察― FASID の「評価ワークショップ」は,開発援助の評価者を対象として いることから,プログラムもそれに配慮し,「参加型貧困アセスメント」, 「ODA 事業での社会調査」,「キャパシティ・ディベロップメントの評価」 などを組込んでおり,さらに折に触れ各コースの中で講師が開発の文脈に おける留意点に言及している.今後の研修プログラムの策定においては, 調査能力に偏らず,開発援助評価であることを踏まえ,かつ参加しやすい テーマ構成で実施することが必要と考えられる. 5 − 2.TEI の研修 参考までに,Smith が主宰する TEI の研修を見てみよう.TEI は全米 3 か所で年に各一回ずつ,10∼12 日間の主として実務者向けの評価研修を 提供している.4 コースまたは 5 コースが同時並行で進行する,大がかり な研修である.この研修を一定時間受講すると,次の 4 種類の認定証が発 行される. (1)評価実務認定証:最も基礎的な修了証.計 30 日間の研修受講が要 件. (2)評価実務上級認定証:上記(1)の上級版.(1)に加え 30 日間の研 修受講が要件. (3)定量的評価手法認定証:定量的手法に特化.(1)の修了が強く推奨 されるが,必須ではない.定量的評価に重点を置いた 30 日間の研 修受講が要件. (4)評価マスター認定証:(1)と(2)を修了後,メンターの指導によ り経験を積んで独立した評価者として仕事ができることを実証する. 実際に知識を活かし能力を発揮できるかどうかという実践能力まで が問われる. これらの認定取得のために必要なコースは別添資料 5 のとおりである. TEI でも King 等が言うところの 2.の体系的調査能力関連が多いが,1. のプロフェショナリズム,3.分析能力,4.管理能力,6.対人関係にお ける能力まで幅広くカバーされていることがわかる.上述のとおり,最も ○○○○ 15 基礎的な「(1)評価実務認定」でも 30 日間の研修であるから,重要なテ ーマは全て一通り組み込むことが可能になっている.また,1 回の研修で は終えることができず,最短でも 1 年半位の期間に実務をこなしながら 3 回以上の研修を受講することになり,問題意識が明確になって研修効果も 上がるものと考えられる.TEI は評価の教科書に名を連ねているような理 論家をはじめとする一流の講師陣を手厚く配置し,受講者評価や Smith 自身による授業モニタリング等により,研修の質を確保しているのも特徴 11 である .この認定制度の意義は,既に述べたように,自己研鑽の指針と なることである. 5 − 3.日本評価学会の評価士養成講座 「評価士(初級)養成講座」(別添資料 2)は,類似の制度である TEI 評 価マスター認定(60 日間プラス OJT)と比べると 6 日間と短い.しかし その内容としては,評価者倫理や社会的責任,評価の論理を盛り込んで King のクライテリア「1.プロフェショナリズム」をカバーしており,「2. 体系的調査能力」,「3.状況分析能力」を中心としつつ,さらに自治体評 価,学校評価,ODA 評価などの専門分野別の解説や,最新の評価活動の 動向など「今後の展望」までが盛り込まれていることが特徴となっている. 「評価士」と呼ばれるためには,この他にも対人関係におけるスキルや 交渉力を磨き,自ら専門家のネットワークを構築しつつ,自己研鑽を積ん でいくことが求められよう.さらに,そのようにして養成された「評価士」 が依拠する倫理や規範を示す何らかの評価基準の設定も有効であると思わ れる. ★下線用12文字分ダミー★ 11 TEI は行政評価,教育評価をはじめ評価に関る全ての人が対象で,2007 年の例で年間 60 コースが提供されている.複数のコースが同時進行し,延べ日数にして 129 日間.ついで ながら受講料は,ほぼ全額受講者負担で 1 日 425 ドル(FASID は外務省からの委託を受けて 実施しており 1 日 3 千円) . 16 第 1 章 評価者の要件―評価研修の内容に関する考察― 6.おわりに 以上見てきたように,評価専門家としてのより総合的な能力としては, 調査の技術的なスキルだけでなく,評価倫理,マネージメント,対人関係 におけるスキルなども重視する必要がある. また,途上国での ODA 評価という状況を考慮すると,評価に先立って, まず開発に関する理解,異文化・異なる社会通念に対する理解,人間関係 における配慮や,ともに学び,経験や知識を分かち合う姿勢が求められる と言える.これは評価に限らず,開発の世界に身を置く人々にとっては必 須であることは言うまでもない.また ODA 評価者は海外での仕事が中心 となることから,特に他のドナーやパートナー国との合同評価の場面など では,国際的な要求水準を満たす専門性や,パリ宣言などのグローバルな 援助動向の把握も必要である. 評価専門家の育成において,研修でできることはそのうちの一部でしか ないが,ODA 評価においては,国内での類似の評価の際に必要な,倫理 やプロフェショナリズム等の要件に加え,以上のような開発の文脈におけ る配慮が求められており,評価人材育成においてもこれらの要素を組込ん でいくことが必要である.DAC 5 項目評価も業績測定も,外から日本に 持ち込まれてきたが,結局,評価がどうあるべきかは,評価に何を求める かによって決まり,それによって評価者に必要なコンピテンシーも自ずと 規定されてくると思われる. ○○○○ 17 別添資料 1:カナダ評価学会の Essential Skills Series 研修の内容 (出所)Canadian Evaluation Society(2008) 別添資料 2:日本評価学会の評価士(初級)養成講座の内容(第一期.2008 年) (出所)国際開発センター(2008) 18 第 1 章 評価者の要件―評価研修の内容に関する考察― 別添資料 3:「プログラム評価者に不可欠な能力」(King 等による) (出所: Ghere et al, 2006) ○○○○ 別添資料 4:FASID 評価ワークショップ コース内容 2006 年 (出所)FASID 2007 年 (出所)FASID 19 20 第 1 章 評価者の要件―評価研修の内容に関する考察― 別添資料 5:TEI の認証プログラム Ⅰ.評価実務認定証 Certificate in Evaluation Practice(CEP) (出所)The Evaluators’ Institute(2008) Ⅱ.評価実務(上級)認定証 Certificate in Advanced Evaluation Practices(CAEP) ○○○○ 21 (出所)The Evaluators’ Institute(2008) Ⅲ.定量的評価手法認定証(Certificate in Quantitative Evaluation Methods(CQEM) ) (出所)The Evaluators’ Institute(2008) Ⅳ.評価マスター認定証 Master Evaluator Certificate(MEC) CEP と CAEP を修了後,メンターの指導により経験を積んで独立した評価者 として仕事ができることを実証するポートフォリオを提出する. (出所)The Evaluators’ Institute(2008) 22 第 1 章 評価者の要件―評価研修の内容に関する考察― 参考資料 国際開発センター(2008)「評価士(初級)養成講座」http://idcj.or.jp/9evaluation/CPE4_0.html 藤田伸子,野本綾子(2004)『評価における倫理的な問題とスタンダード』,日本評 価学会 第 5 回全国大会発表要旨収録 藤本真美(2008)「DAC における評価を巡る議論」『開発援助動向シリーズ 5 開発 援助の評価とその課題』国際開発高等教育機構 The African Evaluation Association(2002)The African Evaluation Guidelines, Retrieved January 9, 2007, from http://afrea.org/content/index.cfm?navID= 5&itemID=204 American Evaluation Association(2004)Guiding Principles for Evaluators. Retrieved February 9, 2008, from http://www.eval.org/GPTraining/GP%20Training%20 Final/gp.principles.pdf Australasia Evaluation Society Inc. Code of ethics. Retrieved January 9, 2007, from http://www.aes.asn.au/ Australasia Evaluation Society Inc. Guidelines for the ethical conduct of evaluations. Retrieved January 6, 2007, from http://www.aes.asn.au/ Canadian Evaluation Society. Essential skills series. Retrieved February 1st, 2008, from http://evaluationcanada.ca/affichage/cesncc_20080129_en.pdf Canadian Evaluation Society. CES Guidelines for ethical conduct Retrieved January 6, 2008, from http://www.evaluationcanada.ca/site.cgi?s=3&ss=3&_lang=en Davidson, E.J.(2005)“Marketing evaluation as a profession and a discipline,” Journal of multi-disciplinary evaluation, No.2. Retrieved January 6, 2007, from http://evaluation.wmich.edu/jmde/ The Evaluators’ Institute, Certificate Program for Professional Evaluators, Retrieved March 26, 2008, from http://www.evaluatorsinstitute.com/certificate_program_ overview.php Ghere, G., King, J.A., Stevahn, L. & Minnema, J.(2006)A Professional development unit for reflecting on program evaluator competencies. American Journal of Evaluation, 26, 43-59 The Joint Committee on Standards for Educational Evaluation, The Program Evaluation Standards - How to Assess Evaluations of Educational Program, 2nd Edition (1994). Sage Publications King, J. A., Stevahn, L., Ghere, G., & Minnema, J.(2001)Toward a taxonomy of essential program evaluator competencies. American Journal of Evaluation, ○○○○ 23 22,229-247 Mabry, L.(2008)Consequences of No Child Left Behind on Evaluation Purpose, Design, and Impact. New Directions for Evalution, 117, 21-36 OECD DAC Evaluation Network(2006)DAC Evaluation Quality Standards(for test phase application). Retrieved January 9, 2007, from http://www.oecd.org/ dataoecd/34/21/37854171.pdf The Oral History Project Team(2005)The Oral History of Evaluation, Part 3. The Professional Evolution of Michael Scriven. American Journal of Evaluation, 26 (3), 378-388 Patton, M.Q.(1997)Utilization-focused evaluation. Sage Publications Rose, K(2001)AES Standards. Workshop on AES standards development. Evaluation Journal of Australasia, vol.1, No.2 Smith, M. F.(1999)Should AEA begin a process for restricting membership in the profession of evaluation? American Journal of Evaluation, 20,521-531 Stevahn, L., King, J.A., Ghere, G., & Minnema, J.(2005)Establishing Essential Competencies for Program Evaluators. American Journal of Evaluation, 26, 43-59 Stufflebeam, D.L.(2001)Self-Assessment of Program Evaluation Expertise. http:// www.wmich.edu/evalctr/ess/self-assessment_instrument.pdf Worthen, B.R.(1999)Critical challenges confronting certification of evaluators. American Journal of Evaluation, 20, 533-555.
© Copyright 2024 Paperzz