精神保健福祉領域における プログラム評価

研究セミナー「プログラム評価の動向と課題(1)」
精神保健福祉領域における
プログラム評価
日本社会事業大学社会福祉学部
精神保健福祉学分野 大 島 巌
1. 保健・医療領域におけるプログラム
評価の位置と近年の新しい発展
z
1920年前後より公衆衛生分野を中心にプログ
ラム評価が発展
z
教育学領域とともに、保健・医療領域における
評価研究は、プログラム評価の礎になる
z
1990年代以降、科学的根拠に基づく医療
(Evidence-Based Medicine; EBM)が注目される
1
(山谷清志、1997)
1. 保健・医療領域におけるプログラム
評価の位置と近年の新しい発展(2)
z
EBMとともに、
z 心理・社会的介入プログラムを、科学的に社会シ
ステムに位置づけようとする、科学的根拠に基づく
実践(Evidence-Based Practices; EBP)
z 治療法や治療システムに関する、科学的で適切な
意思決定を行うことを目指した科学的根拠に基づ
く保健医療ケア(Evidence-Based Healthcare;
EBHC)などに対して、多くの関心が向けられる
z
プログラム評価方法論の活用とその方法論の発展
2
2. EBMと精神保健福祉サービス
EBMとは
z
直感やあやふやな経験に基づく医療ではなく、科学
的に明確なエビデンス(証拠)に基いて最適な医療や
治療法を選択し実践するための方法論、あるいは行
動指針
z
各種疾患に対する、さまざまな治療法・介入方法の
効果を、メタ分析を用いたシステマティック・レビュー
(SR)によって明確化することを重視する
z
ランダム化比較試験(RCT)によって明らかにされた効
能研究efficacy researchの結果が、レベルの高いエ
ビデンスとして尊重される
2. EBMと精神保健福祉サービス
EBMの歴史
z
1991年 カナダのマクマスター大学のGuyattが初め
てEBMの用語を使用
z
同大EBMワーキンググループがEBM概念を発展
z
1992年 コクラン共同計画(The Cochrane Collaboration;
CC)によるシステマティック・レビュー(SR)
z
1990年代中頃以降、世界的な医療の新たなパラダイ
ムになる
z
1990年代中頃以降、EBMに基づく治療ガイドラインが
相次いで、数多く公表される
3
図 Evidence-Based Practices関連論文(タイトルに使用)の
年次別出現頻度(Medline)
論文件数
250
200
150
100
50
0
1992
1993
1994
1995
1996
Evidence-Based Practices
1997
1998
1999
2000
2001
2002
2003
Evidence-Based Medicine
2. EBMと精神保健福祉サービス
プログラム評価の視点からみたEBM
z
z
z
z
z
EBMで重視される臨床試験自体は、直接的には、プログラム評価
に分類されない
一方、ケアマネジメントや家族介入プログラムなどの心理社会的
介入プログラムは、プログラムの有効性を科学的に明らかにする
ために、プログラム評価の手法が活用される
精神保健福祉領域では、薬物療法などの身体療法のみならず心
理社会的介入プログラム(EBP)が身体療法と同等の効果を示す
EBPプログラムを臨床・実践現場で実施していくためには、臨床・
実践現場という社会システムの中にそのプログラムを位置づける
こと、最終的には社会政策的な位置づけが不可欠になる
科学的根拠に基づく実践(Evidence-Based Practices; EBP)プログラム
4
3. 心理社会的介入プログラム普及研究とプログラム評価
科学的根拠に基づく実践プログラム(EBP)とは
z
利用者の援助効果を向上させる一貫した科学的証拠
のある援助プログラムのこと
z
これらのプログラムは、有効性に関する十分な証拠と
合意がありながら、実践に移せなかったり、プログラム
基準を満たさない不十分な実践しか行えていない
z
利用者の自立や生活の質の向上を実現するために、
利用者はEBPを活用する権利があり、限られた資源の
中でEBPを優先的に提供する必要がある(Drakeら、
2001を整理・改編)
図1 家族支援プログラム研究による再発率(9ヶ月後予後)
11
ゴールドスタインら(1978)
29
9
レフら(1982)
家族支援
コントロール
50
6
ファルーンら(1982)
44
10
ハガティら(1986)
29
12
タリアら(1988)
48
0
20
40
%
60
5
家族支援プログラムの有効性
●メタ分析の結果:
条件に合致した6研究(n=350人)の再発率低減に
関するOdds比(信頼区間):
介入6ヶ月
0.30(0.06-0.71)
介入9ヶ月
0.22(0.10-0.37)
介入2年
0.17(0.10-0.35)
●再発率以外の効果:
家族のExpressed Emotion(EE)を改善する効果
家族の負担を低減する効果
障害者本人の社会機能が向上する効果など
ケースマネジメント(ACT、ICM)のRCT研究(n=25)
結果(研究数)
研究数① 改善②
件
不変
件
改善率
悪化
件
(②/①)
件
%
入院期間
23
14
8
1
60.9
住居定着期間
12
9
2
1
75.0
刑務所/留置所
10
2
7
1
20.0
コンプライアンス
4
2
2
0
50.0
精神症状
16
8
8
0
50.0
薬物乱用
6
1
5
0
16.7
社会適応度
14
3
11
0
21.4
職業機能
8
3
5
0
37.5
QOL
13
7
6
0
53.8
患者満足度
7
6
1
0
85.7
家族満足度
4
2
2
0
50.0
Mueser et al(1998)
6
IPS援助付き雇用のRCT研究(n=12)に
おける一般就労率の比較
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
96
NH
(IPS)
94
NY
(SE)
04 CA 04 IL 04 CT 04
99 DC 95 IN
(IPS) (IPS)
(IPS)
SC
(IPS)
(SE)
(IPS)
Supported Employment
Control
00
NY
(SE)
04 QUE 97 CA
(IPS)
(SE)
02
MD
(IPS)
Control 2
表 治療・援助プログラムのガイドライン(勧告)の実施率
アメリカ統合失調症PORT研究、1998、n=719
ガイドライン(勧告)
入院
通院
%
%
急性期向精神薬の使用
89.2
-
維持的向精神薬の使用
-
92.3
家族介入、家族心理教育
31.6
9.6
職業リハビリテーション
30.4
22.5
ACT、積極的ケースマネジメント
8.6
10.1
7
EBPツールキットプロジェクト
• 包括型ケアマネジメント(Assertive Community
•
•
•
•
•
Treatment: ACT)
家族心理教育(Family Psychoeducation: FPE)
援助付き雇用プログラム(Supported Employment)
疾病管理とリカバリープログラム(Illness
Management and Recovery: IMR)
統合的重複障害治療(Integrated Dual Disorders
Treatment: IDDT)
薬物管理アプローチ(Medication Management
Approaches in Psychiatry: MedMAP)
※アメリカ連邦保健省薬物依存精神保健サービス部(SAHMSA) 精神
保健サービスセンターとの委託契約とRobert Wood Johnson
Foundationの補助金によって実施されている
EBP ツールキットの目次構成
z利用者ガイド
z情報提供
利用者に/家族と他の支援者に
実践家と臨床指導者に
精神保健プログラムのリーダーに
z実施方法
精神保健プログラムリーダーの工夫
精神保健行政担当者の工夫
文化的な適用
フィデリティ評価法・尺度
利用者のアウトカムモニタリング法・尺度
z実践家と臨床指導者のためのワークブック
zビデオ
紹介ビデオ/実践紹介ビデオ
8
EBMとEBPの実施プロセスの違い
z EBM
①問題の定式化
②科学的なエビデンスの収集【Systematic Review; SR】
③エビデンスを批判的に吟味して信憑性を確認【SR】
④エビデンスの使用可能性を判断して患者に適用【治療ガイドライン】
z EBP
①問題の定式化
②科学的なエビデンスの収集【SR】
③エビデンスを批判的に吟味して信憑性を確認、
個別状況に応じた効果的なプログラムモデルを確認【SR】
④EBPの実施技法、実施体制を整備【援助プログラムのシステム化】
⑤EBPの使用可能性を判断して利用者に適用【援助システム・普及シス
テムを含むガイドライン】
アメリカ連邦政府EBPプロジェクトの歴史
1989 脳の10年 (国立精神保健研究所)
統合失調症研究国家プラン
1991 国立精神保健研究所・サービス改善のための国家研究計画
1992 統合失調症 PORT (Patient Outcomes Research Team)プロジェクト開始
1995 PORT報告書 No. 1: EBPに関する文献研究のまとめと政策提言
1997 アメリカ精神医学会、統合失調症治療ガイドライン
1998 PORT報告書 No. 2: 治療・介入の勧告と勧告実施状況に関する利用者調査
1999 精神保健に関する公衆衛生長官レポート
連邦 EBPツールキット・プロジェクトのスタート
2002 国立精研、全州精神保健プログラム責任者全国協会(NASMHPD)、専門学会
など各種機関・団体がEBPの全国集会、シンポジウムを開催する
2003 PORT勧告改訂版
精神保健に関する大統領ニューフリーダム委員会報告
2006 EBPツールキットの完成
9
統合失調症PORT治療推奨の構成
z 30項目からなる
z 構成:
薬物療法:急性期症状エピソードの治療(7項目)
z 薬物療法:維持的薬物療法(5項目)
z 薬物療法:新しい抗精神病薬治療(4項目)
z 薬物療法:付加的薬物療法(2項目)
z 電気痙攣療法(3項目)
z 心理的治療(2項目)
z 家族介入(3項目)
z
職業リハビリテーション(2項目)
z ケースマネジメント・ACT(2項目)
z
統合失調症PORTの特徴
z
連邦政府の支援を受けて実施されたプロジェクト
z
EBPを効果的に日常実践に取り入れることを目的
z
効能的Efficaciousなプログラムを、効果的Effectiveな
実践にするための方法を検討する目的を持つ
z
EBPを実施するためのサービスシステムを重視
z
EBPに関わる様々な利害関係者(stakeholders)たちの
関心に配慮して、多様で幅広い効果に注目
z
アドボカシーAdvocacyや品質保証Quality Assuarance
の目的でも使用可能
10
EBPに基づくサービス研究/普及研究の
方向性(1):4レベルの研究(Rosenheck, 2001)
z
efficacy research(効能研究)
z
effectiveness research(効果研究)
z
effectiveness studies(有効性研究)
z
dissemination process research
(普及プロセス研究)
EBPに基づくサービス研究/普及研究の
方向性(2):サービス普及研究の研究領域
z 効果的プログラムモデル構築に関する実証研究の進展
z 効果的な援助要素(critical ingredients)の抽出
z 効果のある援助対象者の明確化
z 実施可能な援助プロセスの解明
z 普及のためのプログラムモデルの構築
→フィデリティ尺度の構築
z 行政組織に関する研究、医療経済研究・財政分析
z サービス組織のスタッフ・指導者の知識・技能・教育に関
する研究
z 組織過程に関する研究
z 合意形成に関する関係者の意識に関する研究
11
フィデリティ評価(Fidelity assessment)とは
z 特定のプログラムが、科学的根拠に基づく実践
(EBP)の基準に従っている程度の評価
z プロセス評価の一部であり、効果的なプログラムモデ
ルへの適合度・忠実度(fidelity)を評価する
z 効果的で、質の高い援助要素を同定して作成される
フィデリティ評価とは(2)
z EBPモデルに忠実に実施されたプログラムは、より良
いアウトカムをもたらすために重要と考えられる
z サービスの質のモニタリングや、プログラムモデルを
発展・改善させるために使用される
z 評価尺度としての社会的認知は、1995年前後に包括
型ケアマネジメント(ACT)に対するフィデリティ評価で、
その有効性を明らかにしてから
z 今日では、プログラム評価における必須の用具と認
識される【ツールキットの主要用具】
12
フィデリティ評価の進展を阻害する要因
z十分に定義されたプログラムモデルの欠如
もっとも主要な要因は、十分に定義されたプログラムモデル
に欠けること。ACT、SE、FPE、SSTを除いて、適切な援助法マ
ニュアル(treatment manual)さえ存在しない
⇒EBPツールキットプロジェクト(1999-)
z精神科リハビリテーションの複雑さ
zフィデリティ評価にとって大きなチャレンジ
zプログラムの構造的側面(スタッフ配置など)とともに、プ
ログラムの援助機能もモデル化する必要性
代表的なフィデリティ尺度:DACTS
(Dartmouth Assertive Community Treatment Scale)
z
ACTモデルfidelity評価する尺度として、Teagueら(1998)によっ
て開発され、国際的に幅広く使用される
z
3領域「スタッフの配置」「組織」「サービスの特徴」 28項目から
なる、5段階評価尺度
z
プログラムと関わりを持たない評価者が、以下に挙げる様々な
情報源から情報を入手し、それを総合して評価
z
情報源:同行訪問面接などで援助場面の観察やミーティングの
観察、チームリーダーやケースマネジャー、利用者への面接、
記録の確認
13
項目の例
z 毎日行われるチームミーティング:
ACTチームは少なくとも週4回の
チームミーティングを持つ
14
モデル実践度尺度(Fidelity Scales)と入院日数減少の関連
実践度尺度、下位項目
r
全実践度
0.60
スタッフサブスケール
0.54
クライエント・スタッフ比
0.19
チームサイズ
0.35
精神科医がチームにいる
0.28
看護師がチームにいる
0.49
組織サブスケール
0.56
ケースロードの分担
0.65
チーム会議を毎日実施
0.49
ケースマネジャーが直接サービス提供
0.46
24時間対応サービス
0.55
サービスサブスケール
0.33
訪問サービスの回数
0.31
全接触回数
0.59
注:n=18 地域精神保健センター(McGrew et al 1994)
最も重要な予測因子
z チームに看護師がいること
z ケースロードの共有
z 毎日行われるチームミーティング
z チームリーダーが利用者に会うこと
z 合計コンタクト回数
(McGrew, Bond, Dietzen & Salyers, 1994)
15
弁別妥当性の結果(ACTチームは他のケースマネジメ
ントと異なる(Teague, Bond, & Drake, 1998))
プログラム
の種類
サイトの数
ACTフィデリティ
ACT
14
4.01
VA病院 ICM
10
3.52
ホームレスCM
15
3.42
従来のCM
11
2.38
5 = 最高のフィデリティ….1 = 最低のフィデリティ
予測妥当性の結果(McHugoら、1999)
z
精神疾患と物質関連障害をもち、7つの地
域精神保健センターでACTを利用するクラ
イアエントが対象者
z
4つの高フィデリティACTチーム (n = 61)
z
3つの低フィデリティACTチーム (n = 26)
z
厳密な3年間のフォローアップ研究
16
予測妥当性の結果
高フィデリティ 低フィデリティ
ACT
ACT
支援からのドロップアウト
15%
30%
物質利用の軽減
58%
13%
入院(回数)
2.87
4.69
(McHugoら、1999)
なぜフィデリティ尺度を使うのか?
z
活動の実施状況を明らかにし、援助の質を
向上させる
z
新たなプログラム実施を追求する現場へ、
具体的なフィードバックを提供する
z
行政機関に対して、プロジェクト目標の達成
状況の情報を提供する
z
情報を公共のために公開する
17
4. 課題と展望:
プログラム評価論の発展への示唆
z
効能研究efficacy researchから、効果研究effectiveness
research、有用性研究effectiveness studies、普及プロセス
研究dissemination process researchの位置づけ、役割分担
の明確化
z
効果的で、実施可能なプログラムモデル構築の必要性
z
フィデリティ評価の重要性、アウトカムと結びつけたプロ
セス評価の必要性
z
実施・普及ツールキットの意義
4. 課題と展望:
プログラム評価論の課題
z
サービス普及研究の観点から、効果的な援助要素に
関するより詳細な分析が必要。特に、サービス機能に
関する援助要素の検討はこんごの課題
z
実施・普及ツールキットをより優れたものにして行くため
に、その内容をプログラム理論(プロセス理論)の観点
からより詳細に検討することが必要
z
サービス普及研究の位置づけと、その方法論の発展
z
サービスの質評価・モニタリングに、アウトカムの視点
をより十分に導入することが必要。フィデリティ評価の
活用
18