【異文化言語教育評価論 IB】 2014/10/15 担当： S.M Many-Facet Rasch Measurement （MFRM、多相ラッシュ測定） Chapter 1 1.1 Facets of Measurement (1) Reading comprehension test テスト形式：受験者がテキストを読み、質問に答える（選択肢から適切な解答を選ぶ）。正しく解 答する見込みは、受験者の熟達度と項目の難易度による。 測定の相(facets) : 測定の過程で最終的な得点に影響をあたえるもの ①受験者（examinee facet）②テスト項目(item facet) ①と②は相互に作用し、観測された反応（解答）を産出する。 (2) Task-based writing performance assessment テスト形式：要約エッセイを書く。訓練された評価者たちが一つの総合評価基準を使い採点する。 得点はライティング能力、タスクの難しさ、評価者の特徴、評価基準による。 測定の相(facets) :①受験者、②タスク、③評価者（rater facet） テスト結果、計量心理学の質 に深刻な影響を与える。 (3) Speaking test テスト形式：難易度の異なるタスクで試験官は受験者から言語を引き出し、テープに録音し、評価 者が分析基準をもとに採点する。得点に影響を与える変数は、受験者のスピーキング力、 タスクの難しさ、試験官、評価者の特徴、評価基準、評価基準のカテゴリーなどがある。 測定の相(facets)：①受験者, ②タスク、③試験官（interviewer facet） 、 ④採点基準(scoring criteria facet)、⑤評価者 ・(2)(3)は Rater-mediated assessment, performance test ・信頼性、妥当性、公平性が高い測定は、多相測定状況を特徴づける可変性の多重資源を上手く扱う よく計画された手法を行う必要がある。 ■Facet の定義 p.3 ・A facet can be defined as any factor, variable, or component of the measurement that is assumed to affect test scores in a systematic way. ・Faces are of substantive interest (examinees), as well as facets that are assumed to contributive systematic measurement error (raters, tasks, times of testing). ■Many-Facet Rasch Measurement の流れ p.4 ・MFRM には３つのステップがある。 Step１ 計画 Step２ 評価に関係する相に基づ 各相を組み入れるのに最 各相の影響を説明するた いた仮説立てる。 適な測定モデルを特定す めにモデルを適応する。 選択 Step３ 実行 る。 仮説の修正・再検証へ Step1 ・計画、評価手順の開発を注意深く点検する。 ・この段階で考えられる問題は、評価のターゲットとなる受験者グループ、評価者を選ぶこと、採点 のスキーマの構成要素を決定。 ・評価に影響を与えると推定することができる要因を特定する。 Step2,3 ・適切なモデルを特定することはどの要因が評価の過程で作用するかという質問の答えになる。 ・適応するモデルは全体的なモデル化法の妥当性を知る上でのきっかけとなる 〈授業後まとめ〉 妥当性・信頼性が高いテストを作るためには様々なファセットを考慮しなければならない。特にスピ ーキングテストは複雑で、評価者や試験官といった人的はファセットが原因となりしばしば公平な評価 がされていない。春学期の授業を通じて評価者間信頼係性について学んだが、ラッシュモデルでは学習 者の能力と評価者の厳しさや一貫性を同時に分析できる点が新しいと感じた。特に規模の大きなテスト ではこのように多くの変数を一度に分析し、効率よく言語能力を測定できるシステムが必要なのではな いだろうか。 １章はファセットの説明が目的であった。２章で数式がいくつか出てきて理解できるか心配したが、 分かりやすく説明してくれていたので安心して読むことができた。これからも予習と授業でラッシュ測 定について理解を深めていきたい。
© Copyright 2024 Paperzz
