第 3 回：オーストラリア ACER に学ぶ教育アセスメントの現場 ─アセスメントの採点システムと法学適性試験 ALSETを中心に─ ● 大澤公一［東京大学大学院教育学研究科総合教育科学専攻博士課程］ おおさわ こういち ● 東京大学大学院教育学研究科 総合教育科学専攻博士課程 韓国教育課程評価院（KICE） 客員研究員。 専門は心理・教育測定学。 オーストラリアの大学入学適性試験の事例及び教育アセスメ おくことは、今後各国の法学適性の構成概念を相対的に評価 ントの現場を学ぶため、教育研究機関 ACER を訪問してアセ していくためにも有効であると考えられる。ロースクール入学 スメントの採点現場のシステムを調査すると共に、法学適性 者に求められる法学適性の内容は入学適性試験を通して端的 試験 ALSET についてインタビューを行った。コンピュータネ にうかがい知ることができる。この適性試験に関して、日韓の ットワーク上で管理される採点システムや、科目の知識に依 法学適性試験がその基礎としている LSAT については十分に 存しない学術適性試験など、ACER の取り組みから学べるこ 知られているところである。しかし、アジア・大洋州にまで視 とは多いだろう。 野を広げてみると、例えばオーストラリアでも独自の法学適性 試験 ALSET（Australian Law Schools Entrance Test）が はじめに 日本ではロースクール（法科大学院）制度が 2004 年からス 開発実施されていることが分かる。ところが、日本や韓国で は ALSET の内容についてあまり知られてはいない。そこで、 タートしているが、韓国でも同制度の施行に向けて現在関連 韓国 LEET や日本における適性試験の今後の開発に資する情 法案の審議が行われている。現状は制度の立法化に先行して 報を得るため ALSET の開発機関である ACER（Australian 入学試験となる法学適性試験（Legal Education Eligibility Council for Educational Research）の関係者とミーティング Test, LEET ）の研究開発が韓国教育課程評価院（ Korea を行い、ALSET がどのような適性試験であるのか調査を行っ Institute of Curriculum & Evaluation, KICE）で行われ、筆 た。また、教育アセスメント実施機関としての ACER の一側 者も共同研究者として第 1 次研究開発プロジェクトに参加し 面を学ぶため、アセスメント（特に記述・小論文試験）の採 た＊ 1。 点がどのように行われているのかについてシドニーオフィスを Admission Test ）や韓国の公職適性試験 PSAT （ Public 訪問して調査を行った。 LEET はアメリカの法学適性試験 LSAT（Law School Service Aptitude Test）をベースとし、大学入試センターや 日本弁護士連合会法務研究財団が実施する日本の法学適性試 験なども参考にしつつ開発が進められた。LEET に関しては、 36 ACER（シドニーオフィス）でのアセスメント現場 ACER は 1930 年に設立されたオーストラリア初の教育研究 適性試験が測定する法学適性とは何かという問題が議論され 機関であり、02 年からは非営利機関として国内外で各種の心 るべき課題として残されており、韓国内の法務関係者へのイ 理・教育アセスメントサービスを提供している。現在、ACER ンタビュー調査などを通して今後実証的に回答されなければ のオフィスはメルボルン（1930 ∼） 、シドニー（02 ∼） 、ドバ ならないことが確認されている。 イ（04 ∼） 、ニューデリー（05 ∼） 、ロンドン（05 ∼） 、ブリス 日本やアメリカをはじめ、すでにロースクール制度が施行 ベン（06 ∼） 、パース（07 ∼）と国内外に 7 か所ある。今回の されている国々における法学適性の考え方や概念を理解して 訪問では本部であるメルボルンオフィスでミーティングを行 ● 調査概要 【調査1：シドニーオフィス訪問調査】 【調査2：メルボルンオフィスにおける専門会議】 調査日時 2007 年 2 月 15 日 調査日時 2007 年 2 月 21 日 調査場所 ACERシドニーオフィス 調査場所 ACERメルボルン（キャンバーウェル）オフィス 出席者 Phillip Arthur（Manager, System Testing） 、大澤 公一 出席者 Susan Nankervis（Senior Project Director） 、Deirdre Jackson（General Manager, Assessment Services） 、Cecily Aldous（Manager, Assessment Services） 、Peter McGuckian（Director of International Development） 、大澤 公一 目的・内容 ACER シドニーオフィスにおけるアセスメント業務について学ぶ。まず、 ACER で取り組んでいるオーストラリア国内の教育アセスメントについて、テ ストの作成・採点・管理における ACER の基本的役割について話を聞く。次 にシドニーオフィスでの具体的なアセスメント業務について、コンピュータ ルームで行う採点のシステムについてインタビュー調査を行う。 目的・内容 ① ALSET 全般、② GAMSAT ／ UMAT におけるパフォーマンスアセスメント （小論文試験）のスコアリング技法に関する諸問題、③ 日本の大規模公的試 験と得点等化・項目反応理論、④ 韓国のメディカルスクール入学適性試験・ 法学適性試験とスコアリング技法・得点等化・作題体制などのテーマで意見 交換を行う。 ったが、その前にシドニーオフィスを訪問し、Phillip Arthur と異なる採点を行っている者がいないかどうかを常時チェッ 先生より ACER における通常のアセスメント業務に関する説 クするシステムになっている。さらに、試験の実施・採点条 明を受けた。 件にも左右されると思われるが、採点中に一定の割合（例え シドニーオフィスはスタッフ 15 人ほどの小規模なオフィス ば 20%）で受験生の答案を無作為に抜き出し、再採点を行う であり、ACER が中心となって実施する各種教育アセスメン ことでも採点の安定性を確保する努力を払っていることを付 トの作題及び採点の管理が中心的な業務である。オーストラ け加えておく。採点期間中、ACER の職員は全体の作業状態 リアでは（自由）記述式のテスト項目が重要視されており、 の管理に当たっている。 採点業務の負担や責任は大きい。国家調査クラスの大規模ア 参考までに、採点者が 1 時間当たりに処理できる答案の数 セスメントともなると、採点者の数は 200 人規模になること については採点基準の数や評定段階の細かさに大きく影響さ もあるという。さらに、小論文試験の採点を行う場合は受験 れるが、一般的に 1 時間当たり 8 ∼ 10 枚ほどの答案を採点す 者数や採点基準の複雑さにもよるが、6 ∼ 12 週間をかけて PC るペースであるという。最後に Phillip Arthur 先生がおっし 上で採点を行うシステムとなっている。シドニーオフィスでは ゃるには、採点作業には ①トレーニング、②能力・技術・知識、 小論文の採点を行うメイン PC が 200 台弱、採点者トレーニン ③チェック体制の三つが重要な要素であるという。 グ用を兼ねた PC が 50 台ほどのコンピュータネットワーク設 小論文の採点は ACER 内部で開発された専用ソフトウェア オーストラリアのロースクールで法学士（LLB）の学位を取 を用い、PDF 化された受験生の答案を読みながら同一画面上 得するためには、高校卒業後に大学の法学部に直接入学する の採点基準の空欄に評価（数値）を入力していくという方法 か一度他の学部を卒業した後で法学部に入学するかの 2 通り をとる。受験生の答案があらかじめ PDF 化されサーバーから のルートがあり、通常は後者の修業年限が短い場合が多い。 採点者に提供されるようになっている大きな理由は、大規模 ALSET は ACER が開発提供するアセスメントの一つであり、 試験の際の答案紛失というリスクを回避するためである。ま 多様な学問的背景を持つ法学部入学希望者や高校卒業時の一 た、PC 上で採点を行うことで評定漏れなどの人為的な採点ミ 般的な学業成績などの記録（大学入学資格）を持たない受験 スを回避できるし、受験者の名前を隠して採点者に提示する 者の法学適性を測定することを目的としている。 ことが容易であるなど、リスク回避の他に効率性の観点から 2007 法学適性試験 ALSET とは NO.09 備を備えている。 ALSET が誕生したのは 70 年代中ごろであり、開発当時は もコンピュータ上で採点を行うことが重要であるという。 採点時には数名の採点者で一つのワークグループを構成す る。これを上級採点者がオンラインでモニターし、採点基準 （邦訳） ＊1 金周勲（研究代表者）他「法学適性試験研究開発のための基礎研究」 『Research Report CRE 2006-5』韓国教育課程評価院、2006年 37 ACERシドニーオフィス外観 ACERメルボルンオフィス内観 ACERメルボルンオフィスでのミーティングの様子 メルボルン大学、ニューサウスウェールズ（NSW）大学、モ 章の主旨を聞くものもあれば個別のシナリオを解釈するもの ナシュ大学及びオーストラリア国立大学の各大学からスポン もあり、推論や論理的演繹、批判的思考や問題解決スキルを サーシップを受けていた。その後、各大学法学部の教育方針 要する項目もある。なお、受験生が項目に解答するために必 の変化、コースカリキュラムの変化、Year 12（高校卒業）に 要な情報はすべてその項目の中に含まれている。 該当しない学生の大学入学に対する規制の変化など、さまざ まな要因が複合的に作用して ALSET の利用方法は時代の移 り変わりと共に変化していった。 90 年代中ごろまでには ACER では ALSET のアイテムバンクを常に更新し続けてお ALSET の主要な利用先は主にディーキン大学法学部となり、 り、現在ではテスト内試行試験（in-test trial testing）という その他に NSW 大学やウーロンゴン大学が小規模で利用すると システムで新規項目を蓄積している。テスト項目は ACER の いう状況となった。なお ALSET の平均受験者数は年間約 500 人文科学チームに所属する上級アイテムライターが作成する。 人であり、その大部分がディーキン大学の受験者である。 ACER には人文科学や自然科学など合わせて 40 人規模の専任 ALSET は大学における法学教育を修学する際に重要だと考 38 ALSET の作題・実施・管理体制 アイテムライター（大部分は教員経験者）が所属しており、 えられる能力やスキル、すなわち法学適性を測定するために ACER が提供するさまざまなアセスメントの開発・実施スケ デザインされている。この法学適性は批判的思考、推論、テ ジュールに合わせて各アセスメントプロジェクトにテスト項目 キストの解析や解釈、高度の読解スキルなどで構成されてい を提供するシステムである。ALSET プロジェクトの場合は 5 るが、法学修学能力のテストとして ALSET は特定分野の学術 ∼ 6 人のアイテムライターが作題時期に投入される模様であ 的背景や経験を受験者に要求することはない。ALSET は法律 る。項目の素案は厳格なパネリング（ピアレビュー）を経て、 学や判例に関する知識の有無を測定するものではなく、受験 構成概念と一貫性を持ち、取り組みがいがあり、曖昧な点を 生はオーストラリアの法的制度を理解している必要はない。 残さない（複数の解釈・解答可能性を残さない）ものである むしろ、人文科学及び社会科学分野を中心とした幅広い分野 かどうかが検討される。このパネリングを通過した項目のみ における初見の真正（authentic）な素材によって一般的な学 が、本試験においてスコアリング（受験者の能力推定）には 術適性が測定される。 用いない試行項目（variant items）として投入される。試行 受験生は自身の持つ分析能力や推論スキルを活用し、社会 項目の中で項目反応理論（Rasch 分析）による項目パラメタ 文化的なアイディアや事例を解釈することが求められる。 の良好なものが将来の本試験でスコアリングに用いる本テス ALSET のテスト項目はテキストや視覚素材に基づく理解や解 ト項目として使われる。 釈を受験生に要求するものである。その素材には言語的なも ALSET は 70 項目の多肢選択式項目から構成され、試験時 の、空間的なものや図表などさまざまな性質のものが用いら 間は 2 時間である。テスト項目の提示方法は日本でも馴染み れるが、既存の新聞や雑誌などの媒体（テキスト）を出典と のある中問形式であり（一つの中問をユニットという） 、ある し、原則的に創作はしないという。問題の内容としては、文 共通のテキストや図表などの素材について数個の小問が提示 図表［1］ ALSET の問題例（カートゥーン課題） 「ALSET/Candidate Information Booklet / 2006-2007」（ACER）より される。各小問は 4 肢択一の客観形式である。テストの版は毎 ェンダーや年齢、文化的背景に関連するテストバイアスの存 年複数作成され、それぞれのフォームに試行項目が数項目ず 在に注意が払われる。テストを開発する過程において項目を つ含まれる。また、ALSET は過去年度の既出項目を共通項目 ピアレビューにかけるほか、試行項目としてデータを収集す として得点等化を行うテストデザインとなっている。得点等 る際に特異項目機能（Differential Item Functioning, DIF） 化を行うことで複数年度の ALSET の尺度得点を直接比較す の分析が行われる。 ることが可能になっているのである。 （α係数）の値は 0.87 であり、ある程度安定した試験であるこ ALSET の対象者はさまざまな学習動機や学術的背景を持つ とを傍証している。試験結果は ALSET の利用大学に直接送付 やや特殊な層であるが、テスト項目は受験者の能力をよく識 され、受験生個人に成績は通知されない。テスト開発や尺度 別し、入学者選抜において有益なランキング情報を大学側に 化などを含めた ALSET の全施行プロセスは ACER の知的財 提供している。ここでは詳細な数値を明かすことはできない 産であり、技術的な詳細情報は外部に公開されていない。ま が、05 年度 ALSET のパフォーマンスの傾向に関して要約する た、ALSET の過去問は一切公開されず、受験生に試験準備と と、まずはある程度年齢層の高いものが良い成績を残す傾向 して提供されるものは ACER の公式サンプル問題集のみであ があった。05 年度試験では受験者 444 人の約 42% が 25 歳以 る（ACER の web サイト上で頒布、図表 1） 。 上であり、その中でも 26 ∼ 30 歳の年齢集団が最も良い成績を 試験で測定される法学適性は多種多様な経験を積むことで 示した。次に男女別で成績を比較すると、女性よりも男性の 長い時間をかけて発達する推論能力や理解能力であるため、 受験者の方が良い成績を残す傾向が見られた（特に 25 歳以下 特別な対策を立てることで試験のスコアが上昇するというこ の年齢層で顕著であった） 。ALSET の受験者の大部分はすで とはない。強いて準備をするとすれば、幅広い読書をすること に大学レベルの高等教育を受けている（受けていた）もので、 と自分の見たものに対して批判的な思考を持って臨む姿勢を 特に年齢層の高い大学院レベルの教育を受けているものが非 養うことである。ALSET の妥当性の評価に関しては、特にジ 常に優れた成績を残す傾向がある。しかしながら、学部レベル 2007 05 年度試験の結果から見る ALSET の特徴 NO.09 04、05 年度試験に関して、内的整合性による信頼性係数 39 の教育を受けている受験者と Year 12（高校卒業者）に相当す で良い成績を修める割合も増加するというデータもある。 る受験者との間にパフォーマンスの差は必ずしも見られなかっ ALSET の目的は高校卒業時の一般的な学業成績などの記録 た。総じて ALSET は比較的高学歴の基礎能力水準の高い受験 （大学入学資格）を持たない受験者の法学適性を測定することで 者を識別するために有効に機能しているようである。 あり、大学の法学教育課程における成績優秀者（の候補者）を 選抜することではない。大学初年度の成績と ALSET の成績は ALSET の妥当性： 異なる測度であり、両者の関係を論じる際にはこの点を失念し ディーキン大学法学部における初年度の学業成績との関係 てはならない。しかしながら、これらの調査結果からは法学教 ALSET が法学適性試験として妥当な試験といえるのかどう 育課程における修学状況が ALSET で測定される法学適性によ かは、実際に ALSET を受験して法学部に入学した学生の大学 って一定程度裏打ちされるということが示唆される。総じて での成績を追跡調査することで間接的に推測することが可能 ALSET は大学レベルの法学教育を履修する適性のある学生を である。今回の調査では、ALSET の主要な利用大学であるデ 選抜することに成功しているといえる。 ィーキン大学法学部における 04 年度入学者の ALSET の成績 と学業成績との関連について話を聞いた。 ディーキン大学法学部に ALSET を受験して入学した学生の ACER は今回報告した ALSET の他にもGAMSAT ALSET の成績は、そのほとんどが ALSET 全受験者の上位 （Graduate Australian Medical School Admissions Test） 、 20% 以内であった。彼らは ALSET を利用しないで入学して UMAT （Undergraduate Medicine and Health Sciences きた他の学生よりも平均年齢が高く、多くはオフキャンパス Admissions Test） 、Business Select（Business Management で法学を学ぶ学生である。その一方で、ALSET を利用しない Admissions Test）、GSA（Graduate Skills Assessment）、 入学者の大部分はオンキャンパスで学ぶ学生である。 ISAT（International Student Admissions Test ）、STAT 大学に入学すると、学業課題、健康状態、経済状況、情緒 （Special Tertiary Admissions Test ）、TEMT （Tertiary 的バランスなど多くの要因が学生生活の成否に影響を及ぼす。 Education Mathematics Test）、TWA（Tertiary Writing 入学者選抜の担当者は学生側のそうした環境をすべて勘案し Assessment）などの多岐にわたる高等教育レベルのアセスメ て学生の入学後のパフォーマンスを予測することはできず、 ントを開発提供している。それらの中でもメディカルスクール 入学試験の成績によって示される、大学で学業を修めること 入学適性試験である GAMSAT ／ UMAT ＊ 2 は、韓国のメディ ができるか否かの可能性だけで入学者を選抜することになる。 カルスクール入学適性試験の開発時に参考にされている適性 ディーキン大学の ALSET 入学枠は約 60 人であり、その枠に 試験である＊ 3 ほか、日本における総合試験問題の試験開発に 400 人以上が志願する。入学者選抜においては過去 10 年以内 際しても参考にされているアセスメントである＊ 4。 の大学レベルの教育機関における GPA（成績の評定平均値） 40 おわりに： ACER で開発される学術適性の基本的な考え方 今回のミーティングには GAMSAT ／ UMAT の責任者でも が残っている場合は GPA が 60%、ALSET の成績が 40% の割 ある Cecily Aldous 先生も同席されたため、ALSET で測定さ 合で選抜が行われる。そうした成績資料が残っていない場合 れる法学適性がどのように定義・設定されているのかについ は ALSET の成績のみが選抜のための資料となる。 て、GAMSAT ／ UMAT における医学適性との比較という観 ディーキン大学法学部においては、ALSET を受験して入学 点から話をうかがった。ACER では人文・社会科学領域の学 した学生とそうでない学生の 1 年次の主要科目の成績には有 術適性に関しては読解能力や批判的思考能力、推論能力、解 意な差は見られなかった。この意味では、ALSET は大学教育 析能力などの下位スキルを統合した一般的認知スキルや包括 に堪える人材を選抜するという最低限の役割を果たしている 的適性（Generic Aptitude）をまず仮定する。次に、法学や と解釈できる。ALSET の妥当性を支持する別のエビデンスと 医学など各学術分野における重要性に応じて選択された下位 しては、ALSET 入学組のおよそ半数が GPA5.5 以上（GPA の スキルを測定する項目の素材にそれぞれの学術分野に特有の 範囲は 0.0 ∼ 7.0 点）の成績を修めているという調査結果を挙 内容や形式、あるいは「らしさ（flavour） 」を加味することで、 げることができる。さらに、ALSET の成績が高くなると大学 それぞれの分野の学術適性を測定するテスト項目を作成する ことを目指している（図表 2） 。 図表［2］ 適性試験作成の基本的モデル その結果、GAMSAT ／ UMAT では医学（教育）領域に関 連するテキストが素材に選ばれ、よい医師に求められる適性 Generic Aptitude の一つと認識されている対人関係能力や共感性などを認知的 スキルの枠組から測定するための項目が作成されることにな Legal Flavour Medical Flavour ALSET GAMSAT/UMAT るのである。その一方で、オーストラリアでは大学の法学課程 を卒業して専門の法律家になるのは卒業生の約 30% 程度との ことで、ほとんどの卒業生が医学領域の専門職に就くメディ カルスクールとは専門教育の趣を異にしている。そのため、 ALSET では例えば「よい法律家になるために必要な適性とは 何か」といったことが問題になることは少なく、法学（教育） れることは前述の通りだが、今後は法科大学院の構想も進んで に関連する素材を選択することに配慮しつつも、広く第 3 次教 いく見通しだという。現在 ALSET は限られた大学のみで用い 育（大学や大学院での教育）水準の法学教育を問題なく（時 られている適性試験であるが、法科大学院への入学希望者の多 に短期間で）学修することのできる高度な一般的学術適性を 様化が進めば ALSET がそのまま共通 1 次適性試験として利用 測定することに重点が置かれている。ただし、ALSET がある されるようになる可能性が高いとのことである。 程度年齢層が上の基礎能力の高い受験者が受けることを想定 していることもあり、素材とされるテキストのレベルは GAMSAT ／ UMAT と比較して読解難易度の高いものが選ば れている。また、テスト項目の内容も非常に細かなあるいは微 妙な部分のテキスト読解や推論を要求するものも多く、テス ト全体の難易度は極めて高い。 オーストラリアの法学教育は高校卒業後に直接大学の法学 部に入学する場合と、それ以外のルートで入学する場合に分か 本コーナーで海外現地調査レポートを行ってくださる若手研究者を募集しています。 応募条件 （1）若手研究者の範囲は大学院生・研究生・助教・講師とし、予算枠内 （上限 50 万円まで）であれば複数での応募も可 （2）取材対象国の現地語が話せる （3）調査・取材の段取りをすべて自力でできる 応募方法 Benesse 教育研究開発センターのサイト（http://benesse.jp/berd/center/ open/berd/tokuhain_bosyu/index.html）にある応募用紙をダウンロードし、 必要事項をご記入の上、サイトに掲載している宛先まで郵送にて送付して ください。FAX ・電子メールによる応募書類の受付はできませんので、あ らかじめご了承願います 。 応募書類 ［応募用紙 1］ お名前・住所・年齢・性別・電話番号・所属先／身分（学生の方は学年 を記入）・業績［テーマ］3点以内・語学力を含む自己 PR ［応募用紙 2（調査レポートのテーマと調査計画） ］ （1）視察・取材希望の国名 （2）どういうテーマでレポートを書きたいか （3）どのような現地視察・調査・取材計画を考えているか ［応募用紙 3（推薦文） ］ 大学の研究室の（准）教授・先輩などご自身をよく知る方であればどなたで も可 2007 募集内容 教育情報誌「BERD」では、広く国籍を問わず、大学等に所属する若手 研究者のための研究支援を企画しました。皆さんの今の研究をベースに海 外の現地視察・取材を行い、 「BERD」本誌にレポートを書いていただける 方を募集します。 渡航費用・取材費用及びレポート執筆料をBERD 編集部がお支払いしま す。 （ただしすべて含めて上限 50 万円まで） 皆さんにはこの取り組みを研究キャリアの成長の場として活用していた だき、弊社はレポートを研究・開発のシーズ情報として活用させていただ きます。どうぞふるってご応募ください。 NO.09 若手研究者募集 ＊2 大澤 公一、石井 秀宗、岩坪 秀一、柳井 晴夫「オーストラリアにおけるメ ディカルスクール入学者選抜試験の調査報告」平成15-17年度共同研究「総 合試験問題の分析的研究」研究報告書、第3章1節、大学入試センター研究 開発部、pp.21-41、2006年 ＊3 大澤 公一、柳井 晴夫、田栗 正章、林 篤裕、椎名 久美子、伊藤 圭、Joo Hoon Kim「韓国におけるメディカルスクール入学者選抜試験の調査報告」平 成 15-17 年度共同研究「総合試験問題の分析的研究」研究報告書、第 3 章 2 節、大学入試センター研究開発部、pp.42-72、2006年 ＊4 伊藤 圭、林 篤裕、椎名 久美子、大澤 公一、石井 秀宗、柳井 晴夫、田栗 正 立 崎 勝、 章、岩坪 秀一、赤根 敦、麻生 武志、岩堀 淳一郎、内田 千代子、川崎 齋藤 宣彦、武田 龍司「医学部学士編入学者選抜のための総合試験の開発と その評価」大学入試センター研究紀要、vol.35、 pp.49-107、2006年 ※応募書類は返却いたしません。 ご応募をお待ちしています。 41
© Copyright 2024 Paperzz
