Can-Do Statements のパイロット調査と分析小山

Can-Do Statements のパイロット調査と分析
小山
由紀江
１．始めに
Can-do statements は言語能力を自己評価する指標の一つとして、近年、注目を集めて
いるが、その代表的なものが Common European Framework of Reference for Languages:
Learning, teaching, assessment (2001) (以下 CEFR) に詳述されている Common
Reference Level の能力記述文である。CEFR は Council of Europe（以下「欧州評議会」）
によって定められた、ヨーロッパの言語教育のガイドラインであり、2001 年に上記のタイ
トルの本の形で出版されたが、この制定にはヨーロッパの言語文化的そしてさらには政治
的経済的な背景が大きく関係している。
欧州評議会は 1949 年に発足したヨーロッパ最古の政治組織であり、当初はベルギー、
フランス、イタリア、ノルウェー、スウェーデン、イギリスなどの 10 カ国であったが、現
在はハンガリー等の中欧やウクライナ等の東欧、及びトルコなど全部で 46 カ国が加盟して
いる。ちなみに日本はこの欧州評議会の非欧州オブザーバー5 カ国の内、唯一の東アジアの
国である。
（参照 Council of Europe 公式サイト http://www.coe.int/）
この公式サイトによると、欧州協議会の目的は以下のように表されている。
Aims
The Council was set up to:
• defend human rights, parliamentary democracy and the rule of law,
• develop continent-wide agreements to standardise member countries' social
and legal practices,
• promote awareness of a European identity based on shared values and
cutting across different cultures. （下線部筆者）
ここに掲げられた目的のうち、言語教育に最も関係するのは最後の下線部分、すな
わち「価値の共有と異文化の横断」ということであり、これは言語の使用を通してのみ可
能となる。
（Morrow, 2004, p.4）この観点から欧州評議会は 1960 年以降言語教育に関して
積極的に様々な活動を行い、1975 年には van Ek による The Threshold Level が発表され
た。これはヨーロッパにおいて言語学習者が日常的コミュニケーションをとるために最小
限満たすべき言語能力を規定したもので、その 2 年後さらに下のレベルとして Waystage
Level が発表された。これらはさらに改訂されて、The Threshold Level の上のレベルの
Vantage と共に 2001 年にまとめて出版された。(van Ek & Trim, 2001) このような長年に
渡るプロジェクトの遂行の結果、ヨーロッパ諸国において横断的に言語を使用する場合に
必要とされるコミュニケーション能力として６つのレベルが設定され、CEFR が 2001 年に
発表されたわけである。
2. CEFR の概要と Can-Do Statements の研究
CEFR は以上のような経緯を経て制定されたが、その内容は以下の図のように大きく
３つのレベルから成り、またそれぞれがさらに２つのレベルに分けられている。A.は基礎
的レベルで A1 が最も低く、B.は自立的な言語運用ができるレベルでそのうち B1 が上記の
Threshold、B2 が Vantage である。また一番上の C レベルは堪能な言語使用者として C1
レベルと native speaker 並みの運用能力を持つ C2 に分けられている。
A1. Breakthrough
A. Basic User
A2. Waystage
B1. Threshold
B. Independent User
B2. Vantage
C1. Effective Operational Proficiency
C. Proficient User
C2. Mastery
学習者の言語能力がこれらのレベルのどれに相当するかを評価する際に用いられ
るのが、例えば “Can understand and use familiar everyday expressions and very basic
phrases aimed at the satisfaction of needs of a concrete type.” (A1 レベルの指標)
（Council
of Europe, 2001, p24) のような、
「～ができる」という can-do statements である。
わが国でも以上で述べた CEFR の動きを受けて、この２－３年、日本語、英語、
ドイツ語などの学習者が適切に自己の言語能力を把握するための can-do statements を制
定するプロジェクトや研究が始まっている。根岸（2005）は英語の Writing 能力の can-do
statements の自己評価と実際のパフォーマンスを比較してその妥当性を検証し、e-mail を
書くことに関して自己評価が低い等の結果を得た。また、野口等（2004）は日本語能力を
評価する can-do statements を IRT 多値型モデルを使って分析し、適切な can-do
statements リストの作成を試みている。CEFR と同様、到達段階の参照基準として can-do
statements を用いた調査としては長沼・宮嶋（2006）が行った「清泉アカデミック Can-Do
尺度の開発とその評価」がある。ここでは can-do statements に対する回答が抽象的な段
階的なスケール（例：
「簡単に出来る」「大体出来る」）ではなく、以下のように具体的に記
述されている。
（
「清泉アカデミック Can-Do 尺度」より抜粋）
A. speaking
① 高校の教科書レベルの短いテキストを読んで、その内容を英語で説明できる
a. テキストやメモを見ながらでも、説明するのが難しい
b. テキストやメモを見ながらであれば、何とかゆっくり説明できる
c. テキストを見ないでも、メモがあれば大体説明できる
d. テキストやメモを見ないでも、大体説明できる
このように「清泉アカデミック Can-Do 尺度」では、スケールを具体的に記述することに
よって、学習者も can-do statements を学習目標として認識できるような工夫がされている。
以上、CEFR を中心とする近年の can-do statements に関わる状況と研究の動向
に関して概観的に述べてきたが、以下、名古屋工業大学における can-do statements のパイ
ロット調査の結果について、TOEIC の結果と比較しながら論ずることにする。
３．本研究の目的
本研究においては、本学においてパイロットとして実施した、名工大 can-do リス
トの回答結果と、TOEIC の結果を比較分析することにより、まず学生の回答傾向を明らか
にする。さらに、名工大 can-do リストが学生の英語能力を自己評価する役割を適切に果た
すものであるかどうかを検討し、can-do リストの内容及び実施方法に関して改善すべき点
を明らかにすることが目的である。
４．名工大 can-do statement と TOEIC の概要
４．１．名工大 can-do statement
can-do statements は前述したように、様々な重要な役割を持つが、ここでは名工
大版 can-do statements（以下「名工大 can-do リスト」）の概要について述べる。本学の場
合、外部指標として関連付ける語学テストは TOEIC であるため、名工大 can-do リストは、
TOEIC のスコア解釈のために開発された Can-Do Statements (TOEIC Can-Do Guide --Linking TOEIC Scores to Activities Performed Using English ) を参考に作成した。スキ
ルの分野も TOEIC の場合と同様、リスニング、リーディング、ライティング、スピーキン
グ、インタラクティブ･スキルの５分野とし、各分野に 15 問の can-do statements を設定
した。記述内容に関してはなるべく実際の大学生活に即したものにするため、大部分に修
正を加えた。各質問の回答は「１．まったくできない」から「５．簡単にできる」までの 5
段階のスケールとした。また、質問の最後に「この can-do statement に回答することによ
って自分の英語力を自己評価することができたと思うかどうか」という質問を加えたため、
調査は全部で 76 問となった。なお、本稿の末尾に、参考資料として、名工大 Can-do リス
トを付しておく。
４．２．TOEIC テスト
TOEIC は Test of English for International Communication の略称で、アメリカ
の非営利テスト開発機関 Educational Testing Service (ETS) によって開発されている国際
コミュニケーション能力を測定する標準テストであるが、現在では１年間の日本での受験
者が約１５０万人（2005 年データ）という国内で最も受験者数の多いテストである。公開
テストでは 2006 年より一部の問題形式や内容が変更されたが、団体受験用の TOEIC IP テ
ストは現在の時点では従来と同一の形式・内容である。本学では１年生の入学時と１学年
の終了時に１回ずつ、合計 2 回の IP テスト受験を義務付けている。周知のことであるが、
TOEIC IP の構成を念のため明記しておく。
＜TOEIC IP の構成＞
Section I
Part 1-4
Listening Comprehension
100 問
45 分
Section II
Part 5-7
Reading
100 問
75 分
計 120 分
５．can-do リスト調査と TOEIC の結果と考察
５．１．両調査の実施について
TOEIC IP（以下「TOEIC」
）は前述のように 1 年生に対して入学時と１年の最後
に実施している。ここで考察の対象とするのは、2006 年４月の入学時に実施した TOEIC
の結果と、同１０月に実施した名工大 can-do リストの調査結果である。TOEIC は原則的
に 1 年生全員（約 900 人）が受験しているが、can-do リストの調査に関しては、今回はパ
イロット調査であることから、計 266 人を対象とした。調査対象を限定するに当たって、
全体的傾向を見るために、TOEIC の結果によってクラス分けされた、上級クラス、中級ク
ラス、基礎クラスのすべてのレベルを含むことに留意した。被験者の内訳は、基礎クラス
73 人、中級クラス 145 人、上級クラス 78 人である。なお、上級クラスは、他のクラスに
比べクラスサイズが小さく（25 人前後）、教員は全て英語のネイティブスピーカーである。
また、夏季と春季には同じくネイティブスピーカーによる英語の集中講義を受けており、
授業関連では、実際的に英語を使用する機会は中級・基礎クラスに比べかなり多いと言え
よう。なお、この can-do 調査は授業時間内に行ったもので、所要時間は約 20 分である。
５．２．両調査の結果と考察
以下の表は、TOEIC と can-do 調査の結果を上級、中級、基礎のクラス別に示し
たものである。数値はいずれも各項目の平均値である。
＜TOEIC と Can-Do 調査の結果＞
TOEIC
CAN-DO
クラス
Listen
Read
T-Total Read Write Speak Listen
Interact
C-Total
評価
基礎 73 人
219.45
143.84
363.29
2.55
2.37
2.35
2.34
1.96
2.31
2.92
中級 145 人
228.03
189.28
417.31
2.63
2.50
2.44
2.63
1.98
2.44
3.37
上級 48 人
293.54
238.44
531.98
2.69
2.49
2.35
2.94
1.88
2.47
2.96
全体 266 人
237.50
185.68
423.18
2.62
2.46
2.40
2.61
1.96
2.41
3.17
（注：can－do の最後の「評価」は、76 問目に付加した「この調査で自己評価ができたと
思うか」という項目である。
）
クラス別の違いがより明確になるように、この表をグラフにしたものが、以下の
二つのグラフである。
TOEIC クラス別平均
600.00
500.00
基礎 73
中級 145
上級 48
全体 266人
400.00
得
300.00
点
200.00
100.00
0.00
Listeng
Reading
スキル
T-Total
Can-do　クラス別平均
73人
145人
48人
266人
評
価
n
In
te
ra
ct
CTo
ta
l
Li
st
e
ea
k
Sp
rit
e
基礎
中級
上級
全体
W
Re
ad
5.00
4.50
4.00
3.50
3.00
2.50
2.00
1.50
1.00
TOEIC クラス別平均のグラフを見ると、リスニングよりリーディングのセクショ
ンにおいてクラスによる差があることが解る。また Can-do クラス別平均のグラフを見る
と、以下の 4 点が明らかとなった。
１）ライティング、スピーキング、インタラクティブ・スキルの三分野において上級と中
級の自己評価が逆転しており、インタラクティブ・スキルに至っては上級者の自己評価の
平均が基礎クラスより低い結果となった。
２）リーディングとリスニングについては、上級クラスの自己評価が最も高いが、クラス
による差が最も大きいのはリスニングである。
（リーディングとリスニングがクラスの順番
と一致しているということから見ると、これらの自己評価は TOEIC で測られている能力の
2 分野、即ちリーディングとリスニングに対応しているとも考えられる。
）
３）5 つの分野の全体の平均値を見てみると、僅差ではあるが、上級クラスが一番高く、次
いで中級クラス、基礎クラスという順番になっている。
４）最後の「can-do リストに回答することによって自分の英語力を自己評価することがで
きたかどうか」という問いに対しては、中級クラスの平均値が最も高く、次いで上級、基
礎であるが、これら二つの差は僅少である。
次に、被験者 266 人全体の TOEIC の得点と can-do リストの相関を調べてみた結
果が以下の表である。この表では、比較的相関の高い部分（四捨五入して 0.7 以上）を網掛
けにしてある。
＜TOEIC と Can-do リストの相関＞
TOEIC
Listen
Listen
TOEIC
Can-do
Read
Can-do
Total
Read
1 0.3357 0.8094 0.1044
Inter-
Speak
Listen
0.0883 0.0364
0.3026
-0.03
0.1178
0.1006
0.031
0.3095
0.0028
0.1378
0.1157 0.0412
0.3745
-0.016
0.1566
active
Total
Read
0.3357
Total
0.8094 0.8249
Read
0.1044 0.1452 0.1532
1
0.6293 0.5979
0.5991
0.5708
0.794
Write
0.0883 0.1006 0.1157 0.6293
1 0.8093
0.6212
0.6942
0.8868
Speak
0.0364
1
0.6548
0.752
0.9
Listen
0.3026 0.3095 0.3745 0.5991
0.6212 0.6548
1
0.5828
0.815
Interact.
Total
1 0.8249 0.1452
Write
1 0.1532
0.031 0.0412 0.5979
-0.03 0.0028 -0.016 0.5708
0.1178 0.1378 0.1566
0.794
0.8093
0.6942
0.752
0.5828
1
0.8492
0.8868
0.9
0.815
0.8492
1
この相関係数の表から以下の 3 点が明らかとなった。
１）TOEIC の得点同士（リーディングとトータル）また can-do リストのポイント同士（ス
ピーキングとライティング、インタラクティブ・スキルとライティング、それにトータル
と各 5 分野）の相関係数が当然ながら高い。
２）１）を逆の視点から見たものであるが、TOEIC と can-do リストとの相関は、おしな
べて低かった。しかし、その中では TOEIC のトータルと can-do リストのリスニングの相
関が最も高く 0.3475 であった。
３）Can-do リストのインタラクティブ・スキルは 5 分野の中では TOEIC との相関が最も
低く、リスニングとトータルは相関がマイナスという結果となった。
９．結論
以上、本研究で行った Can-do リスト調査と TOEIC の結果を分析し、クラス別の
回答傾向や、二つの結果の相関について論じたが、ここでは、全体として明らかになった
点をまとめておく。
１）全体として can-do リスト調査と TOEIC の結果との相関は低い結果となった。
２）全体として reading, listening という passive なスキルについての自己評価が比
較的高く、speaking , writing という productive なスキルは低い。
３）２)とも関連するが、interactive スキルに対する自己評価は 1.96 と５分野のうち
最も低い。
４) ５分野全てを通して、自己評価が低いのは、専門性・抽象性の高いもの、negotiation
や問題解決が必要とされる項目、である。
１）に関しては、TOEIC の点数によってクラス分けされた上級クラスの学生による自己評
価の平均値が、中級クラスよりも低い分野が 2 分野もあることも、要因となっている。自
己評価が外部評価としての TOEIC の結果と必ずしも一致していないこの現象は、５．１．
で述べたように TOEIC の点数の上位者ほど授業中などに実際的なコミュニケーションの
場に立つことが多く、困難に直面することも多いという事実に一因があると考えられよう。
このような学習状況の違いから、上級クラスの学習者は自己の能力を低めに評価する傾向
が出るのではなかろうか。上級クラスの学習者は想像ではなく経験したことを基に回答し
ているが、他方、中級・基礎クラスの学習者は経験したことのない項目も多く想像だけで
回答する場合が多いために、自己評価に正確さを欠くといった可能性も否めない。
上述のように、名工大 can-do リストにはいくつかの問題点があるため、意味のあ
る自己評価に役立てるためには、何らかの改善する必要がある。以下、名工大 can-do リス
トの自己評価フレームとしての妥当性を高めるために、この調査を通して明らかになった、
内容や実施の仕方に関する改善点をまとめておくことにする。
＜今後改善すべき点＞
１）項目数：項目数を削減する。全体で 75 問は項目数が多すぎて、最後まで正確に回答す
ることが困難である。
２）内容：今回は TOEIC のスコア解釈に関連させるため TOEIC の can-do statements を
ベースにしたが、内容をカリキュラムのコース目標と合致させて学習者が自己評価を
しやすいものにする必要がある。また、経験の有無を問う項目を設け、経験者があま
りに少ないものは除去するなど、項目の精選も必要である。
３）実施時期：TOEIC テストと can-do リスト調査の時期がずれていたため、その間に、
学習者の能力や意識が変化した可能性がある。出来るだけ近い時期に行うべきである。
Can-do statements の妥当性や信頼性等、その評価については、外部の語学能力試験と
の関連付けなど、クリアすべき課題はまだ数多くある。しかし、語学教育のカリキュラム
や教科書、試験などを作成する際に、学習者の能力の評価と目標設定のための共通の基準
作りは英語教育に従事する者にとって必須事項であり、can-do statements の果たす役割は、
今後ますます大きくなると考えられる。その意味でも、より妥当性・信頼性の高い can-do
statements を作成し、それを実施していくことは、英語教育の成功の鍵としてクリアすべ
き重要な課題であると言えよう。
参考資料：名工大 can-do リスト
2006.10.
英語で，～ができますか？
Can-Do List
アンケート
このアンケートは、「自分は英語で何ができるか」というあなた方の自己評価に基づいて、
名工大の英語カリキュラムを改善するためのものです。アンケートの内容は日常生活でよ
く起こることがらです。これまでの自分の人生の中でこのような経験がなかったとしても、
真剣に、想像力を使って考え、質問されたことができるかできないか回答して下さい。ご
協力をお願いします。
各質問に，5 段階で答えてください。
全くできない
ほとんどできない
なんとかできる。
大体できる。
簡単にできる。
１
２
３
４
５
Reading
英語で・・・
１．店頭の看板を見て，
「本屋」
「クリーニング屋」など，何の店であるかを理解できる。
２．電車やバスの時刻表を読み，理解することができる。
３．レストランのメニューを読み，理解することができる。
４．電話帳を見て，必要な情報を見つけることができる。
５．レポートなどに先生が書いた，手書きのメモを理解できる。
６．交通標識を読み，理解することができる。
７．簡単な説明書など，順々に記された指示文を理解できる。
８．シラバスを読み，理解することができる。
９．旅行パンフレットを読み，理解することができる。
10．Time や Newsweek などの雑誌記事や新聞記事を，辞書を使わずに，理解できる。
11．初心者向けに書かれたコンピュータのマニュアルを，辞書を使わず，理解できる。
12．意見･姿勢の異なる 2 人の政治家についての新聞記事を，辞書を使わずに読んで，
その違いを理解することができる。
13．辞書を少し使えば，専門書を読んで，理解できる。
14．一般的な小説を，辞書を使わずに読んで，理解できる。
15．御礼の手紙を読んで，理解できる。
Writing
英語で・・・
16．週末旅行に必要な物のリストを書くことができる。
17．友人が送ってくれたプレゼントに対する，２～３文のお礼を書くことができる。
18．予定の授業に出られない理由を説明した簡単なメモを，友達に書くことができる。
19．休暇中に何をしているかについて述べたはがきを，友人に書くことができる。
20．大学の講座の申込書を記入することができる。
21．自分の家までの行き方を書くことができる。
22．次の休暇のために，宿泊に関する情報を求める手紙を，ホテルに書くことができる。
23．一般的なオフィス機器の使い方を示したメモを，友達に書くことができる。
（コピー機・
ファックス）
24．授業を休む理由を説明したメモを，先生に書くことができる。
25．就職活動で，自己紹介と資格を記した手紙を，書くことができる。
26．プロジェクトや課題の進度に関するメモを，先生に書くことができる。
27．最近購入した家電について，店長に苦情を書くことができる。
28．自分の大学の専攻や設備について，入学を希望しそうな人に，手紙を書くことができ
る。
29．自分の参加したプロジェクトに関して５ページの正式なレポートを書くことができる。
30．自分の出席した授業の要点を書くことができる。
Speaking
英語で・・・
31．きちんとした挨拶ができる。
32．きちんとした自己紹介（出身地や家族構成なども含む）ができる。
33．最近見た映画・テレビ番組のあらすじを，伝えることができる。
34．友達について，外見的特徴・性格的特徴を，言い表すことができる。
35．大学の勉強について，詳しく話すことができる。
36．レストランで，食べ物を注文することができる。
37．時事問題や天気など，広く社会的な事柄について話すことができる。
38．何時に起きて，何時にお昼を食べるかなど，自分の日常生活を話すことができる。
39．来年の予定など，大学生活の目標・予定について，話すことができる。
40．友達に，宿題のやり方やレポートの書き方などを伝えることができる。
41．航空券の予約について，出発日時や行き先の変更を，電話で行うことができる。
42．最近経験した面白い出来事を，友人に，話すことができる。
43．準備をすれば，自分の専門分野について，30 分間のプレゼンテーションをきちんとで
きる。
44．先生・友達・子供など，話す相手によって，適切な話し方ができる。
45．自分の家までの道を，人に伝えることができる。
Listening
英語で・・・
46．”How are you?” ”Where do you live?” ”How do you feel?” “ What do you do?” などの
簡単な質問を聴いて理解することができる。
。
47．売り場の人が色々な物の値段を言うのを聴いて理解することができる。
48．どこにレポートを提出するのか，ゆっくり説明されると，理解することができる。
49．クラスでの課題のやり方を聴いて理解することができる。
50．日常生活で生じた簡単な問題に関する説明を聴いて理解することができる。
51．時間・数・場所などの具体的な情報のアナウンスを聴いて理解することができる。
52．ラジオ放送の「今日のニュース項目」を聴いて，理解することができる。
53．電話で、先生が宿題について出した指示を聴いて理解することができる。
54．電話で、友人と会う約束をするとき、それを聴いて理解することができる。
55．ラジオで、サッカーや野球など、自分の好きなスポーツのアナウンスを聴いて，理解
することができる。
56．ある道路が，一時的に閉鎖されている理由を，ラジオで聴いて，理解することができ
る。
57．趣味・興味・週末の予定などについて、ゆっくり話されると，理解することができる。
58．会議が，何時に、どこの部屋で開かれるのかという説明を聴いて，理解することがで
きる。
59．なぜ、このレストランがもう一つのより良いのか、聴いて理解することができる。
60．ネイティブの人たちが時事問題について議論しているのを聴いて，理解することがで
きる。
Interactive Skills
英語で・・・
61．郵便局・銀行・薬局などの場所で，簡単なやりとりをすることができる。
62．３人グループの夕食の予約を，電話で行うことができる。
63．電話で，伝言を受けたり，残したりすることができる。
64．新入生に対して，大学の特徴を説明することができる。
65．レポートの書き方について，最善の方法を友達と話し合うことができる。
66．パソコンに欲しい機能について，店の人と話し合うことができる。
67．自分の病気の症状について，医者に説明することができる。
68．修理してほしい家電について，どこが悪いか説明することができる。
69．旅行会社に飛行機のスケジュールを確認するなど，電話で，情報を得ることができる。
70．自分の借りたいアパートのタイプについて，不動産屋と話し合うことができる。
71．自分の勉強していることについて，小学校のクラスで話をすることができる。
72．ネイティブのゲストと，世界の出来事について話し合うことができる。
73．大学改革の方法について，先生と話し合うことができる。
74．デパートに電話して，ある商品の在庫を確認することができる。
75．入部希望の後輩に対して，面接を行うことができる。
お疲れ様でした。最後にもう一つだけ質問します。
76．このアンケートをやることによって、自分の英語力を自分で評価できたと思いますか？
１．全くできなかった
２．ほとんどできなかった
４．大体できた
５．かなりよくできた
３．半分くらいできた
参考文献
工藤洋路・根岸雅史・森本勝則．(2005). ライティングのCan-do statements の妥当性の
検証～自己評価と実際のパフォーマンスとの関係について～，外国語教育学会
（JAFLE）第9 回研究報告大会研究発表資料
野口裕之・熊谷龍一・脇田貴文・和田晃子．(2004)．日本語 Can-do-statements に対する
IRT 多値型モデルの適用，日本言語テスト学会 (JLTA) 第８回全国研究大会研究発
表資料
長沼君主・宮嶋万里子．(2006)．清泉アカデミック Can-Do 尺度の開発とその評価，日本言
語テスト学会 (JLTA) 第８回全国研究大会研究発表資料
Council of Europe. (2001). Common European Framework of Reference for Languages:
Learning, teaching, assessment, Cambridge, Cambridge University Press.
van Ek, J.A. & Trim, J.L.M. (1991). The Threshold Level 1990. Cambridge, Cambridge
University Press.
van Ek, J.A. & Trim, J.L.M. (1991). Wastage 1990. Cambridge, Cambridge University
Press.
van Ek, J.A. & Trim, J.L.M. (2001). Vantage. Cambridge, Cambridge University Press.
Morrow, K., (2004). Insights from the Common European Framework. Oxford, Oxford
University Press.
参考サイト
Council of Europe. http://www.coe.int/
TOEIC Can-Do Guide --- Linking TOEIC Scores to Activities Performed Using English
http://www.ets.org/Media/Tests/Test_of_English_for_International_Communication/TO
EIC_Can_Do.pdf

Download Report