表題番号：2013A-6163 日付：2014/04/11
研究課題日本の英語標準化テストにおけるテスト結果フィードバックの現状に関する考察
研究者所属（当時） 資格 氏名
（代表者） 教育・総合科学学術院 准教授 澤木　泰代
研究成果概要
１．本研究の背景と目的
現在主流となっている言語テスト妥当性理論においては、テスト得点だけでなく、テスト結果についてより詳細な情報を含むフィードバックを、語学学習者や教師に対してスコア・レポートの形で提供することの重要性を主張している（例：Bachman & Palmer, 2010; Chapelle, Enright, & Jamieson, 2008）。このようなフィードバックは、学習者の長所や弱点などが容易に解釈でき、その後の指導や学習者の自主学習への橋渡しになるような具体的な内容であることが求められる。しかし、様々なテスト機関や出版社等によって実施されている言語テストのスコア・レポートがどのような方針で作られ、またそのそれぞれにどのような特徴があるか、またスコア・レポートを受け取る側の学習者や教師がその内容をどのように理解し、その後の学習や指導に活かしているかに関する系統的な分析は、まだ十分に行われていない。
　本研究では、今後言語テストのスコア・レポートの内容を改善し、適切な使用を促進していく一助として、現在日本で広く使用されている英語標準化テストの運営元が発行するスコア・レポートやその付属資料として提供しているフィードバックの特徴と、教育活動の一貫としての英語学習者・教師によるスコア・レポート使用の実態を調査する。本研究では、日本での学校英語教育において広く使用されている2つの標準化テスト、the Global Test of English Communication (GTEC) for STUDENTS（GTECfS：株式会社ベネッセ・コーポレーション）とthe Test in Practical English Proficiency（英検：日本英語検定協会）の2つに焦点をあて、テスト結果がどのように学習者や教師に報告され、それを受けた学習者や教師がその情報をどのように解釈し、利用しているかを検証した。

２．手法
（１）参加者
本研究には、首都圏の3つの高等学校に所属する高校1年生から3年生16名と英語科教員5名が参加した。参加した高校生のGTECfSのグレードは、7レベルのうちグレード4からグレード7（中央値、最頻値共にグレード6）であった。ベネッセ・コーポレーションが高校卒業時に望まれる英語力レベルとして推奨しているのがグレード5であるため、比較的英語が得意な生徒が本研究に参加したと考えられる。また、教員参加者は、勤続年数が7年から27年の中・高等学校での教歴を有する日本人英語教員であった。参加した３つの高等学校のうち二校（高校A、高校B）はそれぞれ別の私立大学の附属高校であり、残る一校（高校C）は以前文科省によりSELHi（Super English Language High School）に指定された都立高校である。いずれの高校も、2013年秋に本研究を開始するにあたって、今回の研究対象となるGTECfS、あるいは英検を学校で実施している高校に対して本研究の研究代表者・研究協力者が個別に連絡し、協力を依頼した。高校Aと高校Bの二校はいずれもGTECfSのみを学校で定期的に実施し、英検は興味のある生徒が自主的に申し込んで受験している。高校Aでは生徒の英語力の把握や選択科目でのクラス分け、また学内推薦の際の英語力の指標としてGTECfSスコアを用い、生徒の必修英語科目の成績の一部に加味している。これに対し、高校Bでは英語科目の成績にGTECfSを加味することはなく、近年実施された英語カリキュラム改革の効果測定の一環として、生徒の英語力の伸びの確認のために用いている。一方高校Cでは、GTECfSと英検の両方を学校で定期的に実施し、GTECfSは生徒の英語学習の動機付けや英語力の伸びの確認、英語による校外学習の際のクラス分けに用いている。また英検準2級を高校Cの入試の一部で導入しており、準2級と2級は大学への推薦入学等を希望する学生に必要な英語力の指標と位置づけ、学校でも英検受験者対象の事前指導などを積極的に行なっている。

（２）調査対象資料
今回調査対象となったGTECfSと英検については、テスト運営元が発行する情報以外に、他の出版社の出版物やウェブサイト、ブログなどで様々な情報が出回っているが、本研究では各テストの運営元が発行しているスコア・レポートと関連資料のみを調査対象とした。具体的には、GTECfSについては生徒用のスコア・レポート、教師用帳票、問題冊子、解答解説冊子とテスト復習用教材の「STEP UPノート」（全て印刷物として試験実施校に配布）、また英検については1次・2次試験の受験者用スコア・レポートと、英検ウェブサイトを通じて公開されている問題冊子、解答速報、リスニングの音源とスクリプトを調査対象とした。

（３）調査方法と分析
本研究では2種類の調査を行なった。まず、調査対象となったスコア・レポートや資料で報告される情報の内容や形式について把握するために、認知診断とインフォメーション・デザインの枠組みに基づいた、Roberts and Gierl (2010) のスコア・レポートに含まれる情報の分類に従って、研究代表者・研究協力者が判定者となり、独立にそれぞれの資料を質的に分析した。その後判定者同士でその結果を話し合い、各テストについて報告されるフィードバックの内容や形式の特徴をまとめた。次に、テスト結果のフィードバックを受け取る側の学習者や教師がどのようにその情報を解釈し、日々の英語学習や指導に利用しているかを検証するために、参加校それぞれにおいて研究代表者・研究協力者が参加者のグループ・インタビューを行なった。高校Aと高校Bでは、それぞれ生徒を3名ずつの2グループに分け、また高校Cでは生徒参加者4名を1グループとしてインタビューを行なった。教員のインタビューは、高校Aは1名の参加者の単独インタビュー、高校BとCでは各2名の参加者によるグループでインタビューした。生徒のインタビューにおいては、それぞれのテストについて (a) スコアレポートを受け取った時に考えたこと、(b) スコアレポートの内容の理解度やわかりやすさ・見やすさについて、(c) スコア・レポートやその関連資料をどのように学校での学習や自主学習に役立てたか、また (d) スコア・レポートと関連資料の改善アドバイスについてディスカッションを行なった。教員インタビューについても上記 (b)、(c)、(d)を扱ったが、それに加えて学校での英語教育における各テストの利用の位置づけについても参加者に話を聴いた。各インタビューは日本語で実施した。生徒のインタビューは各グループにおいて92～124分、教員インタビューはそれぞれ67分～77分であった。ビデオによる録画とICレコーダーによる録音を行い、生徒インタビューはテープ起こしされた原稿、また教員インタビューについてはビデオ録画と録音に基づいて研究代表者・研究協力者が取った詳細なノートを分析対象とした。生徒のインタビュー・データは、上記のRoberts and Gierl (2010)のテストのスコア・レポートで報告される情報の分類に従って、研究代表者・研究協力者が判定者となり、独立してその内容を質的に分析した。一方、教師のインタビュー・データについては話の内容が多岐にわたりRoberts and Gierlの枠組みでの分析が難しかったため、この枠組みには従わず、インタビュー中に出てきたテーマごとに質的な分析を行った。生徒・教師のインタビュー結果それぞれについて、その後判定者同士でその結果を話し合い、本研究に参加した生徒と教師がどのようにテスト結果のフィードバックを解釈し、利用しているかについてまとめた。

３．主な結果
（１）スコア・レポートと関連資料で報告される情報の内容と形式について
主な結果は大きく分けて3点にまとめられる。第一に、いずれのテストも、主なテスト結果を複数の方法を用いて報告している。例えばGTECfSでは総合と各セクションに関するスコアを尺度点と7段階のグレードで、また英検では「合格・不合格A・不合格B」と総合得点（素点）で主なテスト結果を示し、その解釈を容易にするために様々な統計（例：GTECfSの校内・全国平均点、また英検の合格者平均点）やCan-Doリストを添えている。第二に、主なテスト結果だけでなく、より詳細にテスト結果を分析し、大問別得点やスピーキングやライティング・タスクの評価基準と得点、各項目に対する受験者解答の正誤等を掲載し、受験者の長所や弱点、また誤答した項目などが一覧できる。また問題冊子他の資料（例：GTECfSの解答・解説冊子、リスニングのスクリプトと音源）を併用することにより、事後の詳細な復習も可能になる。最後に、両テストともに統計、文字、図表など様々な形式の情報を組み合わせて、読む側にとって見やすい構成・レイアウトの資料を作成している。

（２）高校生と教員によるスコア・レポートと関連資料の情報の解釈と英語教育・学習におけるその活用について
まず、生徒がスコア・レポートを受け取った際に考えたことについて注目すべき結果は、多くの生徒が実際に目を通したスコア・レポートの箇所は、GTECfSの尺度点や前回からのスコアの伸び、英検の合否結果など、生徒個人が興味がある部分、あるいは図表などがあり目立つ部分などごく一部に限られており、スコア・レポートを受け取った際はその他の情報には注意が向いていなかったということである。この結果、生徒のインタビューにおいては、参加者にスコア・レポートの各ページやセクション、あるいは関連資料を一つ一つ示し、改めて目を通してもらい、内容の理解度やわかりやすさ等についてコメントしてもらった。その結果の主なポイントは3点で、まずスコア・レポートの各ページやセクションにおいて、生徒参加者が理解できない箇所は殆んどなく、特に統計データの表やグラフ等についてはわかりやすいという評価であった。その一方で、文章による説明には様々な意見が寄せられた。例えば学習に関するアドバイスはパラグラフ形式ではなく箇条書きにした方が読みやすいといった形式に関するものもあれば、あるレベルの英語学習者が一般的に英語でできることを記したCan-Doリストの内容の妥当性や一般化可能性、またGTECfSのライティングについては、受験者のエッセーに対する採点者のコメントや添削記号の理解しづらい点などが挙げられた。一方、教員参加者も、様々な形で提供される情報はよく練られておりわかりやすいという全体評価であったが、その一方で文章によるコメントについては、例えば英検の「学習アドバイス」については抽象的な表現をより具体化したり、高校生にもわかりやすくするためにやさしい表現を使うなど、フィードバックの内容をより明瞭にするための様々な提案があった。また、スコアレポートや関連資料を受け取った後、実際にどのようにその情報を英語指導や学習に役立てているかについては、数名の生徒を除いては、テスト結果を簡単に確認するのみに終わっており、テスト結果についてのフィードバックが復習やさらなる英語学習に活かされている例はごく少数であった。また、教員については、例えばGTECfSのライティング評価基準やエッセー・トピック、生徒のエッセー解答例をライティングの授業計画の参考にする例は複数報告された一方、詳細なデータ分析のもとに生徒の長所と弱点を分析し、事後の指導で弱点を重点的に扱うなどの指導の工夫例は報告されなかった。

４．結論
今回調査対象となったGTECfSと英検については、スコア・レポートや関連資料で報告される情報には、概ね学習者や教員が十分にその内容を理解できる程度の具体性があり、その提示方法も見やすいように工夫されているといえる。これは過去に主に教育評価の分野において海外で実施された研究で特定された、望ましいテスト結果報告方法の方針に概ね沿う内容であった（例：Zenisky & Hambleton, 2012）。また、高校生と英語教員によるその内容理解と英語指導・学習への使用については、内容的には理解できるが、これらの資料の限られた部分にしか読み手の注意が向いておらず、またその情報の事後使用も限られていた。今後検討すべき課題としては、海外の研究ではテスト結果フィードバックに不可欠と考えられていながら、GTECfSと英検のいずれでも報告されていなかった測定誤差や測定の信頼性など、その理解に一定の統計的知識を要する情報を、どのように学習者や教員に伝えていくか、また様々な情報がわかりやすく提示されていると今回評価された各資料について、なぜ読み手（特に英語学習者である生徒）の注意がその一部にしか向かず、事後の英語指導・学習での利用も限られているのかについては、今後更なる検証が待たれる。今回調査対象としたGTECfSと英検については、テスト結果をわかりやすく読み手に伝えるような様々な工夫が運営元によってなされてはいるが、使う側となる学習者や教員の視点も考慮しながら、今後テスト結果のコミュニケーションをさらに効率化していく余地は十分残されていると言えるであろう。

参考文献
Bachman, L. F., & Palmer, A. (2010). Language assessment in practice. Oxford: Oxford University Press.
Chapelle, C. A., Enright, M. K., & Jamieson, J. M. (2008). Building a validity argument for the Test of English as a Foreign Language™ . New York: Routledge.
Roberts, M. R., & Gierl, M. J. (2010). Developing score reports for cognitive diagnostic assessments. Educational Measurement: Issues and Practice, 29(3), 25-38. doi:10.1111/j.1745-3992.2010.00181.x
Zenisky, A. L., & Hambleton, R. K. (2012). Developing test score reports that work: The process and best practices for effective communication. Educational Measurement: Issues and Practice, 31(2), 21-26.