ひとことで言うと
妥当性は、そのテストが「測ろうとしている力」を本当に測れているか、です。話す力を測りたいのに、会話文の空所を選ぶ問題で測っていたら、測れているのは読む力です。信頼性は、同じ生徒が同じ条件で受ければ同じ結果が出るか、で、採点者が変わると点が変わる、問題文の読み方で答えが割れる、といったぶれの少なさを指します。この2つは、定期テストを作るときに毎回確かめる物差しです。
出どころ
教育測定の基本の考え方で、言語テストの分野ではバックマンとパーマーが1996年に、妥当性・信頼性に、実用性（現実的に実施できるか）と波及効果（テストが授業と学習に与える影響）を加えた枠組みを示しました。日本の学習評価では、観点別評価の「妥当性・信頼性のある評価」として、国の参考資料が同じ語を使っています。
授業での実際の使い方
定期テストの大問ごとに、2つの問いで確かめます。
| 問い | 崩れている例 | 直し方 |
|---|---|---|
| 妥当性: この大問は、どの領域・観点を測るのか | 「話すこと」の評価に、会話文の空所補充を使っている | 話すことはパフォーマンステストで測り、テストの会話文は「読むこと」の評価に位置づけ直す |
| 妥当性: 問いたい力以外で差がつかないか | 英作文の題が生徒の生活から遠く、内容を思いつけないことで差がつく | 題材を生徒の身近なものにし、語群を添える |
| 信頼性: 採点者が変わっても同じ点になるか | 英作文の採点基準が「適切に」だけ | 観点ごとの採点基準を表にし、複数の先生で数枚を試し採点する |
| 信頼性: 問題の読み方で答えが割れないか | 指示文が長く、何を書くかが2通りに読める | 指示文を短くし、例を1つ示す |
先生が自分に向けて言う言葉は「この大問で、何が分かるか」です。答えが「読む力」なのに「話すこと」の欄に点を入れていたら、妥当性が崩れています。
よくある誤解
- 難しいテストが妥当性の高いテスト、ではありません。難しさと、測りたい力を測れているかは別です。
- 信頼性は「採点が厳しいか」の話ではありません。厳しくても甘くても、ぶれなければ信頼性は高いです。
- 完璧なテストを目指す話ではありません。波及効果（テストが授業に返す影響）を考えると、多少の手間より「授業でやったことが出る」テストのほうが生徒の学習に効きます。
校種別の違い
| 校種 | 扱い |
|---|---|
| 小学校 | 点数化しないが、振り返りや所見が「その子の力の事実」に基づいているか、という同じ問い |
| 中学校 | 定期テストの大問ごとに領域と観点を書く。英作文の採点基準を表に |
| 高校 | 定期考査と外部試験の役割分担。採点の複数チェック |
| 塾 | 確認テストの問題が「学校の定期テストの形」に合っているか（波及効果） |
この用語が出てくる教材と記事
- 中1英語・最初の定期テストの作り方。大問構成・配点・観点別評価の対応を書いた本編です。
- 中間考査の作り方（高校版）。領域と観点を大問に割り当てる手順です。
- 英作文の採点（高校版）。信頼性を上げる採点基準の作り方です。
- 話す力を測る形はパフォーマンステスト、採点の表はルーブリックへ。