多数の欠測値を含む相互評価データにおける評価者の評価特性補正方法(<特集>学習オブジェクト・学習データの活用と集約)

• Published in: 日本教育工学会論文誌 Vol. 31; no. 3; pp. 373 - 381
• Main Authors: 加藤, 浩, 藤原, 康宏, 大西, 仁
• Format: Journal Article
• Language: Japanese
• Published: 日本教育工学会 20.12.2007
• Subjects: 教育データ; 教育評価; 相互評価; 補正; 評価特性
• ISSN: 1349-8290; 2189-6453
• DOI: 10.15077/jjet.KJ00004964301

学習者間の相互評価で公平なフィードバックを行うために,評価者が実際につけた評価値を,個々の評価者の評価特性を考慮して補正する方法を提案する.相互評価では,通常,全ての学習者が他の全ての学習者と相互に評価し合うことは困難であり,非常に欠測値の多いデータを扱うことになる.提案する方法では,項目応答理論のメタファを用いた評価モデルにより各評価者の評価特性を推定し,平均的な評価特性の評価者による評価値との差を用いて,評価値の補正を行う.提案した方法を実データに適用して,補正を行うことにより妥当な評価値に近づくことを確認した.さらに,実際の授業において,5回にわたって相互評価を実施し,評価結果を評価者にフィードバックしたところ,補正値をフィードバックされた評価者は評価能力が向上したが,補正前の評価値のみをフィードバックされた評価者は評価能力が向上しなかった.これらの結果から,提案した補正方法は,公平な評価,学習者の評価能力の向上に有効であることが示された.