다변량일반화가능도 이론을 적용한 자동문항생성 기반 평가에서의 신뢰도 탐색

• Published in: 과학교육연구지 Vol. 47; no. 2; pp. 211 - 224
• Main Authors: 정진민, Jinmin Chung, 김성연, Sungyeun Kim
• Format: Journal Article
• Language: Korean
• Published: 경북대학교 과학교육연구소 30.08.2023
• Subjects: assessment; automated item generation; multivariate generalizability theory; reliability; 다변량일반화가능도 이론; 신뢰도; 자동문항생성; 평가
• ISSN: 1225-3944

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도 이론을 예시 자료에 적용하여 분석하였다. G-연구 분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내...