Critical Thinking Assessment in Adults: Methodology and Development Experience

• Published in: Sovremennaâ Zarubežnaâ Psihologiâ Vol. 11; no. 4; pp. 105 - 116
• Main Authors: Sadova, A.R., Khill, J.S., Pashchenko, N.V., Tarasova, K.V.
• Format: Journal Article
• Language: English; Russian
• Published: Moscow State University of Psychology and Education 2022
• ISSN: 2304-4977; 2304-4977
• DOI: 10.17759/jmfp.2022110409

Critical thinking (next CT) is one of the key competencies in the modern world. Despite the variety of assessment systems for secondary and higher education, there is a lack of tests for assessing this competence for adults. The importance of adult assessment is emphasized primarily by the need for employers to have employees with developed CT in various work contexts. The article describes the procedure for creating a measurement test for students of the training course «Critical Thinking» of the «Yandex.Practice» platform and the results of assessing its psychometric quality. When creating this test, we relied on the Evidence Centered Design (ECD) approach. The test is performed in computer form and consists of tasks aimed at identifying the relevant observed behavior of the subject. The validity of the developed test, including its compliance with theoretical expectations about the factor structure, is confirmed by evidence of constructive, criterion, convergent and content validity. The limitations of this study and possible directions for future developments are considered. The result of the work is a validated test for measuring critical thinking for adults, the quality of the tasks of which is confirmed by psychometric analysis in modern mental test theory (IRT - Item Response Theory). Критическое мышление (далее КМ) является одной из ключевых компетенций в современном мире. Несмотря на разнообразие систем оценки образовательных результатов для средней школы и высшего образования, существует дефицит инструментов оценки данной компетенции для взрослых. Значимость оценки взрослых подчеркивается прежде всего потребностью работодателей в сотрудниках с развитым КМ в различных рабочих контекстах. В данной статье описывается процедура создания инструмента измерения применительно к слушателям учебного курса «Критическое мышление» платформы «Яндекс.Практикум» и результаты оценки его психометрического качества. При создании данного теста мы опирались на подход Evidence Centered Design (ECD). Тест выполнен в компьютерной форме и состоит из заданий, направленных на выявление релевантного наблюдаемого поведения испытуемого. Валидность разработанного инструмента, в том числе его соответствие теоретическим ожиданиям о факторной структуре, подтверждена доказательствами конструктной, критериальной, конвергентной и содержательной валидности. Рассмотрены ограничения данного исследования и возможные направления будущих разработок. Результатом работы выступает валидизированный инструмент измерения критического мышления для взрослых, качество заданий которого подтверждается психометрическим анализом в современной теории тестирования (IRT - Item Response Theory).