Automatic engagement detection in the education: critical review

• Published in: Sovremennaâ Zarubežnaâ Psihologiâ Vol. 9; no. 3; pp. 59 - 68
• Main Authors: Kasatkina, D.A., Kravchenko, A.M., Kupriyanov, R.B., Nekhorosheva, E.V.
• Format: Journal Article
• Language: English; Russian
• Published: Moscow State University of Psychology and Education 01.09.2020
• Subjects: affect detection by video; automatic affect detection; automatic engagement detection; education; engagement; engagement detection by video
• ISSN: 2304-4977; 2304-4977
• DOI: 10.17759/jmfp.2020090305

This paper reviews the key research of the automatic engagement detection in education. Automatic engagement detection is necessary in enhancing educational process, there is a lack of out-of-the-box technical solutions. Engagement can be detected while tracing learning-centered affects: interest, confusion, frustration, delight, anger, boredom, and their facial and bodily expressions. Most of the researchers reveal these emotions on video using Facial Action Coding System (FACS). But there doesn’t exist a set of ready-made criteria to detect engagement and many scientists use additional techniques like self-reports, audio-data, physiological indicators and others. In this paper we present a review of most recent researches in the field of automatic affect and engagement detection and present our theoretical model of engagement in educational process based on the learning-centered affects’s detection. Engagement is understood as an affective and cognitive state, accompanying learning process. While reaching optimal engagement students experience various affects, where highly positive and negative feelings mean that a student is close to be engaged in the learning process. Рассмотрены основные исследования по определению вовлеченности обучающихся в процессе обучения посредством автоматизированных систем. Вовлеченность определяется по наличию академических переживаний: интереса, замешательства, фрустрации, восторга, гнева. Подходы к распознаванию эмоций заключаются в оценке мимики и телодвижений, психофизиологических реакций, данных работы мозга. Распознавание эмоций по видеозаписям осуществляется с помощью кодирования лицевых движений. Но для выявления вовлеченности нет набора готовых критериев, и многие исследователи используют дополнительные методы. В статье помимо обзора современных зарубежных исследований представлены авторские дополнения к теоретической модели распознавания вовлеченности на основе определения академических аффектов и произвольного внимания. Расписаны критерии и особенности регистрации аффектов, критерии произвольного внимания, динамическая структура вовлеченности при решении академической задачи.