ARTIFICIAL INTELLIGENCE-DRIVEN TESTING IN EFL/ESP CLASSROOMS

• Published in: Information technologies and learning tools Vol. 106; no. 2; pp. 122 - 133
• Main Authors: Zhyhadlo, Olena, Zaiarna, Inna
• Format: Journal Article
• Language: English
• Published: Institute for Digitalisation of Education of the NAES of Ukraine 01.05.2025
• Subjects: AI-Generated Assessments; Artificial Intelligence; ChatGPT; EFL/ESP Classrooms; Language Testing Criteria; Vocabulary Test Design
• ISSN: 2076-8184; 2076-8184
• DOI: 10.33407/itlt.v106i2.5957

This article explores the application of Artificial Intelligence (AI)-driven tools, particularly ChatGPT, for creating vocabulary test tasks in EFL/ESP classrooms. The research aims to evaluate the quality of vocabulary test tasks generated by ChatGPT by applying established criteria, including relevance, reliability, interactiveness, practicality, and impact. It investigates how ChatGPT-generated tasks meet these criteria and provides practical recommendations for educators to optimize the quality of AI-generated assessments. The authors indicate that criteria such as relevance, practicality, interactivity, and impact can be fully satisfied in ChatGPT-generated tests. However, the research identifies challenges with the reliability of AI-generated test tasks, primarily due to ambiguities in response choices. The article emphasizes the pivotal role of human intervention in guiding and refining AI-generated outputs. Detailed and context-specific prompts crafted by educators are critical to maximizing the potential of ChatGPT while mitigating its limitations. To support EFL/ESP teachers, the study offers detailed recommendations for enhancing ChatGPT-generated test tasks, such as developing precise prompts, setting clear contexts, assigning specific roles to ChatGPT, and iteratively refining outputs. These strategies improve the reliability and effectiveness of AI-generated assessments and align them with pedagogical standards. The authors emphasise the importance of integrating human oversight with AI tools to maintain the validity and usefulness of language tests. This research contributes to the broader discourse on integrating AI in education by demonstrating how educators can leverage ChatGPT for test design while addressing its limitations. Future directions include evaluating the effectiveness of other types of AI-generated test tasks, exploring AI’s role in automated assessment and feedback, and examining the long-term impact of AI-driven assessments on teaching methodologies and students’ vocabulary acquisition in ESP contexts. Ця стаття присвячена особливостям застосування технологій на основі штучного інтелекту (ШІ), зокрема ChatGPT, для створення завдань, націлених на перевірку рівня сформованості лексичних навичок студентів на заняттях з англійської мови як іноземної та/або для спеціальних цілей. Дослідження спрямоване на оцінювання якості завдань, згенерованих ChatGPT, за допомогою визначених критеріїв, таких як відповідність, надійність, інтерактивність, практичність та вплив. У статті проаналізовано, наскільки тестові завдання, створені ChatGPT, відповідають цим критеріям, та надано практичні рекомендації для викладачів щодо покращення якості тестових завдань, згенерованих ШІ. Автори зазначають, що такі критерії, як відповідність, практичність, інтерактивність та вплив, можуть бути повністю дотримані в тестових завданнях, створених ChatGPT. Разом з тим, дослідження виявило труднощі, пов’язані з критерієм надійності, зокрема в контексті неоднозначності варіантів відповідей, згенерованих ШІ. У статті наголошується на ключовій ролі людського втручання в процеси створення тестових завдань, згенерованих ШІ, та їх вдосконалення. Зокрема зазначається, що детальні та контекстно орієнтовані запити, створені викладачами, є критично важливими для використання максимального потенціалу ChatGPT та усунення його обмежень. З метою оптимізації роботи викладачів іноземної мови під час оцінювання лексичних навичок студентів у дослідженні пропонуються детальні рекомендації щодо вдосконалення процесу створення тестових завдань, створених ChatGPT, наприклад, розробка точних інструкцій, визначення чіткого контексту, призначення ChatGPT конкретних ролей та поетапне вдосконалення результатів. Автори наголошують, що ці стратегії сприяють надійності та ефективності укладання тестових завдань, згенерованих ШІ, та забезпечують їх відповідність освітнім стандартам. Автори підкреслюють важливість інтеграції людського контролю з інструментами ШІ з метою підтримання валідності та корисності мовних тестів. Це дослідження сприяє ширшій дискусії про інтеграцію ШІ в освіту, демонструючи, як викладачі можуть ефективно використовувати ChatGPT для розробки тестових завдань, враховуючи його переваги та обмеження. Визначено, що майбутні напрями досліджень варто присвятити оцінюванню ефективності інших типів завдань, створених ШІ, вивченню ролі ШІ в автоматизованому оцінюванні та наданні зворотного зв’язку.