체계적 내용분석에 기반한 태권도 품새기술 평가도구의 양호도 검증

• Published in: 한국체육측정평가학회지 Vol. 16; no. 3; pp. 31 - 40
• Main Authors: 조은형(Eun Hyung Cho), 엄한주(Han Joo Eom)
• Format: Journal Article
• Language: Korean
• Published: 한국체육측정평가학회 01.12.2014
• Subjects: 체육; 평가정확성; poomsae skills; 신뢰도; assessment instrument; reliability; accuracy; 품새 기술; 평가도구
• ISSN: 1229-4225; 2671-9134
• DOI: 10.21797/ksme.2014.16.3.003

본 연구는 태권도 품새기술의 체계적 내용분석을 기반으로 품새기술을 구체적이고 객관적으로 기록하기 위해 품새기술 평가도구인 심사기록지의 개발과 이에 따른 심사기록지의 유용성 평가를 위해 심사자간 신뢰계수(inter-reliability)및 평가정확성(accuracy) 분석을 통해 품새기술 평가에 대한 객관적인 기초 자료를 제공하는데 목적이 있다. 품새기술 평가도구 개발을 위한 자료의 수집은 연구 목적에 따라 국기원, 대한태권도협회, 세계태권도연맹에서는 사용되는 공인 품새(유급자: 태극1장~8장, 유단자: 고려~일여) 총 17개 자료와 ‘태권도 품새 교본’(국기원, 2011)의 내용을 근거기반으로 하여 운동기술평가의 측정학적 분류를 통해 품새 기술 평가를 위한 심사기록지를 개발하였다. 심사기록지의 현장 유용성 평가를 위해 대한태권도협회의 협조 하에 경기현장과 가장 유사한 형태의 모의대회를 개최하였으며, 선수(n=68)와 심판(n=11) 총 79명이 참여하였다. 심판 및 선수배정은 현행 태권도 품새경기 심판분과위원회에서 진행되는 배정방식을 적용하여 각 코트에 5명씩 무작위(random) 배정하였고 채점방식은 기존의 총괄채점방식과 새로운 심사기록지에 의한 채점방식 두 가지를 균형설계(Counter-balanced design)되도록 배정하였다. 자료분석은 PASW18.0 Ver Program을 이용하여 모의시합을 통해 수집된 심판들의 평가 자료는 평가방법(Old vs. New) 및 평가항목(정확성, 숙련성)으로 분류하였으며, 각각에 대한 상관행렬(correlation matrices), 신뢰계수(consistency) 분석을 실시하였다. 또한 심사자들의 평가정확성(accuracy)을 비교하기 위하여 선수들과 사전협의를 통해 선정한 감점동작에 대한 평가결과를 분석하였다. 결과를 요약하면 다음과 같다. 품새동작의 손기술 및 발기술에 대한 평가정확성을 분석한 결과, 심판경력에 따라 심판판정의 정확성은 차이가 있었으며, 경력이 많은 심판들이 전반적으로 손기술, 발기술에 대한 평가정확성이 높은 것으로 나타났다(85% vs. 65%; 75% vs. 70%). 그리고 발기술보다는 상대적으로 동작이 단순한 손기술에 대한 정확도가 다소 높게 나타났다. 그리고 심사자들의 평가결과에 대한 신뢰도를 분석한 결과, ‘정확성’ 평가항목에서 심사자들 간의 신뢰계수는 기존 채점방식보다 기록지 채점방식에서 높게 산출되었으며(α=.688 vs. α=.847), 이러한 결과는 ‘숙련성’ 평가항목에서도 유사하게 나타났다(α=.73 vs. α=.83). 전반적으로 기존 총괄평가방식보다 개발된 기록지에 의한 평가방식을 적용했을 때 각 평가항목에서 심판들의 채점결과 간의 상관계수들이 상대적으로 높았고 보다 일관성 있게 산출되었다. This study aimed to compare inter-reliability and accuracy obtained by two different evaluation methods for the assessment of the Poomsae skills. An assessment checklist (CM) for the Poomsae skills was developed and the results produced using the checklist was compared with those obtained by the traditional assessment method (TM) which was mainly relied upon a subjective judgement of the judges in the Poomsae competition in TaeKwonDo. The data collection was conducted in a simulated Poomsae competition with 68 athletes and 10 certified judges. Data analyses were performed with PASW 18.0 Ver Program to compute correlations and reliabilities (Cronbach α) among the judges’ evaluation data, and the accuracy of correct identification of error-skills performed by the athletes. The results summarized below. The correlation and reliability for the checklist method were higher and more consistent than those data obtained TM in all aspects of variables concerned. The inter-rater reliabilities for CM were higher than those for TM in both‘Form-accuracy’ (.847 vs. .688) and ‘Skillful-execution’ (.73 vs. .83). The ratio of correct identification of error-skills was higher for those judges with more experience group in both ‘Hand-skill’ (85% vs. 65%) and ‘Leg-skill’ (75% and 70%). The results in this study indicate that the developed checklist can offer objective grounds and usability as an educational material for improving consistencyin judges’ evaluation and could be used as an academy/education training tool in referee education and selection process. KCI Citation Count: 0