Knowledge‐Based Automatic Sleep‐Stage Recognition – Reduction in the Interpretation Variability

• Published in: Somnologie : Schlafforschung und Schlafmedizin = Somnology : sleep research and sleep medicine Vol. 7; no. 2; pp. 59 - 65
• Main Authors: Schwaibold, Matthias, Harms, Reinhard, Schöller, Bernd, Pinnow, Iris, Cassel, Werner, Penzel, Thomas, F. Becker, Heinrich, Bolz, Armin
• Format: Journal Article
• Language: English
• Published: Berlin Blackwell Verlag 01.05.2003; Springer; Springer Nature B.V
• Subjects: Algorithms; Artificial intelligence; ARTISANA; Automatic sleep‐stage recognition; Automatische Schlafstadienanalyse; Biological and medical sciences; Diagnose von Schlafstörungen; diagnosis of sleep disorders; Electrodiagnosis. Electric activity recording; Interratervariabilität; inter‐rater variability; Investigative techniques, diagnostic techniques (general aspects); Medical sciences; Nervous system; Sleep; validation; Validierung; Human; Sleep stage; Exploration; Electroencephalography; ARTISANA; Interpretation; Polysomnography; Algorithm; inter-rater variability; Automatic sleep-stage recognition; diagnosis of sleep disorders; Electrodiagnosis; Sleep; Interindividual comparison; validation
• ISSN: 1432-9123; 1439-054X
• DOI: 10.1046/j.1439-054X.2003.03202.x

Summary Question The potential of an adaptive algorithm approach for solving existing problems in interpretation variability for sleep‐stage recognition and the low acceptance of automatic systems were assessed. 
Methods The rules defined by Rechtschaffen and Kales are modelled by a neuro‐fuzzy system with the ARTISANA (Artificial Intelligence in Sleep Analysis) algorithm investigated here. The system was trained on the basis of 10 recordings and corresponding hypnograms from a first human scorer. 
Results The system agreed with the first scorer at a rate typical for the range for patients with sleep disorders (with a validation set of 28 recordings), with no systematic deviations. Compared with a second scorer, the first scorer and the trained system agreed less. Stage wake was systematically overestimated and deep sleep was systematically underestimated. After adding four additional recordings to the training set, which were classified by the second scorer, the automatic system reached higher agreement rates with both scorers (72.7 % and 73.0 %, respectively) than the scorers did with each other (69.3 %). Compared with the consensus epochs of the two human experts, a very high agreement rate (84.4 %) was found. 
Conclusion The results show that the ARTISANA algorithm can reduce systematic variations and produce objective and completely reproducible hypnograms in clinical practice after training with recordings from a set of experienced scorers. Zusammenfassung Fragestellung Es wurde das Potenzial eines lernfähigen Algorithmus‐Ansatzes zur Lösung der Problematik der Auswertevariabilität bei der Schlafstadienerkennung und der niedrigen Akzeptanz automatischer Systeme untersucht. 
Methodik Die Regeln von Rechtschaffen und Kales werden beim hier untersuchten ARTISANA (Artificial Intelligence in Sleep Analysis)‐Algorithmus durch ein Neuro‐Fuzzy‐­System modelliert, dessen Freiheitsgrade anhand der Klassifikationen eines ersten Scorers in einem Trainingsprozess anhand von 10 Aufzeichnungen eingestellt wurden. 
Ergebnisse Dadurch erreichte das System bei einem Validierungskollektiv (28 Aufzeichnungen) eine Übereinstimmungsrate gegenüber dem ersten Scorer, die im typischen Bereich für Patienten mit Schlafstörungen liegt, systematische Abweichungen traten nicht auf. Gegenüber einem zweiten Scorer erreichten der erste Scorer und das trainierte System niedrigere Übereinstimmungsraten, Stadium Wach wurde systematisch über‐ und Tiefschlaf wurde systematisch unterschätzt. Nach der Aufnahme von vier zusätzlichen, durch den zweiten Scorer klassifizierten Aufzeichnungen in das Trainingskollektiv erreichte das automatische System höhere Übereinstimmungsraten mit beiden Scorern (72,7 % bzw. 73,0 %) als diese untereinander (69,3 %). Somit wurde die Lernfähigkeit des Systems als ein Mittel zur Minimierung systematischer Abweichungen nachgewiesen. Bei einem Vergleich mit den Consensus‐Epochen der beiden Experten wurden sehr hohe Übereinstimmungsraten (84,4 %) erreicht. 
Schlussfolgerung Die Ergebnisse zeigen, dass der ARTISANA‐Algorithmus nach Training mit Aufzeichnungen aus einem Kollektiv erfahrener Scorer objektive und vollständig reproduzierbare Hypnogramme in der klinischen Routine erstellen kann.