Machine learning for prediction of euploidy in human embryos: in search of the best-performing model and predictive features

• Published in: Fertility and sterility Vol. 117; no. 4; pp. 738 - 746
• Main Authors: De Gheselle, Stefanie, Jacques, Céline, Chambost, Jérôme, Blank, Celine, Declerck, Klaas, De Croo, Ilse, Hickman, Cristina, Tilleman, Kelly
• Format: Journal Article
• Language: English
• Published: United States Elsevier Inc 01.04.2022
• Subjects: Artificial intelligence (AI); assisted reproductive technology; Bayes Theorem; Cohort Studies; Humans; Logistic Models; Machine Learning; machine learning (ML) models; preimplantation genetic testing (PGT); Retrospective Studies; Time-lapse morphokinetics; assisted reproductive technology; machine learning (ML) models; Artificial intelligence (AI); Time-lapse morphokinetics; preimplantation genetic testing (PGT)
• ISSN: 0015-0282; 1556-5653; 1556-5653
• DOI: 10.1016/j.fertnstert.2021.11.029

To assess the best-performing machine learning (ML) model and features to predict euploidy in human embryos. Retrospective cohort analysis. Department for reproductive medicine in a university hospital. One hundred twenty-eight infertile couples treated between January 2016 and December 2019. Demographic and clinical data and embryonic developmental and morphokinetic data from 539 embryos (45% euploid, 55% aneuploid) were analyzed. Random forest classifier (RFC), scikit-learn gradient boosting classifier, support vector machine, multivariate logistic regression, and naïve Bayes ML models were trained and used in 9 databases containing either 26 morphokinetic features (as absolute [A1] or interim [A2] times or combined [A3]) alone or plus 19 standard development features [B1, B2, and B3] with and without 40 demographic and clinical characteristics [C1, C2, and C3]. Feature selection and model retraining were executed for the best-performing combination of model and dataset. The main outcome measures were overall accuracy, precision, recall or sensitivity, F1 score (the weighted average of precision and recall), and area under the receiver operating characteristic curve (AUC) of ML models for each dataset. The secondary outcome measure was ranking of feature importance for the best-performing combination of model and dataset. The RFC model had the highest accuracy (71%) and AUC (0.75) when trained and used on dataset C1. The precision, recall or sensitivity, F1 score, and AUC were 66%, 86%, 75%, and 0.75, respectively. The accuracy, recall or sensitivity, and F1 score increased to 72%, 88%, and 76%, respectively, after feature selection and retraining. Morphokinetic features had the highest relative predictive weight. The RFC model can predict euploidy with an acceptable accuracy (>70%) using a dataset including embryos’ morphokinetics and standard embryonic development and subjects’ demographic and clinical features. Aprendizaje automatizado para la predicción de euploidía en embriones humanos: en busca del modelo con mejor desempeño y características predictivas Evaluar el modelo de aprendizaje automatizado (AA) con mejor desempeño y características para predecir euploidía en embriones humanos. Análisis de cohorte retrospectivo. Departamento de medicina reproductiva en un hospital universitario. Ciento veintiocho parejas infértiles tratadas entre Enero 2016 y Diciembre 2019. Se analizaron datos demográficos y clínicos y datos del desarrollo embrionario y morfocinético de 539 embriones (45% euploides, 55% aneuploides). Clasificador aleatorio de forest (CAF), clasificador de aprendizaje por gradiente aumentado- scikit; máquinas de vectores de soporte, regresión logística multivariada, y modelos naive Bayes de AA fueron entrenados y utilizados en 9 bases de datos que contienen cualquiera de las 26 características morfocinéticas (como tiempos absolutos [A1] o intermedios [A2] o combinados [A3]), solas ó mas 19 características de desarrollo estándar [B1, B2, y B3] con y sin 40 características demográficas y clínicas [C1, C2 y C3]. La selección de características y el reentrenamiento del modelo se ejecutaron para la combinación del modelo y base de datos de mejor desempeño. Los resultados principales medibles fueron exactitud, precisión, cobertura o sensibilidad en conjunto, puntaje F1 (promedio ponderado de precisión y cobertura), y el área bajo la curva de características operativas del receptor (AUC) de modelos de AA para cada base de datos. La medida de resultado secundario fue el ranking de la importancia de características para encontrar la combinación del modelo y la base de datos con mejor desempeño. El modelo CAF tuvo la mayor exactitud (71%) y AUC (0.75) cuando se entrenó y utilizó en la base de datos C1. La precisión, cobertura o sensibilidad, puntaje F1, y AUC fueron 66%, 86%, 75%, y 0.75, respectivamente. La exactitud, cobertura o sensibilidad, y puntaje F1 incrementaron a 72%, 88%, y 76%, respectivamente, después de la selección de características y reentrenamiento. Los hallazgos morfocinéticos tuvieron el mayor peso predictivo relativo. El modelo CAF puede predecir euploidía con una exactitud aceptable (>70%) utilizando una base de datos que incluye la morfocinética embrionaria y el desarrollo embrionario estándar y características demográficas y clínicas de los sujetos.