Australasian ACPGBI risk prediction model for 30‐day mortality after colorectal cancer surgery

• Published in: BJS open Vol. 4; no. 6; pp. 1208 - 1216
• Main Authors: Wilkins, S., Oliva, K., Chowdhury, E., Ruggiero, B., Bennett, A., Andrews, E. J., Dent, O., Chapuis, P., Platell, C., Reid, C. M., McMurrick, P. J.
• Format: Journal Article
• Language: English
• Published: Chichester, UK John Wiley & Sons, Ltd 01.12.2020; Oxford University Press
• Subjects: Age; Calibration; Cancer surgery; Colorectal cancer; Colorectal surgery; Datasets; Laparoscopy; Laparotomy; Lower GI; Mortality; Original; Patients; Variables; New Zealand; United Kingdom > UK; Australia
• ISSN: 2474-9842; 2474-9842
• DOI: 10.1002/bjs5.50356

Background Postoperative mortality after colorectal cancer surgery varies across hospitals and countries. The aim of this study was to test the Association of Coloproctologists of Great Britain and Ireland (ACPGBI) models as predictors of 30‐day mortality in an Australian cohort. Methods Data from patients who underwent surgery in six hospitals between 1996 and 2015 (CRC data set) were reviewed to test ACPGBI models, and patients from 79 hospitals in the Bi‐National Colorectal Cancer Audit between 2007 and 2016 (BCCA data set) were analysed to validate model performance. Recalibrated models based on ACPGBI risk models were developed, tested and validated on a data set of Australasian patients. Results Of 18 752 patients observed during the study, 6727 (CRC data set) and 3814 (BCCA data set) were analysed. The 30‐day mortality rate was 1·1 and 3·5 per cent in the CRC and BCCA data sets respectively. Both the original and revised ACPGBI models overestimated 30‐day mortality for the CRC data set (observed to expected (O/E) ratio 0·17 and 0·21 respectively). Their ability to correctly predict mortality risk was poor (P < 0·001, Hosmer–Lemeshow test); however, the area under the curve for both models was 0·88 (95 per cent c.i. 0·85 to 0·92) showing good discriminatory power to classify 30‐day mortality. The recalibrated original model performed well for calibration and discrimination, whereas the recalibrated revised model performed well for discrimination but not for calibration. Risk prediction was good for both recalibrated models. On external validation using the BCCA data set, the recalibrated models underestimated mortality risk (O/E ratio 3·06 and 2·98 respectively), whereas both original and revised ACPGBI models overestimated the risk (O/E ratio 0·48 and 0·69). All models showed similar good discrimination. Conclusion The original and revised ACPGBI models overpredicted risk of 30‐day mortality. The new Australasian calibrated ACPGBI model needs to be tested further in clinical practice. Antecedentes La mortalidad postoperatoria tras la cirugía del cancer colorrectal (colorectal cáncer, CRC) varía entre hospitales y países. El objetivo de este estudio era evaluar los modelos de la Asociación de Coloproctólogos de Gran Bretaña e Irlanda (Association of Coloproctologists of Great Britain and Ireland, ACPGBI) como predictores de mortalidad a los 30 días en una cohorte de pacientes de Australia. Métodos Se revisaron los datos de pacientes sometidos a cirugía en seis hospitales entre 1996‐2015 (datos CRC) para evaluar los modelos ACPGBI, mientras que los datos recogidos en 79 hospitales en la auditoría bi‐nacional de cáncer colorrectal (Bi‐National Colorectal Cancer Audit) entre 2007‐2016 (datos BCCA) se analizaron para validar el comportamiento del modelo. Se desarrollaron modelos recalibrados basados en los modelos de riesgo ACPGBI que fueron aplicados y validados en un conjunto de datos multi‐institucionales de pacientes australianos. La mortalidad observada y estimada (tasa 0/E) a 30 días se calculó en los modelos ACPGBI original y revisados usando el test de Hosmer‐Lemeshow y los análisis de la curva de las características operador‐receptor (ROC) para evaluar la calibración y discriminación de los modelos. Resultados De un total de 18,752 pacientes observados durante el periodo de estudio, se analizaron 6.727 (datos CRC) y 3.814 (datos BCCA). La mortalidad en los pacientes del grupo de datos CRC fue del 1,1% y en los del grupo de datos BCCA del 3,5%. Para el grupo de datos CRC, los modelos ACPGBI sobreestimaron significativamente la mortalidad a los 30 días, tanto en el modelo original como en el modelo revisado (O/E 0,17 y 0,21). La capacidad de los modelos para predecir correctamente el riesgo de mortalidad también fue limitada (test de Hosmer‐Lemeshow 23,1 y 22.9); sin embargo, el área bajo la curva ROC de ambos modelos fue de 0,88 (i.c. del 95% 0,85‐0,92) con una buena capacidad discriminatoria para clasificar a los pacientes que fallecían durante los primeros 30 días tras la cirugía. El modelo original ACPGBI recalibrado presentó un buen comportamiento para la predicción de riesgo (tasa O/E 1,06), pero no fue así en el caso del modelo revisado ACPGBI recalibrado (tasa O/E 0,99). En la validación externa con los datos BCCA, los modelos recalibrados subestimaron el riesgo de mortalidad a los 30 días (tasa O/E 3,06 y 2,98), mientras que los modelos ACPGBI original y revisado sobreestimaron el riesgo (tasa O/E 0,48 y 0,69, respectivamente). Todos los modelos mostraron una buena discriminación en las curvas ROC. Conclusión Los modelos ACPGBI original y revisado sobreestimaron el riesgo de mortalidad a los 30 días. Se desarrolló un nuevo modelo, denominado modelo ACPGBI calibrado australiano o modelo ACACPGBI, cuya utilidad en la práctica clínica debe ser evaluada. The aim was to test the Association of Coloproctologists of Great Britain and Ireland (ACPGBI) original (2003) and revised (2010) models as predictors of 30‐day mortality in an Australian patient cohort, and then recalibrate these models using data from Australian patients. This study included 10 541 patients treated over a 20‐year interval in Australia and New Zealand. The ACPGBI models overestimated 30‐day mortality, and so both ACPGBI models should be used with caution in Australia. Mortality risk prediction after colorectal surgery