Nonparametric tests for treatment effect heterogeneity in observational studies

• Published in: Canadian journal of statistics Vol. 51; no. 2; pp. 531 - 558
• Main Authors: Dai, Maozhu, Shen, Weining, Stern, Hal S.
• Format: Journal Article
• Language: English
• Published: Hoboken, USA John Wiley & Sons, Inc 01.06.2023; Wiley Subscription Services, Inc
• Subjects: Causal inference; Confusion; Employment; Heterogeneity; Mental health; Nonparametric statistics; Normality; Observational studies; observational study; Population policy; Propensity; reweighting; Simulation; subgroup analysis; Subgroups; Testing; Tests; Treatment needs; U$$ U $$‐statistics
• ISSN: 0319-5724; 1708-945X
• DOI: 10.1002/cjs.11728

We consider the problem of testing for treatment effect heterogeneity in observational studies and propose a nonparametric test based on multisample U$$ U $$‐statistics. To account for potential confounders, we use reweighted data where the weights are determined by estimated propensity scores. The proposed method does not require any parametric assumptions on the outcomes and bypasses the need for modelling the treatment effect for each study subgroup. We establish the asymptotic normality for the test statistic and demonstrate its superior numerical performance over several competing approaches via simulation studies. Two real data applications are discussed: an employment programme evaluation study and a mental health study of China's one‐child policy. Résumé Les auteurs de ce travail examinent le problème du test d'hétérogénéité des effets de traitement dans le cadre d'études observationnelles, et proposent un test non paramétrique basé sur des U‐statistiques à échantillons multiples. Pour tenir compte des facteurs de confusion possibles, ils utilisent des données pondérées dont les poids sont déterminés par des scores de propension estimés. La méthode proposée ne nécessite aucune hypothèse paramétrique sur les résultats et contourne le besoin de modéliser l'effet du traitement pour chaque sous‐groupe à l'étude. Les auteurs démontrent la normalité asymptotique de la statistique du test et utilisent des simulations numériques pour montrer qu'elle possède de meilleures performances numériques comparativement à plusieurs autres alternatives. Ils présentent également deux applications sur des données réelles, l'une portant sur l'évaluation d'un programme d'emploi et l'autre sur la santé mentale relative à la politique chinoise de l'enfant unique.