Alternative Approaches to Multilevel Modelling of Survey Non-Contact and Refusal

• Published in: International statistical review Vol. 79; no. 1; pp. 70 - 91
• Main Authors: Steele, Fiona, Durrant, Gabriele B.
• Format: Journal Article
• Language: English
• Published: Oxford, UK Blackwell Publishing Ltd 01.04.2011; Blackwell Publishing; Blackwell; International Statistical Institute; John Wiley & Sons, Inc
• Series: International Statistical Review
• Subjects: Alternatives; Applications; Clustered categorical response data; Coefficients; Comparative analysis; Correlation analysis; Correlations; Data collection; Datasets; Denial; discrete choice models; Exact sciences and technology; hierarchical models; Households; interviewer effects; Mathematical models; Mathematics; Modeling; Multilevel models; Polls & surveys; Probability and statistics; Sampling methods; Sciences and techniques of general use; Simulation; Statistics; survey non-response; Survey sampling; United Kingdom; Europe; United Kingdom > UK; Statistical method; Correlation; Clustered categorical response data; interviewer effects; Simulation; Household; Probability; Non response; hierarchical models; Sample survey; discrete choice models; survey non-response
• ISSN: 0306-7734; 1751-5823
• DOI: 10.1111/j.1751-5823.2011.00133.x

We review three alternative approaches to modelling survey non-contact and refusal: multinomial, sequential, and sample selection (bivariate probit) models. We then propose a multilevel extension of the sample selection model to allow for both interviewer effects and dependency between noncontact and refusal rates at the household and interviewer level. All methods are applied and compared in an analysis of household non-response in the United Kingdom, using a data set with unusually rich information on both respondents and non-respondents from six major surveys. After controlling for household characteristics, there is little evidence of residual correlation between the unobserved characteristics affecting non-contact and refusal propensities at either the household or the interviewer level. We also find that the estimated coefficients of the multinomial and sequential models are surprisingly similar, which further investigation via a simulation study suggests is due to non-contact and refusal having largely different predictors. Nous passons en revue trois approches différentes de la modélisation de l'absence de contact et du refus dans les enquêtes: modélisations multinomiale, séquentielle et par sélection d'échantillon (probit bivarié). Nous proposons une généralisation de type multi-niveau pour la modélisation par sélection d'échantillon afin de prendre en compte les effets liés à l'enquêteur et à la dépendance entre les taux d'absence de contact et de refus au niveau des ménages et de l'enquêteur. Toutes les méthodes sont appliquées et comparées dans le cadre d'une analyse de non-réponse des ménages au Royaume-Uni, en utilisant les données de six enquêtes majeures contenant des informations riches à la fois sur les répondants et les non-répondants. Si l'on tient compte des effets liés aux caractéristiques des ménages, nous constatons qu'il subsiste peu d'évidence d'une corrélation réelle entres les caractéristiques non observées affectant les probabilités de refus et d'absence de contact, tant au niveau des ménage qu'au niveau de l'enquêteur. Nous avons aussi constaté que les coefficients estimés pour les modèles multinomiaux et séquentiels sont étonnamment semblables. Après une analyse par simulations plus détaillées, il semble que ceci soit dû au fait qu'il y a très peu de chevauchements entre les prédicteurs d'absence de contact et de refus.