Classification Accuracy as a Substantive Quantity of Interest: Measuring Polarization in Westminster Systems

• Published in: Political analysis Vol. 26; no. 1; pp. 120 - 128
• Main Authors: Peterson, Andrew, Spirling, Arthur
• Format: Journal Article
• Language: English
• Published: Oxford University Press (OUP) 01.01.2018
• Subjects: Computer Science; Document and Text Processing; Humanities and Social Sciences; Methods and statistics; Political science
• ISSN: 1047-1987; 1476-4989
• DOI: 10.7910/DVN/YTPJ1N

Measuring the polarization of legislators and parties is a key step in understanding how politics develops over time. But in parliamentary systems-where ideological positions estimated from roll calls may not be informative-producing valid estimates is extremely challenging. We suggest a new measurement strategy, that makes innovative use of the 'accuracy' of machine classifiers, i.e. the number of correct predictions made as a proportion of all predictions. In our case, the 'labels' are the party identifications of the members of parliament, predicted from their speeches, along with some information on debate subjects. Intuitively, when the learner is able to discriminate members in the two main Westminster parties well, we claim we are in a period of 'high' polarization. By contrast, when the classifier has low accuracy-and makes a relatively large number of mistakes in terms of allocating members to parties based on the data-we argue parliament is in an era of 'low' polarization. This approach is fast and substantively valid, and we demonstrate its merits with simulations, and by comparing the estimates from 78 years of House of Commons speeches with qualitative and quantitative historical accounts of the same. As a headline finding, we note that contemporary British politics is approximately as polarized as it was in the mid-1960s-that is, in the middle of the 'post-war consensus'. More broadly, we show that the technical performance of supervised learning algorithms can be directly informative about substantive matters in social science. Mesurer la polarisation des législateurs et des partis est une étape clé pour comprendre comment la politique évolue au fil du temps. Mais dans des systèmes parlementaires - où les positions idéologiques estimées à partir d'appels nominaux sont possiblement moins révélatrices - produire des estimations valides est extrêmement difficile. Nous proposons une nouvelle stratégie de mesure qui utilise de manière innovante la précision des classificateurs de machines, c'est-à-dire le nombre de prédictions correctes en proportion de toutes les prédictions. Dans notre cas, les ‘labels’ sont les identifications de parti des députés, prédites par leurs discours, ainsi que par des informations sur les sujets de débat. Intuitivement, lorsque l'apprenant est capable de bien distinguer les membres des deux partis principaux de Westminster, nous affirmons que nous sommes dans une période de forte polarisation. En revanche, lorsque le classificateur est peu précis - et commet un nombre relativement élevé d'erreurs en ce qui concerne l'attribution des députés aux partis sur la base des données - le parlement se trouve dans une période de faible polarisation.Nous illustrons cette approche en analysant 3,5 millions de discours parlementaires afin d’élaborer une mesure de polarisation sur une durée de 78 ans à la Chambre des communes au Royaume-Uni. Cette approche est rapide et substantiellement valide, comme nous l'avons démontré par des simulations et une validation substantielle. Nous notons que la politique britannique contemporaine est à peu près aussi polarisée qu'elle l'était au milieu des années 60, c'est-à-dire au milieu du «consensus d'après-guerre». Plus largement, nous montrons que la performance technique des algorithmes d'apprentissage supervisé peut être directement informative sur des questions de fond en sciences sociales.