Ce titre a 81,3% de chances d’être mensonger

Snake of Reflexivity

Snake of Reflexivity

Nate Silver est devenu la star de l’élection américaine. Après s’être exercé dans les prédictions statistiques sur les matchs de baseball, il s’était lancé dans l’agrégation de sondages politiques lors des primaires de 2008, par une politique assez agressive d’accusations méthodologiques ou éthiques envers ses concurrents. Il a été recruté par le New York Times cette saison-ci, une bonne décision puisque, si j’en crois les chiffres qui circulaient sur Twitter, il générait 20% des visites sur le site juste avant l’élection.

Sa méthode a plusieurs intérêts. Il calcule une moyenne des sondages avec soin, en pondérant les instituts en fonction de leur fiabilité passé et de leur méthode, et pas seulement de la taille de leur échantillon. Il intègre d’autres variables, économiques, démographiques (c’est ce qui lui a permis, pendant les primaires, de pronostiquer les résultats des États qui n’avaient pas encore voté à partir de ceux des États qui l’avaient déjà fait). Il transforme ces estimations de scores électoraux en probabilités de victoire, et enfin, pour cela, il prend en compte les écarts historiques entre résultats électoraux et sondages (réalisés un jour, une semaine ou un mois avant…). On attribue souvent l’origine de son succès médiatique à sa prédiction relativement précise du résultat de l’élection de 2008, mais je me souviens avoir été surtout impressionné, plus tôt cette année-là, par son travail sur les primaires démocrates. Il prévoyait avec confiance, et de manière convaincante, une victoire finale d’Obama contre Clinton à un moment où tous les médias américains s’enivraient d’incertitude.

Ce sont surtout les attaques de militants républicains, de journalistes et d’experts contre lui pendant les derniers jours de la campagne qui ont fait monter les enchères et ont accru sa célébrité. Ces attaques se sont probablement concentrées sur lui à cause de sa visibilité au New York Times et lors de ses interventions télé, mais il était loin d’être le seul agrégateur intelligent de sondages, et pas nécessairement le plus précis. Le résultat final est donc plus général : c’est la victoire des nerds, le triomphe des maths, etc.

Au-delà du cas Silver, on semble bien assister à une amélioration de la rigueur dans l’usage médiatique des sondages (en faire une moyenne pondérée est évidemment la bonne méthode), amélioration provoquée par Internet, par l’ouverture du marché de l’expertise médiatique aux nouveaux entrants. Tous les “nerds” célébrés pour leur simple prise en compte rationnelle des sondages ont commencé en ouvrant leurs propres sites indépendants.

Cette amélioration peut avoir deux limites. D’abord, on parle de sciences sociales, frappées par le paradoxe de la réflexivité. Maintenant que les moyenneurs de sondage vont devenir l’étalon de mesure des rapports de force politique, leurs prédictions vont avoir un impact direct sur la réalité sociale et politique. Je ne sais pas dans quel sens, mais je suppose que leurs modèles ne vont pas si facilement intégrer en leur sein les conséquences de leur propre existence. On peut imaginer par exemple qu’un effet polarisant mobilise les vainqueurs pronostiqués et démobilise les autres, accroissant les écarts. Ou au contraire qu’un sentiment prématuré de victoire rapproche les résultats. On peut facilement imaginer que pendant l’étrange processus des primaires américaines des pronostics crédibles et précoces influencent l’issue, tout comme on accusait les sondages en France de déterminer les primaires socialistes.

La seconde limite est le risque de trop étendre la méthode. Je n’ai pas lu le récent livre de Silver dont tout le monde dit du bien, mais il compte manifestement exploiter sa notoriété, sa tribune et ses compétences pour appliquer sa technique à d’autres domaines que la politique. Il va falloir s’occuper avant les élections de 2014. Or son chapitre sur le réchauffement climatique fait l’objet d’une critique sévère par un climatologue célèbre, Michael Mann, pourtant cité dans le livre. C’est que Silver semble reprocher aux climatologues de sous-estimer les incertitudes sur l’avenir du climat. Mais ces incertitudes n’ont rien en commun avec l’incertitude inhérente à l’échantillonnage des sondages. Il s’agit d’incertitude sur les décisions humaines (va-t-on continuer à brûler du charbon ? combien ?), d’incertitude (faible) sur la validité des mécanismes physiques utilisés dans les modèles, et enfin d’incertitude sur les conséquences locales (où frappera la sécheresse ? où frapperont les inondations ?). Dans les deux cas, remarque Silver, une prédiction ne peut se faire qu’à partir d’une théorie sous-jacente. Mais, justement, la théorie sous-jacente en physique est incomparablement plus solide que toutes les théories des sciences sociales.

La marche inexorable vers l’objectivité mathématique est portée par des vagues sociales qui ont leurs propres biais. Nate Silver, comme Steven Levitt avant lui, a quelque chose du scientisme naïf des économistes. En croyant faire aussi bien que les physiciens, ils sous-estiment la physique et ignorent le serpent de l’auto-référence qui se love au cœur des sciences sociales et les rend différentes.

Nov 9th, 2012
Comments are closed.