Le 22-04-2007
Un peu de technique sur les sondages avec exemples à l'appui
Puisque j'ai fustigé la blogosphère politique, notamment à propos de sa propension à ne vouloir voir que les sondages dont les résultats lui semblent le plus arrangeant selon ses opinions, je vais tenter d'en expliquer les mécanismes exacts et de donner une illustration à la lumière des dernières estimations parues à l'avant-veille du premier tour. Je compléterai bien entendu à la lumière des résultats définitifs dès qu'ils seront publiès.
Rappel de la méthodologie d'un sondage :
La collecte d'information :
On récolte l'opinion d'un échantillon représentatif de la population (selon divers critères, c'est la méthode dite des quotas) et suffisamment important pour être indicatif via une enquête téléphonique où l'on pose des questions les plus neutres possible pour ne pas l'influencer.
La question essentielle est bien entendu sur la taille de l'échantillon pour qu'il soit suffisamment important. Il est plus ou moins communément admis qu'un millier est un chiffre efficace.
Le redressement :
Une fois la mesure effectuée, il est important de la redresser pour éliminer tous les mensonges qui auraient pu s'y glisser (les sondés pouvant fort bien dissimuler leur opinion pour une raison ou pour une autre - volonté de décrédibiliser l'étude, dissimulation de leur opinion par peur, honte, etc ...). C'est la partie la plus complexe et la plus contestée du processus puisqu'elle relève d'une méthode empirique, varie selon les instituts (c'est en quelque sorte le secret industriel de chacun) et modifie les résultats bruts de manière parfois importante.
La plupart du temps, les sondeurs appliquent des coefficients de corrections basés sur les précédentes enquêtes brutes et leur écart avec le scrutin final. En d'autres termes, on évalue le mensonge ou le changement d'avis en fonction du mensonge/changement d'avis constaté précédemment dans les urnes.
L'arrondi :
Une fois le redressement terminé, on arrondit les résultats au demi-pourcent pour leur donner un aspect à la fois lisible et cohérent statistiquement (il serait absurde de livrer des chiffres à 0,01 % sur une étude réalisée sur mille individus, cela correspond à 0,1 réponse en faveur d'un candidat).
La précision :
Aucune formule mathématique ne permet de donner la précision exacte d'un sondage par la méthode utilisée communément et dite "méthode des quotas". On admet cependant (et probablement à juste titre) qu'elle ne donne pas de plus mauvais résultats que si on avait réalisé l'étude en choisissant les sondés de manière aléatoire. On applique donc les marges d'erreurs de celle-ci.
A titre indicatif, la marge d'erreur est de +/- 3,8 points pour une évaluation à 50 % sur un échantillon de 1000 sondés. Ramené aux ordres de grandeurs des sondages actuels cela donne environ +/- 3 points pour les candidats totalisant un score de 10 à 35 % et +/- 1 à 2 points pour ceux avec un score inférieur à 10 %.
Le rappel des règles essentielles :
Un sondage est toujours présenté comme ce qu'il est, à savoir, des mesures de rapports de force aux dates des enquêtes, non pas des prédictions des résultats le jour du vote. Il doit être accompagné d'une fiche technique décrivant sa méthodologie et faire l'objet d'une notice déposée à la commison des sondages.
Pour en savoir plus : La FAQ sondage d'IPSOS ou Wikipédia.
Les derniers sondages avant le scrutin présidentiel :
Enjeux :
Cette année, les sondages ont été autorisés à la publication jusqu'au vendredi soir minuit précédent le scrutin. Je les ai donc collecté et synthétisé dans un unique tableau pour analyser leur divergences (en termes de résultats et/ou de méthodologie) entre eux et pouvoir dès la parution des résultats officiels les comparer au réel.
Parti pris de présentation :
J'ai choisi de présenter les résultats par candidat(e) (12) et par institut (6) selon l'ordre alphabétique.
La majorité des résultats publiés sont présentés selon un ordre allant du plus à gauche au moins à gauche (mais les ordres présentés ainsi divergent selon les sondeurs). Prendre le parti de classer les candidats par place dans le sondage était impossible, l'ordre variant parfois.
J'ai ajouté les informations essentielles de chaque fiche technique (taille et date de l'échantilonnage).
J'ai pris le parti d'arrondir à 0 les résultats présentés comme inférieurs à 0.5 % (par souci de vérification d'un total à 100).
Tous les chiffres sont en %.
Les candidats obtenant plus de 10 % d'intentions de vote sont en gras.
Résultats des dernières enquêtes avant le scrutin :
Remarque générale d'ordre méthodologique:
Un institut (BVA) a un échantillon largement inférieur aux autres (20%).
Un autre (IPSOS) a un échantillon un peu plus important que les autres (1598 contre 1000 en valeur médiane). C'est dû à la politique de l'institut de publier un sondage chaque jour ouvré depuis un mois (à partir d'un échantillon de 1200 personnes renouvellé par tiers quotidiennement, à l'occasion du dernier jour de campagne, l'échantillon a été encore augmenté).
Rappel statistique :
Si un échantillon est trop restreint, en théorie les incertitudes sur les résultats sont plus grandes. S'il est grand, elles sont meilleures. Cependant, l'incertitude décroît moins vite que n'augmente le nombre (500 sondés : erreur à +/- 4.5 point pour 50 %, contre +/- 3.8 points pour 1000 sondés et +/- 1.6 pour 4000 sondés).
Remarque rapide à propos des résultats des derniers sondages:
L'institut CSA propose un classement final différent de ses concurrents, sans doute est-ce lié à une méthodologie de redressement différente.
Synthèse des résultats des derniers sondages :
On peut compte-tenu des résultats donnés tenter de moyenner ceux-ci.
En les pondérant :
Pour réaliser une sorte de sondage des sondages avec un échantillon de 6000 sondés. L'intérêt est d'augmenter la taille de l'échantillon (donc en théorie de diminuer l'erreur) mais de multiplier l'évetnuelle erreur induite par le redressement.
En les traitant comme des données statistiques (sans pondération selon le nombre de sondés) :
Et en appliquant quelques fonctions élémentaires (Minimum, Maximum, Moyenne, Médiane, Ecart Type) et une fonction un peu plus complexe permettant le calcul d'erreur en fonction de celles-ci (Comme décrit ici et avec le même intervalle de confiance de 95 %).
Le 0 * signifie que le résultat a été arrondi à sa valeur cohérente.
Pistes de réflexion :
Il est intéressant d'étudier, pour les quatre candidats estimés à plus de 10 %, la somme de leurs estimations deux à deux. En appliquant le même genre de calcul (Moyenne, Ecarts type, Minimum, Maximum) à chacun des 6 binômes ainsi créés, on obtient des éléments assez intéressants qui pourraient constituer des indices en cas de divergences entre les estimations reportées dans ce tableau et les résultats du scrutin.
Les objectifs de ce billet :
Partis pris :
L'argument des sondages et de leur influence supposée ont, me semble-t-il, été plus que jamais présents lors de cette campagne. Un candidat faisait ouvertement sien l'objectif de faire plus que l'autre sans pour autant prétendre à la magistrature suprème. Le thème du "vote utile" a été décliné de toutes les manières (pour un candidat, contre un autre, etc ...). Il me semblait important de faire un bilan de clotûre des sondages qui permette d'éviter à la presse de multiplier plus tard les marroniers lors d'un prochain scrutin.
Il me semblait cependant important de traiter cette étude en séparant les deux temps : celui de la synthèse des dernières estimations (rédigé avant dévoilement des résultats) et celui de leur confrontation aux résultats officiels afin que personne ne puisse m'accuser de développer une quelconque thèse ou théorie du complot en réaction à ceux-ci.
Objectifs :
Evidemment, cette synthèse et ces quelques réflexions ont pour objet de confronter le réel aux estimations qui en sont faites et ce sera fait en temps venu et de manière chiffrée.
Elles ne sont cependant pas destinées à jeter la pierre aux instituts de sondages1 qui ont suffisamment pris de précautions et fourni des données exhaustives sur leur mesure. Au vu des estimations livrées sur l'incertitude des électeurs avant le vote, des tendances par rapport aux études antérieures, des marges d'erreurs inhérente au sondage et des intervalles d'erreur que j'ai calculé, il se trouvera toujours un ou plusieurs instituts qui pourront dire "On l'avait senti dans l'opinion" sans rougir en assénant une quelconque contre-vérité statistique.
L'usage est trop souvent de jeter la pierre à des instituts de sondage qui font leur travail en respectant la complexité et l'incertitude de la pratique de celui-ci, il est toujours plus facile de tuer le messager qui porte la mauvaise nouvelle que de blamer le général qui revient d'une défaite. Ce ne sera en aucun cas l'objectif final de ce billet mais, au contraire, il fustigera ceux qui ont pu faire un mauvais usage (car partiel ou partial, tronqués par méconnaissance ou malhonnêteté intellectuelle) de résultats toujours accompagnés d'une mention explicite non prédictive.
1. Je préciserais cependant que certaines données et résultats me laissent plus sceptique que d'autres.
Résultats définitifs :
Retour sur les dernières estimations par institut :
On va maintenant pouvoir procéder à l'estimation de l'erreur de chaque institut, pour répondre aux questions suivantes :
- Les sondages se sont-ils trompés ?
- Quels instituts ont fourni les meilleures/les pires évaluations ?
Si l'on reprend les fourchettes d'incertitudes fournies par chacun (+ ou - 2.5 points par candidat avec plus de 10 %, + ou - 1 point par candidat avec moins de 10 %) :
BVA :
Estimations hors intervalle d'incertitude : 1
Détermination de l'ordre des six premiers candidats : Non
CSA :
Estimations hors intervalle d'incertitude : 3
Détermination de l'ordre des six premiers candidats : Non
Ifop :
Estimations hors intervalle d'incertitude : 4
Détermination de l'ordre des six premiers candidats : Non
Ipsos :
Estimations hors intervalle d'incertitude : 1
Détermination de l'ordre des six premiers candidats : Non
LH2 :
Estimations hors intervalle d'incertitude : 4
Détermination de l'ordre des six premiers candidats : Non
TNS Sofrès :
Estimations hors intervalle d'incertitude : 2
Détermination de l'ordre des six premiers candidats : Non
Retour sur la synthèse statistique des résultats des instituts :
Estimations hors intervalle d'incertitude : 2
Détermination de l'ordre des six premiers candidats : Non
Le calcul des valeurs min et max en fonction des intervalles de confiance calculés (très larges et de taille variable) donne 11 résultats sur 12 dans ceux-ci.
Le positionnement de chaque résultat dans la marge d'incertitude étendue ainsi créée peut être représenté graphiquement (Il donne ainsi un bon indicateur graphique de qui a été sous-évalué ou sur-évalué).
Mesures des erreurs de chaque institut :
On constate que le dénombrement des erreurs de chacun ne permet pas de quantifier réellement la marge d'erreur globale de tel ou tel institut. On va tenter de mettre l'erreur globale en chiffres (avec toutes les limites de l'exercice) en calculant la somme de l'erreur d'estimation de chaque institut pour chaque candidat et la somme des carrés de ces mêmes erreurs2.
Cela permet de calculer l'erreur Globale moyenne par institut selon les deux méthodes (Division par 12 pour la somme simple, Racine de la somme des écarts au carré sur 12 pour la seconde).
Le plus précis obtient à chaque fois le score le plus bas.
2. Le procédé permet de lisser les erreurs d'arrondi. Il minimise l'erreur inférieure à 1 point et pénalise plus fortement celui qui se trompe une fois de 4 points plutôt que deux fois de 2 points.
Discussion :
L'objectif final de cette comparaison n'est pas de décerner des bons et des mauvais points à tel ou tel institut de sondage. Tous ont fourni une photographie de l'opinion à un instant t, en fonction d'un de leurs savoir-faire et la période s'étant écoulée entre le vendredi minuit et le dimanche est une période où les décisions se prennent et les incertitudes se tassent, celle-là même où l'opinion se détermine. Tous ont insisté avant le scrutin sur un très fort taux d'indécision et le fait que l'électeur ne prenait sa décision qu'au dernier moment.
On ne peut donc en blâmer aucun pour des résultats qui seraient faux, volontairement ou non. Il demeure cependant indiscutable que :
- tous les sondages ont effectivement donné les deux candidats en tête au premier tour.
- aucun institut de sondage n'a été capable de donner les six candidats en tête du scrutin dans l'ordre.
- que, dans leur ensemble, les instituts de sondage ont donné 15 fois sur 72 (20,83 %) des résultats qui étaient en dehors des marges d'erreurs communément admises.
- l'erreur moyenne tout candidat confondu oscille entre +/- 0.81 (BVA) et +/- 1.46 (CSA) ou +/- 1.1 (BVA) et +/- 2.38 (CSA). Rien que ne soit en dehors des incertitudes communément admises.
- que les erreurs ont concerné des candidats de toutes tendances politiques et ayant réalisé des scores différents.
Sur quelques points particuliers :
- L'institut BVA a réalisé l'étude la plus proche des résultats du scrutin. C'est d'autant plus paradoxal que son étude a nécessité un panel de 20 % inférieur à celui de ses confrères, ce qui est extrêmement génant au niveau statistique (puisque les chances de se tromper diminuent à mesure que le nombre de sondés augmente). J'émettrais trois hypothèses à ce sujet :
- L'institut IPSOS a donné les meilleurs résultats après BVA. Cela ne constitue en aucun cas un défi aux lois statistiques puisqu'il étudiait un échantillon supérieur à ses pairs. Cependant, j'ai un peu de mal avec leur baromètre quotidien qui produit une mesure de l'opinion en continu (ou presque). En terme purement méthodologique (un échantillon d'environ 1200 personnes renouvellé par tiers quotidiennement, rien à redire. Cependant, en terme d'exploitation des résultats, c'est plus problématique car la forme même des données fournies (une coulée de chiffre ininterrompue) incite à analyser les résultats au jour le jour alors qu'il faut attendre trois jours (le temps du renouvellement total de l'échantillon) pour réaliser l'impact véritable d'un événement. Cela me laisse d'autant plus dubitatif qu'il n'en est jamais fait mention lorsque les données sont reprises (et ce peut -être problématique lors d'un éventuel changement brusque de l'opinion à l'occasion d'un événement touchant beaucoup d'électeurs à la fois, un débat télévisé par exemple).
Quelques cartons jaunes aux politiques :
Liste non exhaustive mais relevée à la volée donc transcrite de mémoire sur les divers plateaux de télévision de déclarations troublantes à propos des sondages après les premières estimations :
- François Hollande :
- Jean François Copé :
Carton orange à François Bayrou :
- Dans son allocation télévisée :
" Malgré des sondages manipulés – je veux rappeler que certains instituts n’hésitaient pas à annoncer ces dernières heures encore que l’extrême droite allait être devant nous."
L'emploi du pluriel (audible à l'oral par le biais d'une élocution appliquée et de la liaison) est coupable et procède du même type de phénomène que celui qu'il est censé dénoncer.Seul CSA avait fait mention d'un ordre différent pour les trois premiers (en ce qui concerne les études réalisées et publiées avant la fin de la campagne officielle).
Et le second tour ?
J'essayerais de réaliser le même type d'étude pour le second tour et de la publier en un ou deux temps (avant/après ou tout après selon mes disponibilités).
Mais il est important de rappeler que, pour des scores proches, de 50 %, la marge d'erreur théorique est de +/- 3,8 points. Cela signifie que les estimations de rapport de force du type 49.5/50.5 sont tout à fait valides, statistiquement parlant, dans l'autre sens 50.5/49.5. Ajoutons à celà que les deux candidats présents au second tour ont été les deux candidats les plus sous-estimés par les instituts de sondage.
[Mise à jour du 24 avril : Une erreur s'est peut-être glissée dans un de mes jeux de données initiaux (LH2) , je suis en attente d'informations complémentaires]
Mentions spéciales :
Compte-tenu du contenu de ce billet, il est important de préciser :
- qu'il est, a priori, relu et sans erreur numérique (de calcul ou de report). Si ce n'est pas le cas, merci de le signaler en commentaires et ce ne serait que le fait malheureux du hasard.
- qu'il est le fait d'un auteur indépendant professionnellement d'un des quelconques instituts cités, mais d'un amateur de chiffres éclairé dont la statistique n'est pas le métier (Si une erreur de raisonnement s'y est glissé, merci de le signaler en commentaires) et non militant dans un quelconque des partis engagés à cette élection.
- qu'il est, au contraire des autres articles de cet espace, reproductible à loisir à condition de faire mention de son auteur, d'un lien vers l'article originel et d'accorder à son auteur un droit de réponse en cas de troncature d'une citation.
- qu'il sera, sans aucune exception, appliqué une politique de modération très stricte à propos des commentaires de ce billet pour les expurger de toute opinion partisane, quelle qu'elle soit.
Rappel de la méthodologie d'un sondage :
La collecte d'information :
On récolte l'opinion d'un échantillon représentatif de la population (selon divers critères, c'est la méthode dite des quotas) et suffisamment important pour être indicatif via une enquête téléphonique où l'on pose des questions les plus neutres possible pour ne pas l'influencer.
La question essentielle est bien entendu sur la taille de l'échantillon pour qu'il soit suffisamment important. Il est plus ou moins communément admis qu'un millier est un chiffre efficace.
Le redressement :
Une fois la mesure effectuée, il est important de la redresser pour éliminer tous les mensonges qui auraient pu s'y glisser (les sondés pouvant fort bien dissimuler leur opinion pour une raison ou pour une autre - volonté de décrédibiliser l'étude, dissimulation de leur opinion par peur, honte, etc ...). C'est la partie la plus complexe et la plus contestée du processus puisqu'elle relève d'une méthode empirique, varie selon les instituts (c'est en quelque sorte le secret industriel de chacun) et modifie les résultats bruts de manière parfois importante.
La plupart du temps, les sondeurs appliquent des coefficients de corrections basés sur les précédentes enquêtes brutes et leur écart avec le scrutin final. En d'autres termes, on évalue le mensonge ou le changement d'avis en fonction du mensonge/changement d'avis constaté précédemment dans les urnes.
L'arrondi :
Une fois le redressement terminé, on arrondit les résultats au demi-pourcent pour leur donner un aspect à la fois lisible et cohérent statistiquement (il serait absurde de livrer des chiffres à 0,01 % sur une étude réalisée sur mille individus, cela correspond à 0,1 réponse en faveur d'un candidat).
La précision :
Aucune formule mathématique ne permet de donner la précision exacte d'un sondage par la méthode utilisée communément et dite "méthode des quotas". On admet cependant (et probablement à juste titre) qu'elle ne donne pas de plus mauvais résultats que si on avait réalisé l'étude en choisissant les sondés de manière aléatoire. On applique donc les marges d'erreurs de celle-ci.
A titre indicatif, la marge d'erreur est de +/- 3,8 points pour une évaluation à 50 % sur un échantillon de 1000 sondés. Ramené aux ordres de grandeurs des sondages actuels cela donne environ +/- 3 points pour les candidats totalisant un score de 10 à 35 % et +/- 1 à 2 points pour ceux avec un score inférieur à 10 %.
Le rappel des règles essentielles :
Un sondage est toujours présenté comme ce qu'il est, à savoir, des mesures de rapports de force aux dates des enquêtes, non pas des prédictions des résultats le jour du vote. Il doit être accompagné d'une fiche technique décrivant sa méthodologie et faire l'objet d'une notice déposée à la commison des sondages.
Pour en savoir plus : La FAQ sondage d'IPSOS ou Wikipédia.
Les derniers sondages avant le scrutin présidentiel :
Enjeux :
Cette année, les sondages ont été autorisés à la publication jusqu'au vendredi soir minuit précédent le scrutin. Je les ai donc collecté et synthétisé dans un unique tableau pour analyser leur divergences (en termes de résultats et/ou de méthodologie) entre eux et pouvoir dès la parution des résultats officiels les comparer au réel.
Parti pris de présentation :
J'ai choisi de présenter les résultats par candidat(e) (12) et par institut (6) selon l'ordre alphabétique.
La majorité des résultats publiés sont présentés selon un ordre allant du plus à gauche au moins à gauche (mais les ordres présentés ainsi divergent selon les sondeurs). Prendre le parti de classer les candidats par place dans le sondage était impossible, l'ordre variant parfois.
J'ai ajouté les informations essentielles de chaque fiche technique (taille et date de l'échantilonnage).
J'ai pris le parti d'arrondir à 0 les résultats présentés comme inférieurs à 0.5 % (par souci de vérification d'un total à 100).
Tous les chiffres sont en %.
Les candidats obtenant plus de 10 % d'intentions de vote sont en gras.
Résultats des dernières enquêtes avant le scrutin :
| BVA | CSA | IFOP | IPSOS | LH2 | TNS Sofrès | |
| Echantillon | 810 | 1002 | 952 | 1598 | 1004 | 1000 |
| Date | 20 | 20 | 17 au 19 | 19 et 20 | 13 au 15 | 16 et 17 |
| Bayrou | 17 | 16 | 20 | 17 | 19 | 19,5 |
| Besancenot | 5 | 5 | 4 | 4,5 | 5 | 5 |
| Bové | 1 | 1,5 | 1,5 | 1 | 1,5 | 1,5 |
| Buffet | 2,5 | 2,5 | 3 | 2,5 | 2,5 | 2,5 |
| Laguiller | 2,5 | 2 | 2 | 2 | 2,5 | 1,5 |
| Le Pen | 12,5 | 16,5 | 13 | 13,5 | 14 | 14 |
| Nihous | 1 | 1,5 | 1,5 | 2 | 1,5 | 1,5 |
| Royal | 26 | 25,5 | 22,5 | 23,5 | 23 | 24 |
| Sarkozy | 29 | 26,5 | 28 | 30 | 27 | 28 |
| Schivardi | 0,5 | 0 | 0,5 | 0,5 | 0,5 | 0 |
| Villiers | 2 | 1,5 | 2,5 | 2 | 1,5 | 1,5 |
| Voynet | 1 | 1,5 | 1,5 | 1,5 | 2 | 1 |
Remarque générale d'ordre méthodologique:
Un institut (BVA) a un échantillon largement inférieur aux autres (20%).
Un autre (IPSOS) a un échantillon un peu plus important que les autres (1598 contre 1000 en valeur médiane). C'est dû à la politique de l'institut de publier un sondage chaque jour ouvré depuis un mois (à partir d'un échantillon de 1200 personnes renouvellé par tiers quotidiennement, à l'occasion du dernier jour de campagne, l'échantillon a été encore augmenté).
Rappel statistique :
Si un échantillon est trop restreint, en théorie les incertitudes sur les résultats sont plus grandes. S'il est grand, elles sont meilleures. Cependant, l'incertitude décroît moins vite que n'augmente le nombre (500 sondés : erreur à +/- 4.5 point pour 50 %, contre +/- 3.8 points pour 1000 sondés et +/- 1.6 pour 4000 sondés).
Remarque rapide à propos des résultats des derniers sondages:
L'institut CSA propose un classement final différent de ses concurrents, sans doute est-ce lié à une méthodologie de redressement différente.
Synthèse des résultats des derniers sondages :
On peut compte-tenu des résultats donnés tenter de moyenner ceux-ci.
En les pondérant :
Pour réaliser une sorte de sondage des sondages avec un échantillon de 6000 sondés. L'intérêt est d'augmenter la taille de l'échantillon (donc en théorie de diminuer l'erreur) mais de multiplier l'évetnuelle erreur induite par le redressement.
En les traitant comme des données statistiques (sans pondération selon le nombre de sondés) :
Et en appliquant quelques fonctions élémentaires (Minimum, Maximum, Moyenne, Médiane, Ecart Type) et une fonction un peu plus complexe permettant le calcul d'erreur en fonction de celles-ci (Comme décrit ici et avec le même intervalle de confiance de 95 %).
| Moyenne Pondérée | Moyenne | Min | Médiane | Max | Ecart type | Intervalle min | Intervalle Max | |
| Bayrou | 18 | 18,08 | 16 | 18 | 20 | 1,63 | 13,53 | 22,63 |
| Besancenot | 4,72 | 4,75 | 4 | 5 | 5 | 0,42 | 3,58 | 5,92 |
| Bové | 1,31 | 1,33 | 1 | 1,5 | 1,5 | 0,26 | 0,61 | 2,06 |
| Buffet | 2,57 | 2,58 | 2,5 | 2,5 | 3 | 0,2 | 2,01 | 3,15 |
| Laguiller | 2,06 | 2,08 | 1,5 | 2 | 2,5 | 0,38 | 1,03 | 3,14 |
| Le Pen | 13,93 | 13,92 | 12,5 | 13,75 | 16,5 | 1,39 | 10,02 | 17,82 |
| Nihous | 1,56 | 1,5 | 1 | 1,5 | 2 | 0,32 | 0,61 | 2,39 |
| Royal | 23,98 | 24,08 | 22,5 | 23,75 | 26 | 1,39 | 20,18 | 27,98 |
| Sarkozy | 28,24 | 28,08 | 26,5 | 28 | 30 | 1,28 | 24,5 | 31,67 |
| Schivardi | 0,34 | 0,33 | 0 | 0,5 | 0,5 | 0,26 | 0 * |
1,06 |
| Villiers | 1,84 | 1,83 | 1,5 | 1,75 | 2,5 | 0,41 | 0,69 | 2,98 |
| Voynet | 1,44 | 1,42 | 1 | 1,5 | 2 | 0,38 | 0,36 | 2,47 |
Le 0 * signifie que le résultat a été arrondi à sa valeur cohérente.
Pistes de réflexion :
Il est intéressant d'étudier, pour les quatre candidats estimés à plus de 10 %, la somme de leurs estimations deux à deux. En appliquant le même genre de calcul (Moyenne, Ecarts type, Minimum, Maximum) à chacun des 6 binômes ainsi créés, on obtient des éléments assez intéressants qui pourraient constituer des indices en cas de divergences entre les estimations reportées dans ce tableau et les résultats du scrutin.
Les objectifs de ce billet :
Partis pris :
L'argument des sondages et de leur influence supposée ont, me semble-t-il, été plus que jamais présents lors de cette campagne. Un candidat faisait ouvertement sien l'objectif de faire plus que l'autre sans pour autant prétendre à la magistrature suprème. Le thème du "vote utile" a été décliné de toutes les manières (pour un candidat, contre un autre, etc ...). Il me semblait important de faire un bilan de clotûre des sondages qui permette d'éviter à la presse de multiplier plus tard les marroniers lors d'un prochain scrutin.
Il me semblait cependant important de traiter cette étude en séparant les deux temps : celui de la synthèse des dernières estimations (rédigé avant dévoilement des résultats) et celui de leur confrontation aux résultats officiels afin que personne ne puisse m'accuser de développer une quelconque thèse ou théorie du complot en réaction à ceux-ci.
Objectifs :
Evidemment, cette synthèse et ces quelques réflexions ont pour objet de confronter le réel aux estimations qui en sont faites et ce sera fait en temps venu et de manière chiffrée.
Elles ne sont cependant pas destinées à jeter la pierre aux instituts de sondages1 qui ont suffisamment pris de précautions et fourni des données exhaustives sur leur mesure. Au vu des estimations livrées sur l'incertitude des électeurs avant le vote, des tendances par rapport aux études antérieures, des marges d'erreurs inhérente au sondage et des intervalles d'erreur que j'ai calculé, il se trouvera toujours un ou plusieurs instituts qui pourront dire "On l'avait senti dans l'opinion" sans rougir en assénant une quelconque contre-vérité statistique.
L'usage est trop souvent de jeter la pierre à des instituts de sondage qui font leur travail en respectant la complexité et l'incertitude de la pratique de celui-ci, il est toujours plus facile de tuer le messager qui porte la mauvaise nouvelle que de blamer le général qui revient d'une défaite. Ce ne sera en aucun cas l'objectif final de ce billet mais, au contraire, il fustigera ceux qui ont pu faire un mauvais usage (car partiel ou partial, tronqués par méconnaissance ou malhonnêteté intellectuelle) de résultats toujours accompagnés d'une mention explicite non prédictive.
1. Je préciserais cependant que certaines données et résultats me laissent plus sceptique que d'autres.
Résultats définitifs :
Source Yahoo.fr
| BVA | CSA | Ifop | Ipsos | LH2 | TNS Sofrès | ||
| Echantillon | 810 | 1002 | 952 | 1598 | 1004 | 1000 | |
| Date | 20 | 20 | 17 au 19 | 19 et 20 | 13 au 15 | 16 et 17 | |
| Evaluations J-2 |
Résultat final |
||||||
| Bayrou | 17 | 16 | 20 | 17 | 19 | 19,5 | 18,57 |
| Besancenot | 5 | 5 | 4 | 4,5 | 5 | 5 | 4,08 |
| Bové | 1 | 1,5 | 1,5 | 1 | 1,5 | 1,5 | 1,32 |
| Buffet | 2,5 | 2,5 | 3 | 2,5 | 2,5 | 2,5 | 1,93 |
| Laguiller | 2,5 | 2 | 2 | 2 | 2,5 | 1,5 | 1,33 |
| Le Pen | 12,5 | 16,5 | 13 | 13,5 | 14 | 14 | 10,44 |
| Nihous | 1 | 1,5 | 1,5 | 2 | 1,5 | 1,5 | 1,15 |
| Royal | 26 | 25,5 | 22,5 | 23,5 | 23 | 24 | 25,87 |
| Sarkozy | 29 | 26,5 | 28 | 30 | 27 | 28 | 31,17 |
| Schivardi | 0,5 | 0 | 0,5 | 0,5 | 0,5 | 0 | 0,34 |
| Villiers | 2 | 1,5 | 2,5 | 2 | 1,5 | 1,5 | 2,23 |
| Voynet | 1 | 1,5 | 1,5 | 1,5 | 2 | 1 | 1,57 |
Retour sur les dernières estimations par institut :
On va maintenant pouvoir procéder à l'estimation de l'erreur de chaque institut, pour répondre aux questions suivantes :
- Les sondages se sont-ils trompés ?
- Quels instituts ont fourni les meilleures/les pires évaluations ?
Si l'on reprend les fourchettes d'incertitudes fournies par chacun (+ ou - 2.5 points par candidat avec plus de 10 %, + ou - 1 point par candidat avec moins de 10 %) :
BVA :
Estimations hors intervalle d'incertitude : 1
(2.5 pour 1.33 soit 1.16 point).
Détermination de l'ordre des deux premiers candidats : OuiDétermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 6
CSA :
Estimations hors intervalle d'incertitude : 3
(16 pour 18.57 soit 2.57 points).
(16.5 pour 10.44 soit 6.06 points).
(26.5 pour 31.18 soit 4.68 points).
Détermination de l'ordre des deux premiers candidats : Oui(16.5 pour 10.44 soit 6.06 points).
(26.5 pour 31.18 soit 4.68 points).
Détermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 3
Ifop :
Estimations hors intervalle d'incertitude : 4
(3 pour 1.93 soit 1.07 point).
(13 pour 10.44 soit 2.56 points).
(25.87 pour 22.5 soit 3.37 points).
(31.18 pour 27 soit 4.18 points).
Détermination de l'ordre des deux premiers candidats : Oui(13 pour 10.44 soit 2.56 points).
(25.87 pour 22.5 soit 3.37 points).
(31.18 pour 27 soit 4.18 points).
Détermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 6
Ipsos :
Estimations hors intervalle d'incertitude : 1
(13.5 pour 10.51 soit 2.99 points).
Détermination de l'ordre des deux premiers candidats : OuiDétermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 6
LH2 :
Estimations hors intervalle d'incertitude : 4
(2.5 pour 1.33 soit 1.67 point).
(14 pour 10.44 soit 3.56 points).
(25.87 pour 23 soit 2.87 points).
(31.18 pour 27 soit 4.18 points).
Détermination de l'ordre des deux premiers candidats : Oui(14 pour 10.44 soit 3.56 points).
(25.87 pour 23 soit 2.87 points).
(31.18 pour 27 soit 4.18 points).
Détermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 6.
TNS Sofrès :
Estimations hors intervalle d'incertitude : 2
(14 pour 10.44 soit 3 points).
(28 pour 31.18 soit 3.18 points).
Détermination de l'ordre des deux premiers candidats : Oui(28 pour 31.18 soit 3.18 points).
Détermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 6.
Retour sur la synthèse statistique des résultats des instituts :
| Résultat Final |
Moyenne Pondérée | Moyenne | Intervalle min | Intervalle Max | |
| Bayrou | 18,57 | 18 | 18,08 | 13,53 | 22,63 |
| Besancenot | 4,08 | 4,72 | 4,75 | 3,58 | 5,92 |
| Bové | 1,32 | 1,31 | 1,33 | 0,61 | 2,06 |
| Buffet | 1,93 | 2,57 | 2,58 | 2,01 | 3,15 |
| Laguiller | 1,33 | 2,06 | 2,08 | 1,03 | 3,14 |
| Le Pen | 10,44 | 13,93 | 13,92 | 10,02 | 17,82 |
| Nihous | 1,15 | 1,56 | 1,5 | 0,61 | 2,39 |
| Royal | 25,87 | 23,98 | 24,08 | 20,18 | 27,98 |
| Sarkozy | 31,18 | 28,24 | 28,08 | 24,5 | 31,67 |
| Schivardi | 0,34 | 0,34 | 0,33 | 0* | 1,06 |
| Villiers | 2,23 | 1,84 | 1,83 | 0,69 | 2,98 |
| Voynet | 1,57 | 1,44 | 1,42 | 0,36 | 2,47 |
Estimations hors intervalle d'incertitude : 2
(13.92 pour 10.44 soit 3.48 points).
(31.18 pour 28.08 soit 3.10 points).
Détermination de l'ordre des deux premiers candidats : Oui(31.18 pour 28.08 soit 3.10 points).
Détermination de l'ordre des six premiers candidats : Non
Echec dans la détermination du numéro 5.
Le calcul des valeurs min et max en fonction des intervalles de confiance calculés (très larges et de taille variable) donne 11 résultats sur 12 dans ceux-ci.
Le positionnement de chaque résultat dans la marge d'incertitude étendue ainsi créée peut être représenté graphiquement (Il donne ainsi un bon indicateur graphique de qui a été sous-évalué ou sur-évalué).
Mesures des erreurs de chaque institut :
On constate que le dénombrement des erreurs de chacun ne permet pas de quantifier réellement la marge d'erreur globale de tel ou tel institut. On va tenter de mettre l'erreur globale en chiffres (avec toutes les limites de l'exercice) en calculant la somme de l'erreur d'estimation de chaque institut pour chaque candidat et la somme des carrés de ces mêmes erreurs2.
Cela permet de calculer l'erreur Globale moyenne par institut selon les deux méthodes (Division par 12 pour la somme simple, Racine de la somme des écarts au carré sur 12 pour la seconde).
| BVA | CSA | Ifop | Ipsos | LH2 | TNS Sofrès | |
| Somme des écarts | 9,73 | 17,51 | 13,39 | 11,47 | 15,55 | 13,37 |
| Somme des écarts au carré | 14,55 | 67,8 | 31,93 | 20,7 | 42,01 | 29,48 |
| Erreur moyenne simple | +/- 0,81 | +/- 1,46 | +/- 1,12 | +/- 0,96 | +/- 1,3 | +/- 1,11 |
| Erreur moyenne via les carrés | +/- 1,1 | +/- 2,38 | +/- 1,63 | +/- 1,31 | +/- 1,87 | +/- 1,57 |
Le plus précis obtient à chaque fois le score le plus bas.
2. Le procédé permet de lisser les erreurs d'arrondi. Il minimise l'erreur inférieure à 1 point et pénalise plus fortement celui qui se trompe une fois de 4 points plutôt que deux fois de 2 points.
Discussion :
L'objectif final de cette comparaison n'est pas de décerner des bons et des mauvais points à tel ou tel institut de sondage. Tous ont fourni une photographie de l'opinion à un instant t, en fonction d'un de leurs savoir-faire et la période s'étant écoulée entre le vendredi minuit et le dimanche est une période où les décisions se prennent et les incertitudes se tassent, celle-là même où l'opinion se détermine. Tous ont insisté avant le scrutin sur un très fort taux d'indécision et le fait que l'électeur ne prenait sa décision qu'au dernier moment.
On ne peut donc en blâmer aucun pour des résultats qui seraient faux, volontairement ou non. Il demeure cependant indiscutable que :
- tous les sondages ont effectivement donné les deux candidats en tête au premier tour.
- aucun institut de sondage n'a été capable de donner les six candidats en tête du scrutin dans l'ordre.
- que, dans leur ensemble, les instituts de sondage ont donné 15 fois sur 72 (20,83 %) des résultats qui étaient en dehors des marges d'erreurs communément admises.
- l'erreur moyenne tout candidat confondu oscille entre +/- 0.81 (BVA) et +/- 1.46 (CSA) ou +/- 1.1 (BVA) et +/- 2.38 (CSA). Rien que ne soit en dehors des incertitudes communément admises.
- que les erreurs ont concerné des candidats de toutes tendances politiques et ayant réalisé des scores différents.
Sur quelques points particuliers :
- L'institut BVA a réalisé l'étude la plus proche des résultats du scrutin. C'est d'autant plus paradoxal que son étude a nécessité un panel de 20 % inférieur à celui de ses confrères, ce qui est extrêmement génant au niveau statistique (puisque les chances de se tromper diminuent à mesure que le nombre de sondés augmente). J'émettrais trois hypothèses à ce sujet :
- La première est celle d'un coup de chance (Il y a toujours une part d'aléatoire dans un sondage au moment où on sélectionne les sondés).
- La seconde est celle de meilleurs coefficients de redressement.
- La troisième est celle d'une meilleure sélection de l'échantillon initial par quota (toutefois, il est bon de se rappeler qu'une multiplication des catégories dans ces quotas et un nombre bas de sondés réduit considérablement la part statistique du sondage pour le transformer en étude sociologique et la sortir du champ scientifique)
- L'institut IPSOS a donné les meilleurs résultats après BVA. Cela ne constitue en aucun cas un défi aux lois statistiques puisqu'il étudiait un échantillon supérieur à ses pairs. Cependant, j'ai un peu de mal avec leur baromètre quotidien qui produit une mesure de l'opinion en continu (ou presque). En terme purement méthodologique (un échantillon d'environ 1200 personnes renouvellé par tiers quotidiennement, rien à redire. Cependant, en terme d'exploitation des résultats, c'est plus problématique car la forme même des données fournies (une coulée de chiffre ininterrompue) incite à analyser les résultats au jour le jour alors qu'il faut attendre trois jours (le temps du renouvellement total de l'échantillon) pour réaliser l'impact véritable d'un événement. Cela me laisse d'autant plus dubitatif qu'il n'en est jamais fait mention lorsque les données sont reprises (et ce peut -être problématique lors d'un éventuel changement brusque de l'opinion à l'occasion d'un événement touchant beaucoup d'électeurs à la fois, un débat télévisé par exemple).
Quelques cartons jaunes aux politiques :
Liste non exhaustive mais relevée à la volée donc transcrite de mémoire sur les divers plateaux de télévision de déclarations troublantes à propos des sondages après les premières estimations :
- François Hollande :
"25 %, c'est au delà des prédictions des instituts".
2 instituts (BVA & CSA) sur les 6 ayant publié des enquêtes donnaient Ségolène Royal à 25% ou plus. A sa décharge, aucun des deux n'avait donné un résultat aussi haut que les estimations qui lui étaient communiquées à cet instant.- Jean François Copé :
"Aucun institut n'avait vu Nicolas Sarkozy à 30 %"
Si IPSOS. A sa décharge, aucun institut n'a donné un résultat aussi haut que le résultat final.Carton orange à François Bayrou :
- Dans son allocation télévisée :
" Malgré des sondages manipulés – je veux rappeler que certains instituts n’hésitaient pas à annoncer ces dernières heures encore que l’extrême droite allait être devant nous."
L'emploi du pluriel (audible à l'oral par le biais d'une élocution appliquée et de la liaison) est coupable et procède du même type de phénomène que celui qu'il est censé dénoncer.Seul CSA avait fait mention d'un ordre différent pour les trois premiers (en ce qui concerne les études réalisées et publiées avant la fin de la campagne officielle).
Et le second tour ?
J'essayerais de réaliser le même type d'étude pour le second tour et de la publier en un ou deux temps (avant/après ou tout après selon mes disponibilités).
Mais il est important de rappeler que, pour des scores proches, de 50 %, la marge d'erreur théorique est de +/- 3,8 points. Cela signifie que les estimations de rapport de force du type 49.5/50.5 sont tout à fait valides, statistiquement parlant, dans l'autre sens 50.5/49.5. Ajoutons à celà que les deux candidats présents au second tour ont été les deux candidats les plus sous-estimés par les instituts de sondage.
[Mise à jour du 24 avril : Une erreur s'est peut-être glissée dans un de mes jeux de données initiaux (LH2) , je suis en attente d'informations complémentaires]
Mentions spéciales :
Compte-tenu du contenu de ce billet, il est important de préciser :
- qu'il est, a priori, relu et sans erreur numérique (de calcul ou de report). Si ce n'est pas le cas, merci de le signaler en commentaires et ce ne serait que le fait malheureux du hasard.
- qu'il est le fait d'un auteur indépendant professionnellement d'un des quelconques instituts cités, mais d'un amateur de chiffres éclairé dont la statistique n'est pas le métier (Si une erreur de raisonnement s'y est glissé, merci de le signaler en commentaires) et non militant dans un quelconque des partis engagés à cette élection.
- qu'il est, au contraire des autres articles de cet espace, reproductible à loisir à condition de faire mention de son auteur, d'un lien vers l'article originel et d'accorder à son auteur un droit de réponse en cas de troncature d'une citation.
- qu'il sera, sans aucune exception, appliqué une politique de modération très stricte à propos des commentaires de ce billet pour les expurger de toute opinion partisane, quelle qu'elle soit.
Commentaires
Bravo !
Bravo pour cet analyse très approfondie ! En effet la blogosphère avait une relation bien partiuclière avec les sondages, qui constituaient un argument à part entière, celui du "vote utile (qu'on s'est parfois empressé d'oublier après les résultats du premier tour, en particulier le vote utile "anti-sarko" pour Bayrou, dont le gros score a été considéré exclusivement comme un profond désir de centrisme). C'est un peu pour ça que je n'ai pas finalisé ma courbe de moyenne des sondages avant le premier tour. Sur le dernier mois, François Bayrou apparaissait en chute constante, ce qui aurait pu être repris par ses opposants de façon plus convaincante que la succession de résultats de sondages contradictoires sur l'évolution de ses intentions de vote.
FreeCorp - 24.04.07 à 09:25 - # -
← Re: Bravo !
J'essayerais de te fournir mon fichier de données Open Office ASAP, au moyen par courriel.
labosonic - 24.04.07 à 09:59 - # -
carton orange pour bayrou
Bravo pour cet article très détaillé.
On peut soit noter la surestimation du vote Le Pen en disant que les méthodes de correction étaient trop fortes, soit imaginer que les indécis du dernier jour ont joués tous le vote utile, ce qui a mécaniquement augmenté les voix des trois candidats capables de passer.
Je note aussi que vous donner un carton jaune à bayrou, mais je pense qu'il faisait référence également aux sondages "privés" de la veille, et sorties d'urnes qui jusqu'à 17h, donnaient un Le Pen au coude à coude avec Bayrou, lui même très sous évalué autour de 16%
skyrl - 25.04.07 à 22:37 - # -
← Re: carton orange pour bayrou
- le manque de confiance de certains envers les résultats fournis par les instituts de sondage, la question : Pourquoi les sondages ne publient pas de données non redressées ?
- la question de l'incertitude de la mesure statistique effectuée :
Quelle est la marge d'erreur ?
- l'éternel débat sur la question de l'influence de la mesure sur l'opinion mesurée :
Les sondages influencent-ils le vote ?
Sur les causes de ces sous ou sur évaluations, il y a effectivement deux grands facteurs (l'effet de boucle qui incite les lecteurs du sondage à réagir aux données et à voter en fonction de celles-ci) et les erreurs de redressement.
J'avais entendu Roland Cayrol de CSA dire dans une causerie télévisée mais où, je ne me rappelle plus), qu'il y avait une nouvelle méthodologie dans sa société. Il disait cela avec le sourire de satisfaction roublard du mathématicien qui avait une piste intéressante que ses collègues n'avaient pas et je pense vraiment qu'il avait fait un pari industriel avec ses équipes sur cette méthode.
A priori, l'astuce utilisée est là : une question annexe piège destinée à détecter l'incohérence du sondé et donc son mensonge potentiel et est d'ailleurs discutable en terme méthodologique et éthique (La commision des sondages tranchera).
Maintenant sur François Bayrou en particulier et son rapport aux sondages lors de sa déclaration, effectivement, peut-être faisait-il référence aux sondages privés et interdits de publication (que je n'ai pas consulté, ni même cherché à connaître). J'estime que ça n'enlève rien à la posture qu'il prenait vis à vis des sondages puisqu'il parlait de manière publique de données privées et cela me semblait révélateur d'un message qu'il tenait à faire passer. N'y voyez rien d'autre, comme je l'ai dit précédemment je m'efforce de gommer au maximum mes impressions sur les candidats pour que les données de ce billet soient insoupçonnables.
labosonic - 26.04.07 à 00:00 - # -
← Re: carton orange pour bayrou
Ouf, oui je vous suis sur toute la ligne et votre travail a une valeur factuelle, je ne voulais aucunement vous blesser, bien au contraire.
Merci pour votre patiente réponse et toute l'implication que vous mettez dans cet outil, je ne manquerai pas de le recommander aux gens avec qui je travaille.
skyrl - 26.04.07 à 00:54 - # -