Coup de sonde [edit]

Depuis le début d’après-midi, c’est l’émeute un peu partout : le Parisien a sorti un sondage donnant Marine Le Pen en tête au 1er tour avec 23% des voix, et Sarkozy/Aubry au coude à coude, à 21%, affichant pour la première fois en Une non plus le spectre, mais bien la possibilité d’un nouveau 21 avril, dans un sens ou dans l’autre.

Tremblez, Français...

La montée de Marine Le Pen est indiscutable (en espérant qu’elle ne soit pas inexorable) : si son niveau réel est difficile, voire impossible à évaluer précisément, la tendance, elle, est claire – et c’est bien ainsi et seulement ainsi que doivent se lire les sondages d’intention de votes : en tendance.

Tendance sur les vagues successives d’un même baromètre : à méthodologie égale, les évolutions ont un sens (à condition qu’elles soient suffisamment importantes).

Tendance sur l’ensemble des enquêtes mises en parallèle : quand tous les sondages font état d’un même phénomène, même à des niveaux différents, il faut bien admettre que la probabilité que ledit phénomène soit réel est élevée.

Mais revenons un peu sur ce sondage. Je lis beaucoup d’entre vous, sur Twitter, vouer les sondages aux gémonies, les jeter avec l’eau du bain comme autant d’inutiles bébés. Exerçant moi-même une profession qui repose en grande partie sur ces outils, je me dois de nuancer vos propos, non pas pour défendre ma boutique, mais parce que j’ai souvent vu de mes yeux des enquêtes donnant des résultats d’une précision diabolique, confirmés par les faits.

Non, tous les sondages ne sont pas bons à jeter à la poubelle – mais malheureusement, les meilleurs sont souvent ceux qui ne sont pas publiés. En politique, beaucoup sont discutables, notamment de par la formulation des questions. A cet égard, le sondage des Echos paru cette semaine montrant DSK atomiser tous ses rivaux, était exemplaire : demander qui est « le plus crédible », et non pas pour chacun s’il est crédible, et aborder essentiellement des thèmes liés aux points forts évidents d’un des candidats (économie, stature internationale), donne forcément les résultats que l’on a vus.

Et puis il y a les questions méthodologiques, dont le mode de recueil. Autrefois, on sondait en face à face à domicile. On est ensuite passé au téléphone – méthode décriée à l’époque où cet ustensile était loin d’être généralisé. Et aujourd’hui, pour des raisons uniquement économiques, c’est le web qui a le vent en poupe. Car il faut le souligner : un sondage en ligne, ça ne coûte quasiment rien à produire, en regard d’une enquête téléphonique, qui présente le défaut majeur de devoir payer des gens pour passer les appels.

Le web dans les sondages n’est pas le mal absolu, et je ne m’apprête pas à refuser devant vous le progrès technologique. Il est parfaitement adapté dans certains cas, et notamment lorsque l’on cible la population… des internautes.

Car pour répondre à un sondage en ligne, figurez-vous qu’il faut avoir Internet. Et que prétendre représenter des gens qui n’ont pas Internet avec des gens du même profil ayant Internet est une ESCROQUERIE INTELLECTUELLE. Car aujourd’hui, quoi de plus segmentant que ce critère ? Comment oser prétendre qu’une femme de 75 ans habitant Mouilly-lès-Noyaux et maîtrisant cet outil est ÉQUIVALENTE à sa voisine qui n’a pas Internet ? Utiliser Internet à cet âge avancé témoigne d’un comportement atypique, qui a de fortes chances de se retrouver sur d’autres aspects de la vie et des opinions. (Je prends cet exemple car naturellement, la frange de la population dans laquelle l’usage d’Internet est minoritaire est celle-là).

Mais intéressons-nous plus précisément à ce sondage qui agite notre petit monde aujourd’hui.

Enquête réalisée en ligne par l’institut Harris Interactive du 28 février au 3 mars 2011. Echantillon de 1618 individus issus de l’access panel Harris Interactive, représentatifs de la population française âgée de 18 ans et plus. Méthode des quotas et redressement appliquée aux variables suivantes : sexe, âge, catégorie socioprofessionnelle de l’interviewé et taille d’agglomération et vote au premier tour de l’élection présidentielle de 2007.

  1. Enquête en ligne, je vous ai dit ce que j’en pensais.
  2. Harris Interactive : des gens tout à fait respectables, j’ai même déjà travaillé avec. Mais on va dire que sur les intentions de vote, c’est quand même un peu des nouveaux venus, et qu’on peut présumer qu’ils manquent un peu de recul et de bases de données passées à étudier pour calculer leur redressement, clé de voûte du système.
  3. Issus de l’access panel : on est donc en train de parler de gens qui se sont VOLONTAIREMENT inscrits à un panel pour répondre RÉGULIÈREMENT à des sondages (un coup sur le prix des batavias chez Carrefour, un coup sur Marine Le Pen, un coup sur la taille des fauteuils en 1ere dans le TGV), contre rétribution. Désolé, mais ces gens ne sont pas des vraies gens, c’est le fan club de Ciao.fr. Un cadre sup de 50 ans faisant cette démarche ne fonctionne pas comme un cadre sup de 50 ans ne la faisant pas.
  4. Représentatifs de la population française : NON. Non, non et non. On applique ici la structure de TOUTE la population française à la population des internautes français, ce qui est un contresens majeur. La mauvaise nouvelle étant que les gens qu’on interroge pas (les vieux à la campagne, en gros) sont les plus enclins à voter à droite.
  5. Vient ensuite le redressement, cette fameuse recette secrète qui fait tant jaser. Le redressement, ça consiste à donner plus ou moins de poids à chaque individu interrogé, pour qu’au final la population à laquelle il appartient retrouve son poids dans la réalité. En gros : j’ai interrogé 200 personnes de plus de 60 ans alors que dans la vraie vie il y en aura eu 400, donc je compte leurs voix double. En politique, c’est particulièrement délicat, car il faut tenir compte d’un phénomène qui a été le cauchemar des sondeurs : la honte d’avouer certains votes politiquement incorrects, en particulier le vote FN. On le sait, tous les sondeurs, depuis des années, gonflent fortement le score de Le Pen par rapport à leurs résultats bruts, qu’ils savent inférieurs à la réalité. Rien de tel d’annoncé ici, puisque le seul critère politique sur lequel un redressement est opéré est le vote 2007. En clair : on considère qu’en reconstituant les scores de 2007, on a un résultat correct pour 2012. C’est un peu court, jeune homme, et ce modèle bien simpliste.

Vous l’aurez compris, je n’accorde aucune valeur à ce sondage, qui me semble être surtout l’occasion pour le Parisien de faire un coup, et pour Harris Interactive de se faire un nom.

Autre question pour les sondeurs en général : je suis curieux de savoir si vous avez changé votre formule de redressement suite au remplacement de Jean-Marie par Marine ? Car vous aurez noté que dans la France décomplexée que nous a concoctée notre bon Lider Minimo, il devient de plus en plus facile de dire qu’on vote pour Marine Le Pen, d’une part parce que ses idées semblent bien moins honteuses, à l’aune de celles de l’UMP, et d’autre part parce que Marine arbore un profil moins repoussoir que son distingué géniteur. Je suis personnellement persuadé que moins de gens cachent leur intention de vote Le Pen aujourd’hui qu’hier, et qu’il faut donc réduire le coefficient de gonflage des résultats du candidat FN (et ce encore plus pour une enquête en ligne : seul face à son écran, il est plus facile de cocher la case Marine que de prononcer les mots « Marine Le Pen » au téléphone à un être humain, capable de vous juger).

J’aimerais aussi voir des sondages indiquant quelle proportion des électeurs putatifs de la fille ont déjà voté pour le père, et surtout quelle proportion n’auraient jamais envisagé de voter pour lui. On aurait ainsi enfin une idée de l’ampleur et de la gravité du phénomène, en termes de recrutement de nouveaux fans.

Pour terminer, une petite note positive : des sondages plaçant Marine Le Pen très haut voire devant, c’est sans doute le meilleur moyen de les faire mentir, en remobilisant et réunifiant les autres camps, en particulier à gauche, camp indiscipliné et prompt à la dispersion, mais suffisamment traumatisé par 2002 pour ne pas prendre le risque de revivre cette expérience en pire. Et oui, les sondages peuvent s’auto-tirer des balles dans le pied, leurs résultats pouvant induire des changements de comportements…

Je reste persuadé que si un sondage avait donné JM Le Pen devant Jospin avant le premier tour, un certain nombre de gens seraient rentré de week-end assez tôt pour voter, et quelques candidats de gauche auraient fait des scores nettement inférieurs, et que l’histoire aurait été bien différente.

[EDIT, le 7 mars 2011]

J’apprends que devant l’ampleur de la polémique suscitée par ce sondage, Harris Interactive a décidé de procéder au même sondage avec les hypothèses DSK et Hollande, afin de répondre à l’une des critiques les plus fréquentes : pourquoi cette configuration et rien que cette configuration.

Les copains d’Harris, désolé, mais ce ne sera pas le même sondage, à moins de le faire auprès d’un échantillon représentatif de la population française habitant dans une grotte. Ca fait 2 jours que tous les médias ne parlent QUE DE CA, vous croyez vraiment que les gens vont se trouver dans les mêmes conditions pour répondre que ceux qui ont mis, avec votre aide, Marine en tête ?

Les sondages que l’on a l’habitude de voir testent plusieurs hypothèses au même moment auprès des mêmes gens, qui disposent au moment de répondre des mêmes informations face aux X configurations testées. Cette condition évidente de comparabilité des résultats n’étant pas respectée, vous pouvez déjà mettre votre nouveau sondage à la poubelle.

Ce que vous proposez de faire, c’est un peu tester Martine Aubry le lundi, puis tester François Hollande le jeudi alors qu’on aurait appris le mardi que Nicolas Sarkozy se prête à des rites vaudou avec sacrifices de poulets dans les salons de l’Elysée.

Merci donc d’arrêter de toute urgence de vous foutre de notre gueule, et de flinguer au passage tout le crédit que peut encore avoir la profession dans l’opinion.

31 réponses à “Coup de sonde [edit]

  1. Ton dernier paragraphe décrit ce qu’on appelle l’effet Heisenberg, bien connu des informaticiens (il suffit de débugger un programme pour que le bug qu’on cherche à corriger ne se manifeste pas).

  2. Jean Saisrien

    Wow… la droite qui cède sa place à l’extrême-droite…
    ..épeurant vraiment.

    • les sondages, comme les oreillettes pour les courreurs du tours de france aux orties, Laissons les élécteurs avec leur ame et concience.

      Les politiques ont ce qu’il meritent, a force de prendre les électeurs pour des CONs je résumes la definition en les dico :  » gros lourdo, betes, d’une grande stupidité »
      Les élécteurs quand ils réalisent comment ils ont été traités, ils ne sont plus stupides et là les nouvelles promesses, ils n’y croient plus et vote ce qu’ils n’ont pas encore subient et se disent :  » on verra bien « 

  3. tout ça pour que Villepin et Hulot ne se présentent pas…

  4. Houlà très justes remarques. Je vais sommer mes lecteurs à venir lire ton billet.

    Rajoute à ça : quel pourcentage d’abstention ? de « ne se prononce pas » ?
    Rajoute aussi pour un sondage téléphone , pour avoir 1000 réponses, combien de refus de répondre ? chiffre non publié mais utile .Selon source parlementaire c’est entre 8 et 10 000 appels qu’il faut faire pour avoir une réponse !

    • J’avais raté ta question. Ouais, de l’ordre de 10 à 15% de taux de succès sur un sondage comme ça. Et au téléphone, c’est souvent dans des omnibus, au milieu de questions sur la lessive et d’autres sur la natation synchronisée.

  5. Tout cela est formellement vrai, mais si ce sondage inquiète, c’est d’abord parce qu’il fait écho à quelque chose qu’on sent monter dès qu’on gratte un peu, et à une situation politique, économique et social foncièrement pourrie.

  6. Des choses très juste dans cet article, notamment sur le sondage des Echos. Oui, c’est assez facile d’obtenir les résultats que l’on veut pour orienter dans un sens ou dans l’autre selon la question que l’on formule. Ce qui est important c’est que c’est un sondage dit représentatif de la population française. Oui c’est en access panel, oui c’est sur le net, mais quand bien même. Et je reste persuadé, comme je te l’ai dit sur twitter, qu’elle serait plus près de dépasser les 20% que les 10% si l’élection était aujourd’hui.
    Concernant la quantité des sondés. Les sondages obéissent simplement à la loi des grands nombres. Théorisé, si je me souviens bien de mes cours, pour calculer le taux d’ampoules défectueuses dans les usines et rehausser ainsi les commandes (exemple : le type demande 1000 ampoules, on lui en envoie 1050 en se servant de cette loi car il y en aura 50 statistiquement défectueuses et on ne va pas toutes les tester).
    Juste pour préciser, sur ce qu’a dit Sueur : prendre 1000/1100 personnes donnent, on le sait, 3% de marge d’erreur. Si on en prenait 10 000, là on aurait seulement seulement 1% de marge d’erreur, donc plus fiable mais aussi beaucoup plus couteux.

  7. Sondage rigoureux ou pas (les stats, les stats … ou comment faire croire que tout ce qui ne l’est pas « dure », est quand même « science »), ça plante un décor et un climat pour l’année à venir des plus engageant.

  8. Mouais….Et si ce billet n’était que tentative d’auto- réassurance de son auteur ??

    Car il y a quelques incohérences . Vous dites que les sondeurs gonflent le FN volontairement . Ah bon ? Teinturier et Cayrol ont avoué l’inverse aux moment des régionales l’an passé , ils baissaient volontairement ces intentions .( on rediscutera de leurs motivations une autre fois ) . La meilleure preuve de ceci , vous l’avouez sans méme vous en rendre compte , en écrivant que si un sondage réaliste avait eu lieu en 2002 , cela aurait remobilisé a gauche .. Cela veut donc dire que les sondeurs avaient sous estimé le vote FN , alors ? Donc soyez plus clairs svp , dans votre argumentation . Vous affirmez cette  » vérité  » de la surestimation et vous vous appuyez sur un exemple qui prouve l’inverse … Pas trés clair , tout cela !!

    D’ailleurs il y eut un bis répétita l’année derniére aux régionales . Les sondeurs attribuaient au FN 8% d’intentions de vote , résultat des courses : 12 % sur l’ensemble des régions et plus exactement 17 % sur les régions ou il était effectivement présent , véritable reflet de leur zone d’influence ..

    En conclusion , je vous rejoins sur un seul point , Marine Le Pen ne se situe surement pas a 20 ou 22 % d’intentions de votes , mais plus probablement aux alentours de ……………….28 ou 30 % !!!!!

    • Les sondés prêts à répondre à une enquête : « Je vote Le Pen » sont historiquement moins nombreux que ceux qui votent effectivement pour eux, c’est pourquoi les instituts de sondage « gonflent » les résultats du FN (un peu au doigt mouillé). Après, la question c’est le font-ils assez, trop, quelle évolution sur l’acceptation des idées du FN ? Car si les sondés n’ont plus honte de voter FN, il devient inutile de gonfler ces résultats.
      FAQ Ipsos :

      7. Pourquoi les sondages préélectoraux sont-ils redressés ?

      Si les instituts de sondage publiaient les résultats bruts de leurs enquêtes, en période préélectorale, ils se tromperaient lourdement. Les intentions de vote recueillies posent, en effet, deux sortes de problèmes. Le premier vient de ce que tous les électeurs ne sont pas également accessibles. Certains d’entre eux refusent souvent de répondre aux enquêtes d’opinion, par crainte ou par hostilité à l’égard de l’univers politique – c’est aujourd’hui parfois le cas de l’électorat du Front national. D’autres électeurs ont, à l’inverse, tendance à répondre plus souvent que la moyenne aux sondages – par exemple, les personnes qui ont un niveau d’études élevé. Ces différences de comportements biaisent les résultats bruts de l’enquête : la gauche modérée est ainsi généralement sur-représentée tandis que les extrêmes de l’échiquier politique sont sous-représentés.

      Deuxième cause de ‘ biais ‘ : certains électeurs n’osent pas dire pour qui ils ont l’intention de voter. Naguère, une partie de l’électorat communiste indiquait faussement aux enquêteurs qu’elle allait voter socialiste. Aujourd’hui, certains électeurs du Front national prétendent qu’ils voteront UMP…

      C’est pour corriger ces deux types de biais que les instituts ont recours à la technique du redressement. Il s’agit de corriger les chiffres bruts de l’enquête en utilisant la clef de la ‘ reconstitution du vote ‘ : on interroge les électeurs sur leur vote passé. Imaginons que l’on trouve 7% d’électeurs du Front national aux dernières élections alors que l’on sait que ce parti a obtenu, en réalité, 14% des suffrages. On en déduit que le score du FN est sous-estimé de moitié dans ce sondage. Si le pourcentage brut de ce parti dans le sondage est de 8%, son chiffre ‘ redressé ‘ sera de 16%. L’expérience montre que la technique des redressements, tout en posant parfois de sérieux problèmes, permet d’affiner utilement la mesure des intentions de vote

  9. En dehors des sondages et des méthodologies plus ou moins opaques qu’ils peuvent utiliser, des discussions répétées avec différents personnes de toutes catégories sociales et origines confondues, la dialectique et l’idéologie de FN se répand depuis 10 ans parmi nos concitoyens. Et a cela il y a de nombreuses raisons. Il serait certainement plus positif d’identifier ces raisons et de trouver des solutions rapidement si ont veut réellement ne pas être confrontés, en 2012, à une abstention massive et/ou un à un vote en faveur de celle qui apparaît ( trompeusement) aux électeurs désabusés comme celle qui pourrait les sauver…

  10. Il faut insister aussi sur l’énorme biais consistant à ne tester, très arbitrairement, qu’une seule situation de vote, dont les candidats retenus ont été soigneusement sélectionnés. Vu que le candidat socialiste n’est pas choisi, pourquoi Aubry plutôt que DSK, ou un(e) autre? De plus, une candidature Europe-Écologie/Les Verts n’est pas assurée et l’hypothèque Hulot n’est pas levée. De même une candidature De Villepin n’est pas acquise.

    Il est si évident qu’une configuration DSK/Sarkozy/Le Pen, sans écologiste ni De Villepin aurait donné, avec le même échantillon et le même jour, un résultat tout différent, qu’on peut conclure que le « résultat » de ce sondage était entièrement contenu… dans la question!

    Parlons du jour de publication, justement: un sondage au « résultat » choc attendu, commandé par le Parisien, la veille du lancement de la nouvelle formule de son concurrent, le JDD. Tout est dit, il s’agit juste d’une opération commerciale!

  11. Bonjour,
    Je comprends tous vous points, or il me semble qu’il manque un autre point encore plus basique qui est l’intervalle de confiance se ces résultats si on à un intervalle de confiance de 3% (qui serait déjà très .bon), des scores à 23%, 21% et 21% ne sont pas statistiquement différents. Le message serait donc que les 3 candidats se partagent équitablement les voix. Distribution aléatoire en gros.

  12. il est surprenant qu’un sondage si décrié et qui semble avoir si peu de valeur « prédictive » puisse être l’objet d’une telle attention dans le landerneau politique, journalistique…..et autres!
    Quand à la non présence de DSK dans ce sondage, je ne me souvient pas avoir lu ou entendu la confirmation de sa présence, autre que par d’autres « prévisionnistes » de gauche

    signé » « vieux ronchon »

  13. Mon Canard, ça fait tellement de bien (et en plus t’a pris la peine de la magnanimité pour finir). Et puis Slate_fr.
    Joli score!

  14. Un très bon article.
    Cependant, je vous cite un 1ère fois:
    « …j’ai souvent vu de mes yeux des enquêtes donnant des résultats d’une précision diabolique, confirmés par les faits. »
    A raison de 1’000 sondages politiques par année électorale, on peut bien imaginer que certains annoncent de manière tout à fait aléatoire un résultat exact. Demandez à n’importe quel individu (un peu averti) de vous faire 1’000 prévisions de vote et vous verrez qu’une proportion serait exacte; ce qui ne veut pas dire que ce qu’il a fait soit juste.
    Ensuite, je vous cite de nouveau:
    « Vous l’aurez compris, je n’accorde aucune valeur à ce sondage… »
    Les commentateurs des instituts de sondage font le même discours (par ignorance?). Nous ne pouvons jamais dire qu’un sondage n’a pas de valeur! Si vous annoncez à la population n’importe quel résultat, il y aura un effet induit. Autrement dit, quand vous opposez à la population un résultat présentant un avis comme majoritaire, alors, (à peu prés) le tiers de ses individus initialement opposés ou indifférents vont adhérer à l’idée présentée comme dominante. Donc dans le cas présent, ce sondage rendra le FN encore plus accessible pour d’autres personnes; même si dans l’avenir nous devions apprendre qu’effectivement le coefficient de redressement avait été surévalué.
    Salutations.

    • Sur les sondages précis : je ne parle pas nécessairement de politique, mais des milliers d’enquêtes faites chaque année pour des entreprises, et dans lesquels on retrouve de façon extrêmement précise des faits connus et mesurés par ailleurs, preuve selon moi que oui, un sondage peut être fiable !
      Sur l’induction, il me semble en avoir parlé… Je n’accorde pas de valeur au résultat compte tenu de la méthode.

  15. excellente analyse des sondages

  16. Merci pour cet article très intéressant, découvert grâce à http://blogs.lexpress.fr/l-instit-humeurs/.

    J’enverrai un lien vers cette page dans mon blog.

  17. Je ne comprends qu’une agence de professionnels puisse commettre de telles erreurs. A en croire ton article elles vont droit dans le mur avec ce 2ème sondage et pourtant elle persiste. Ça me dépasse.

  18. Quelle est l’intérêt d’un tel sondage plus d’un an avant les prochaines élections avec des candidats hypothétiques et des méthodes bancales?

    Vendre un sondage d’un côté et un journal de l’autre…

    L’information ici est minime, on sait depuis des mois que La Blonde est de plus en plus populaire.

  19. Malheureusement, ce remake va effectivement achever la crédibilité des sondages auprès de l’opinion publique…
    Dans un premier temps on nous annonce que Marine Le Pen arriverait devant *n’importe quel* candidat PS.
    Ensuite on refait le match en mettant « DSK » à la place de « n’importe quel candidat » pour nous montrer que le résultat peut être différent.
    J’ai du mal à comprendre la démarche, si ce n’est de désavouer en vrac crédibilité, méthodes et compétence de Harris Interactive à mettre en œuvre ce genre de sondages.

  20. Ils font de sacrés progrés ; le premier sondages avait nécessité 7 jours, du 28 février au 3 mars, et là ils ont réussis à le refaire en 3 jours, durant un weekend, et malgrés que 90% des français sont en vacances scolaires… Chapeau les artistes !

  21. Pingback: Wauquiez, acte 3 : le sondage qui tombe à pic | Moi je, je trouve que

  22. Pingback: La charge anti RSA de Wauquiez : une manipulation médiatique ? | Résistance Inventerre

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s