PARTIE 1 (17-12-2019)
Avertissements
La diffusion du Baromètre Voltaire® 2019
Biais de sélection et représentativité des résultats
La déformation des données
Appel à la popularité et stéréotypes

Le Projet Voltaire (lien) vend des remises à niveau en orthographe (5 millions d’utilisateurs revendiqués), activité salutaire et récompensée plusieurs fois. Mais le Projet Voltaire publie aussi un baromètre annuel dans lequel on trouve parfois des choses pour le moins très discutables. Le dernier en date a été rendu public le 4 décembre 2019, son ambition est de mesurer « le rapport réel des Français avec l’orthographe ».

Quelle surprise de le voir alors mettre en avant des résultats portant sur des données… astrologiques (lien) !

Qui plus est, des résultats… divergents ! (lien)

Les graphes « bruts » du Baromètres Voltaire® 2019 à propos de l’astrologie

En page 25 :

En page 29 :

Si l’orientation marketing et sans prétention scientifique de telles annonces (on va y revenir) ne fait aucun doute, les protestations n’ont quand même (et heureusement) pas manqué (lien).

Qu’en est-il vraiment ? Ces résultats astrologiques ont attiré mon attention, je suis donc allé voir directement dans le document d’origine afin de vérifier la source par moi-même, une attitude fondamentale dans le cadre de l’exercice de l’esprit-critique. Sur quoi sont fondés les résultats présentés et, s’il y a des erreurs, y en a-t-il d’autres dans le document du Baromètre Voltaire® ? Rend-il vraiment compte « du rapport réel des français à l’orthographe » ? Les pages qui nous intéressent ici sont les n° 25-26 et 29-30 du document intitulé

« Les Français et l’orthographe, 5^e édition – 4 décembre 2019

 

Les exemples que prennent, dans leurs cours, les promoteurs de l’esprit critique et de la démarche scientifiques (à suivre absolument, le cours de Richard Monvoisin à l’université de Grenoble : Zététique & autodéfense intellectuelle) sont parfois énormes. A se demander s’ils sont bien représentatifs d’une réalité sociale où règnent autant l’approximation, le sophisme et le paralogisme pernicieux. Mais le Baromètre Voltaire® de décembre 2019 a été créé, justement, à destination des formateurs à l’esprit critique afin qu’ils puissent renouveler leur arsenal d’exemples.

Peut-être trouvez-vous un peu étrange la tournure de la phrase précédente ? C’est un exemple de moisissure argumentative (le raisonnement panglossien) qui, lorsqu’on sait la détecter, permet de décrypter l’information différemment. La nécessité d’une EMI (éducation aux médias et à l’information) est toujours d’actualité et, dans ce dossier, nous allons croiser quelques notions clés dont chaque citoyen (chaque journaliste, surtout) devrait être familier :

Sommaire complet

PARTIE 1 (17-12-2019)
Avertissements
La diffusion du Baromètre Voltaire® 2019
Biais de sélection et représentativité des résultats
La déformation des données
Appel à la popularité et stéréotypes

PARTIE 2 (19-12-2019)
Cherry picking et appel à l’autorité
Déformation (encore) des données
Corrélation et causalité
Fake news et incitation à mal raisonner
Expertise et champ de compétences
Conclusion

Avertissements

Je commencerai ce long dossier en étant très clair sur un point : mes conclusions sont sans lien avec la qualité des services proposés par le Projet Voltaire, entreprise récompensée par exemple pour sa contribution au rayonnement de la langue française (lien). Ne succombons donc pas à la tentation du déshonneur par association (lien CORTECS) qui nous pousserait à étendre par erreur nos conclusions au-delà de leur portée réelle. Il n’empêche que le niveau de qualité littéralement médiocre du Baromètre Voltaire® 2019 ne peut que nuire à l’image du Certificat Voltaire et il serait bon que cela change.

Pour les explications des différents outils évoqués, j’ai choisi de renvoyer presque systématiquement vers le site internet du CORTECS (COllectif de Recherche Transdisciplinaire Esprit Critique & Sciences) de l’université de Grenoble, dont le travail extraordinaire n’est pas assez connu.

La diffusion du Baromètre Voltaire® 2019

Un bon dossier critique commence par une mise en contexte, en général un petit historique.

Quelle est l’idée du Baromètre Voltaire® ? Dans l’introduction du document (rappel du lien), le Projet Voltaire déplore que les sondages menés habituellement dans le but de caractériser le rapport des Français à l’orthographe sont seulement déclaratifs. Pour cette raison (les personnes ne sont pas toujours sincères), les réponses aux sondages ne seraient pas représentatives de la réalité. Depuis 2015, le Projet Voltaire, qui vend des remises à niveau en orthographe, utilise donc sa grande base de données que permettent les résultats de très nombreux utilisateurs.

Fin 2019, le niveau d’orthographe selon le signe astrologique n’est heureusement pas « l’information » principale du Baromètre : les niveaux en orthographe et grammaire ont été comparés à des critères particulièrement bien choisis puisqu’ils concernent à peu près tout le monde. Les résultats étaient donc susceptibles d’être partagés à des millions d’internautes, ce qui n’a pas manqué.

Une partie du public visé étant la population étudiante des 15 – 25 ans (et ses parents), L’étudiant, Studyrama et digiSchool ont partagé. Avec le classement par le style de musique, Orange a partagé, rappelant au passage son accord avec le diffuseur de musique Deezer), idem pour Swigg ou Musiquesactuelles, etc. Le classement par régions a provoqué quelques partages locaux, dont Le Journal de Saône et Loire. Mais la couverture est allée au-delà de la presse d’information (Le Point, Le Figaro, Ouest-France, Le Parisien, L’Express, BFMTV, LCI, Europe1, Télé-Loisirs). Vous pouvez vérifier par vous-mêmes avec cette recherche Google (du 4 décembre 2019 à aujourd’hui) en cliquant ici : lien.

Mais Arrêtsurimage a tout de suite dénoncé la mauvaise qualité de l’étude du Projet Voltaire et France 3 Val de Loire a émis un avis critique : « Les statistiques du Projet Voltaire sont à prendre avec prudence. Ce n’est pas une étude scientifique ». Interrogée, une professeure de français ne reconnait pas ses élèves dans les résultats, rappelant l’importance du milieu socio-culturel.

Mais le reportage diffusé par BFMTV a généré aussi de vives réactions, dont celles de Boulevard Voltaire, SFR, le Huffingtonpost ou Brain-magazine. 7sur7 a relayé quelques protestations depuis Twitter. Les résultats du Baromètre n’ont donc pas été diffusés dans tous les médias : la faute aux grèves qui bloquent la France en ce mois de décembre, réquisitionnant tous les moyens matériels des chaînes de télévision ? 20minutes a relayé jusqu’en 2018, Cnews publiait habituellement les résultats de ce baromètre. TF1 avait relayé l’information en 2018. Sur France Info, la dernière fois c’était en 2017.

Si, au moment de la publication de ce dossier, il n’est pas possible d’évaluer l’audience du reportage passé à la télévision, la vidéo d’une minute publiée sur Twitter (lien) a provoqué 1,4 millions de vues ! Le vidéaste Linguisticae vient aussi de consacrer 33 minutes à cette affaire, commençant par expliquer que bien des linguistes ont protesté. On conseillera cette vidéo dont l’angle d’approche principal est assez différent de celui de notre dossier même si, bien sûr, nombre de critiques se recoupent.

On signalera juste un petit contresens sans conséquence à 7min53s quand Linguisticae lit sur la page 2 du Baromètre que la méthode est celle d’un sondage déclaratif. Le paragraphe indique justement le contraire : les sondages habituels sont déclaratifs, ce en quoi le Baromètre Voltaire® souhaite se distinguer en intégrant les résultats des tests de maîtrise de la langue française. Mais ce contresens est sans conséquence dans le sens où le Baromètre Voltaire va effectivement compléter ses résultats de test par des… déclarations d’utilisateurs quant à leurs goûts musicaux, jeux préférés, usages des réseaux sociaux, etc. Tout à coup, les déclarations des utilisateurs deviennent donc utilisables…

Voilà donc une information qui a posé problème à un certain nombre de médias, les uns dénonçant la qualité de l’étude, les autres les interprétations qui en sont tirées. Mais elle n’a posé aucun souci aux autres : un problème pour des journalistes censés vérifier la qualité d’une information afin de ne pas prendre le risque de « diffuser des fake news », comme on dit aujourd’hui. On ne peut plus considérer comme anodin de diffuser des fausses informations qui, à grande échelle, entretiennent de mauvaises habitudes de pensée. Et des erreurs de raisonnement souvent communes à celles de la pensée magique, ce qui a des conséquences bien au-delà des sujets traités.

C’est donc moins l’orthographe des Français qui nous intéresse, ici, que les procédés d’analyse et de communication utilisés dans le Baromètre Voltaire®.

Biais de sélection et représentativité des résultats

Si le projet Voltaire a autant de succès, c’est parce que son Certificat permet, « à l’instar du TOEIC® ou du TOEFL® pour l’anglais », d’attester « auprès des employeurs un niveau de maîtrise de la langue française » (page 8). Fin 2019, ce sont déjà « cinq millions d’utilisateurs du Projet Voltaire [qui] ont alimenté la plus grande base de données du monde sur les Français et l’orthographe » : les résultats des utilisateurs seraient « donc » plus représentatifs du « rapport réel » à l’orthographe des Français que les sondages habituels.

Voilà qui pose déjà plusieurs problèmes.

A partir d’un échantillon, aussi grand soit-il, l’extension des conclusions d’une étude à une population tout entière n’a en effet rien d’évident. Dès les premières pages du tout premier Baromètre Voltaire®, de 2015 (lien pdf), ce raccourci est posé sans justification autre que le nombre d’utilisateurs et des résultats à un test de langue française.

Or, ici, il n’est pas inutile de rappeler que le Projet Voltaire fonde son baromètre sur les réponses de ses clients, c’est-à-dire des personnes visant à connaître et à améliorer leur niveau en orthographe. Pourquoi leurs résultats seraient-ils représentatifs du niveau d’orthographe de l’ensemble des Français qui n’éprouvent pas ce besoin ? Studyrama rappelle ainsi que « Cette tranche d’âge [des 15-25 ans] est intéressante car elle ne passe pas le certificat Voltaire de son plein gré, en général elle le subit (imposé par les professeurs) ». Mais nulle part n’est faite mention, non plus, de la nationalité des utilisateurs : le Certificat constitue pourtant un indicateur valorisant pour une personne de nationalité étrangère visant à montrer ses compétences en français. D’emblée, on peut craindre un premier biais de sélection qui fausserait l’extension des résultats à toute la population.

De plus, il y a un problème quantitatif dans la représentativité des données. Le Projet Voltaire revendique plus de 5 millions d’utilisateurs mais on lit, en page 3, que

« les chiffres-clés de cette 5^e édition du Baromètre Voltaire® sont issus du croisement des réponses à un questionnaire soumis aux utilisateurs de l’entraînement en ligne du Projet Voltaire entre avril et novembre 2019 et du niveau initial en orthographe des 7 087 utilisateurs du Projet Voltaire ayant répondu à ce questionnaire (avant entraînement) ».

Les cinq millions d’utilisateurs du Projet Voltaire ne sont finalement pas ceux qui soutiennent l’étude de 2019 ! Y aurait-il eu un transfert indu de valeur ? Si les 5 millions d’utilisateurs ont probablement permis d’optimiser la qualité du Certificat Voltaire en termes de langue française, ils ne garantissent en rien d’être représentés par les 7.087 utilisateurs de quelques mois en 2019.

Pire, peut-être, si « les sondages habituels » ont le défaut d’être déclaratifs, au moins les personnes sondées y sont-elles choisies de sorte à respecter les proportions des catégories sociales observées dans la population réelle (pour avoir une idée de la méthode des quotas : lien). Autrement dit, la répartition des sujets interrogés est comparable à celle observée dans la population : ce n’est pas du tout le cas du Baromètre Voltaire®.

En effet, qui sont les 7.087 répondants de l’étude ? Ils sont âgés de 15 à 99 ans (page 27) mais 4.976 d’entre eux ont entre 15 et 25 ans (page 4), soit 70% du panel 2019 ! Les statistiques proposées par Le Baromètre Voltaire® renseignent donc moins « sur les Français » que « sur les utilisateurs des services proposés par Le Projet Voltaire ». Pourtant…

Ceci expliquerait d’ailleurs simplement pourquoi les résultats varient d’une année à l’autre par région. En allant plus loin, à force d’aider les gens à grande échelle à améliorer leur maitrise du français, les coordinateurs du Baromètre ne devraient-ils pas se poser aussi la question de leur propre influence au niveau national ? Ne devrait-on pas constater… une amélioration annuelle des résultats au fil du temps ? Si la qualité des services proposés par Le Projet Voltaire est excellente et qu’ils ont déjà fait progresser des millions de personnes, alors le rapport général des Français à l’orthographe ne peut plus être évalué sur « les connaissances initiales » de leurs derniers utilisateurs. Ou alors il faut admettre que ces progrès sont perdus ensuite, ce qui serait un comble !

La déformation des données

Un grand classique de l’erreur, dans le traitement médiatique (ou marketing) de l’information fondée sur des chiffres, consiste à manipuler les nombres et les graphiques en exagérant, par exemple, la limitation d’échelle (abscisses et ordonnées). Rien de tel pour amplifier le message que l’on souhaite diffuser, quand bien même il ne serait pas du tout fondé. Sur ce sujet, on conseillera la très bonne vidéo du sceptique Défakator, TUTO : Détecter des graphiques trompeurs qui, avec sérieux et humour, présente des exemples très différents de manipulation (volontaire ou involontaire) par déformation de données.

Et nous voilà avec un bel histogramme :

Or, pour les 15-25 ans, les histogrammes de la page 25 donnent des résultats étonnamment différenciés en fonction des signes astrologiques. L’œil sceptique habitué est attiré de suite par l’absence d’ordonnées, sur la gauche du schéma. Or, que se passe-t-il si nous reproduisons ces nombres en rappelant qu’ils vont de 536 à 546 et que les scores possibles vont a priori de 0 à 1000 points ? Voici quatre représentations DIFFERENTES obtenues à partir DES MÊMES DONNEES :

Voyez-vous poindre, vous aussi, la tentation d’interpréter DIFFEREMMENT ces histogrammes alors que les données sont STRICTEMENT IDENTIQUES ? Sans plus d’information ici, l’écart des résultats montre plutôt qu’il n’y a PAS d’influence du signe astrologique sur les utilisateurs des services internet du Projet Voltaire. Si, encore, il y avait eu des dizaines ou des centaines de points de différence dans les scores… mais là, non.

Le Baromètre Voltaire® insiste pourtant pour nous proposer une interprétation relative « aux éléments astrologiques », qui sont un classement par familles des signes astrologiques quand on en prend un sur quatre.

J’ai précisé entre crochets les nombres correspondants :

« Ce sont les jeunes natifs du Capricorne (signe de terre) qui remportent la palme avec 545,8 points en moyenne au Certificat Voltaire cette année. Suivent les natifs du Cancer (signe d’eau) [avec 543 points], talonnés de près par les Gémeaux (signe d’air) [avec 542 points] et les Sagittaire (signe de feu) [avec 541 points] »

On apprend donc, ici, que les résultats sont arrondis à l’entier le plus proche (545,8 devenant 546 sur le graphique). Voilà une information qui va nous servir tout de suite car… où sont donc les Lion et les Verseau qui obtiennent eux aussi 541 points en moyenne ? Les signes de feu et d’air sont donc, au contraire de ce qui est affirmé, mieux représentés que les autres « dans le quarté de tête ». Et puis, que penser vraiment d’un écart de 2 points sur 1000 possibles entre le deuxième et LES quatrièmes au classement ? De plus, arrondis obligent, avec trois signes astrologiques à 541 points, les Sagittaires sont-ils réellement quatrièmes ? Qui a obtenu 541,1 ? Qui a obtenu 540,8 ? Voilà qui est malheureusement invérifiable : les données statistiques sont indisponibles, contrairement à la plupart des autres résultats du baromètre. Enfin, dans tous les cas, que conclure de ce trio à 541 points qui a… 1 point d’écart sur 1000 possibles avec le Bélier, septième à 540, sinon que tout cela est absolument insignifiant ?

Mais l’interprétation des données a posteriori, qui consiste à se demander après coup (et non avant) « que nous disent les données obtenues ? » favorise certains pièges statistiques. L’un d’entre eux, commun quasiment à tous les résultats statistiques favorables à l’astrologie, consiste justement à ne pas préciser ce que l’on cherche à observer avant d’avoir les résultats devant les yeux. C’est de cette manière que les astrologues sont, par exemple, en permanence trompés par la complexité de leur système : oui, il y a presque toujours des configurations astrologiques exactes aux moments d’un attentat en France, et alors ? L’astrologue ne définit jamais a priori combien il y a de configurations astrologiques qui mêlent des symbolismes pouvant correspondre avec une situation d’attentat. Elles sont pourtant si nombreuses que, en termes de probabilités, il faudrait plutôt s’étonner… qu’il n’y en ait pas !

Quel rapport avec le Baromètre Voltaire® ? Il est très simple : on a voulu parler, ici, « des quatre éléments astrologiques », lesquels constituent une répartition des 12 signes astrologiques en quatre familles différentes. Mais il existe d’autres familles astrologiques dès lors qu’on prend un signe astrologique sur deux (les signes masculins et féminins), ou sur trois (les signes cardinaux, fixes et mutables), voire même les signes opposés (formant les axes astrologiques). En ne définissant pas a priori quelle famille on va regarder, on a bien plus de chances de trouver quelque chose dans la première OU dans la seconde OU dans la troisième OU dans la quatrième. Si on n’en choisit pas une a priori, alors on réalise quatre expérimentations différentes sans le savoir et les probabilités de trouver quelque chose ne sont plus les mêmes qu’en ayant précisé a priori. C’est à dire en ayant réduit les possibilités de gagner à ce qui n’est rien d’autre qu’un tirage au sort si les signes astrologiques n’existent pas ailleurs que dans l’esprit de ceux qui y croient. Et les tirages au sort donnent, de temps en temps, des résultats favorables seulement par hasard, d’où les pièges permanents à guetter du côté des statistiques. Ici, cela ressemble presque à du cherry picking a priori : on prépare un contexte favorable où on n’aura plus qu’à aller puiser dans un résultat faux où le tri aura été effectué en amont. On traitera du cherry picking au début de la partie 2 de ce dossier.

Le cerveau a vraiment du mal à gérer intuitivement les probabilités, ce pourquoi une étude statistique requiert toujours un expert dans le domaine. On posera justement cette question en toute fin de dossier. En attendant, la déformation des représentations des données n’est pas propre à l’année 2019 :

Et puis les histogrammes sont présentés parfois comme des podiums (les résultats varient d’une année à l’autre), parfois comme « la caractérisation » du rapport des français à l’orthographe (qui, lui, ne peut pas varier d’une année à l’autre). Jamais cette distinction n’est réellement évoquée dans le document.

Il n’y a pourtant PAS vraiment de podium, comme le montrent les autres représentations de 2019 : les surfaces des plots ne varieraient pas, sinon, de l’une à l’autre. Ici, on accentue plutôt les écarts selon le message que l’on souhaite faire passer.

Interpréter différemment les données d’une expérimentation selon ce qui arrange ou non rappelle « l’effet bi-standard » (lien CORTECS). On peut être victime de cette erreur sans le vouloir, donc sans le savoir, en changeant tout simplement les règles du jeu au moment de l’interprétation, si celle-ci n’est pas conforme à ce que l’on espérait. Non seulement il n’y a pas toujours de quoi interpréter les résultats, ici, mais les variations d’une année à l’autre montrent en plus que ces données ne parlent PAS vraiment « des Français ». Les résultats renseignent seulement sur les profils de certains utilisateurs des services proposés par l’entreprise Projet Voltaire.

Il y a un vrai problème quand les médias diffusent, telle quelle, cette « information » qui n’est pas ce qu’elle prétend être. Mais continuons notre moisson analytique.

Appel à la popularité et stéréotypes

Chercher la présence de chaque élément astrologique « dans le quarté de tête » renforce l’idée d’une démarche purement marketing : il a l’air important de ne froisser personne, surtout pas un ou deux douzièmes de la population de-ci, de-là. C’est pourquoi le propos est rassurant par rapport à une autre interprétation possible : les Balance maitrisent nettement moins les règles d’orthographe et de grammaire que les Capricorne.

Alors, bien sûr, on pourrait vouloir considérer que tout cela n’est que plaisanterie et légèreté. Pourtant, si les jeunes avaient été classés selon la couleur des yeux, la longueur de leur index ou la pointure de leurs chaussures, aurait-on trouvé ces résultats drôles ? Seulement inintéressants ? Ou ridicules ? Mais avec l’astrologie, il y a une différence…

« D’après le sondage réalisé en 2010 par TNS Sofres pour le Figaro Magazine (et cité par Cerveau & Psycho, lien), 46 % d’entre nous croient en l’influence du signe astrologique sur le caractère » (page 26).

Voilà qui est explicite et cette référence est doublement intéressante pour nous car, pour un sondeur, c’est déjà l’assurance d’attirer l’attention d’un grand nombre de personnes a priori favorables à l’idée d’un tel classement. Cela pourrait permettre, aussi, un semblant de justification de résultats trèèès tirés par les cheveux. Voilà ce qu’on définit comme un appel à la popularité (lien CORTECS) des signes astrologiques. Faut-il rappeler en quoi cet appel est une stratégie très douteuse ?

En matière d’astres, on conseillera d’ailleurs de se méfier plus encore de l’avis de la population, vu comment un panel pris (presque) au hasard répond à la question « Qu’est-ce qui gravite autour de la Terre ? » :

Cet appel à la popularité est même renouvelé au début de la page 30 :

« Il ressort de ce même sondage que, pour 29 % des Français, ce qui nous arrive est déterminé par notre signe zodiacal ».

A moins que les auteurs du Baromètre Voltaire® croient dans la réalité de l’influence du signe astrologique sur la personnalité ? Espérons que non car cela a été infirmé à maintes et maintes reprises. Un exemple parmi d’autres ? Cette étude portant sur les problèmes de santé selon le signe astrologique de 10 millions d’assurés (lien) :

Mais nul besoin de craindre cette hypothèse : la popularité des signes astrologiques chez les Français suffit amplement à expliquer l’utilisation de cette donnée parmi d’autres dans le cadre d’une pure opération de communication autour du Baromètre. Et ce, malgré l’interprétation proposée en page 26 :

« Alors, le caractère réputé persévérant des premiers aurait-il primé sur la sensibilité, les talents de communication ou le légendaire enthousiasme des suivants ? »

Elle n’est pas sans rappeler, en effet, le redoutable tableau suivant, bien connu des promoteurs de l’esprit critique : les phrases y font sens sans avoir besoin du moindre contenu réel ! Essayez en choisissant au hasard une case de la première colonne puis continuez votre phrase dans une case de la deuxième colonne, elle aussi choisie au hasard. Faites de même avec les colonnes 3 et 4 :

Concrètement : si les Gémeaux l’avaient emporté sur les Capricorne, alors aucun problème pour changer la phrase de synthèse : « Alors, les talents de communication des premiers auraient-ils primé sur la sensibilité, le caractère réputé persévérant ou le légendaire enthousiasme des suivants ? » La meilleure preuve est peut-être que la phrase initiale a été purement et simplement recopiée à la fin de la page 29 alors que les résultats présentés n’ont plus rien à voir.

Que démontrent, aussi, les interprétations de la page 26 ? Que les stéréotypes astrologiques, dont les fondements ont pourtant été invalidés par nombre d’études, sont encore bien présents dans la population. Il faut peut-être bien « remercier » les horoscopes de presse pour cela, ils ont au moins comme effet de rappeler chaque jour à des millions de personnes « qu’elles ont un signe astrologique ». Personne n’imagine d’ailleurs que ces stéréotypes ont beaucoup moins de cent ans, leur origine remontant à peine aux années 30 (Une princesse, un crash, des morts, la naissance des horoscopes de presse (1e partie)).

A suivre : PARTIE 2 (19-12-2019)
Cherry picking et appel à l’autorité
Déformation (encore) des données
Corrélation et causalité
Fake news et incitation à mal raisonner
Expertise et champ de compétences
Conclusion

Serge Bret-Morel, le 17 décembre 2019

Les vidéos sceptiques de la chaîne YouTube Astroscept
L’album #1imagesceptiqueparjour sur Twitter
L’album #1imagesceptiqueparjour sur Facebook
Le livre sceptique Astrologie : la fin des mystères