Chaque fois qu’un journal sort un article sur “les résultats d’une enquête” (ou d’un sondage), je crains le pire. La dernière enquête à faire le tour de la presse belge francophone offre un excellent exemple de toutes les erreurs à ne pas faire, alors j’en profite.
“Les jeunes, addicts aux réseaux sociaux… mais critiques”, titre Le Soir. Les réseaux sociaux semblent être l’accroche prescrite par le groupe Rossel : chez SudPresse, “Le chouchou des 11-18 ans, c’est Facebook”.
Du côté du groupe IPM, visiblement, la consigne est différente. La Libre : “Huit enfants sur dix ne voient pas d’un bon œil l’accueil de réfugiés par la Belgique”. La Dernière Heure : “80 % des jeunes ne voient pas l’accueil des migrants d’un bon œil”.
Alors, les jeunes sont-ils accros à Facebook, anti-migrants, ou les deux ? Voyons ce que dit l’enquête, réalisée par l’institut de sondage Dedicated “auprès de 814 jeunes âgés de 11 à 18 ans” et commanditée par l’Alliance des Médias d’Information belge francophone.
Commençons par les réseaux sociaux.
Chez SudPresse, on parle de “88 minutes par jour” en moyenne. Pour La Libre, “trois quarts des jeunes sont tous les jours pendant 1 h 30 sur les réseaux sociaux”. Mais ce que l’enquête dit, c’est ceci :
Source : Dedicated, publié sur La Libre
Premier problème : on passe de “entre 1/2 heure et 1 heure” à “entre 2 et 3 heures”. Si ce sont les choix tels qu’ils étaient présentés aux jeunes, on peut déjà s’attendre à une certaine confusion. Comment, de là, on tire les “88 minutes”, je ne sais pas. Peut-être que des chiffres plus précis ont été fournis par Dedicated. Si c’est le cas, cela illustre bien l’importance de fournir au lecteur les données complètes : semer le doute, ce n’est pas tout à fait le but d’un média d’information.
Quant aux “3/4 des jeunes”, je ne sais pas comment La Libre les calcule : même si l’on est généreux et que l’on considère que “entre 1/2 heure et 1h” va jusqu’à 1h59, on arrive au mieux à 33% + une fraction de 36% à plus d’1h30. En réalité, les chiffres semblent plutôt dire que la moitié des jeunes passent moins d’une heure par jour sur les réseaux sociaux.
Surtout, ce sont des statistiques qui ne servent à rien hors contexte. Combien de temps passe la population en général sur les réseaux sociaux (et pas juste les jeunes) ? On trouve par exemple en France une estimation de 1h20 par jour. En Belgique, 1h15 en 2016. Aux USA, on approche des 2h.
Autrement dit, un meilleur titre aurait sans doute été : “les jeunes utilisent beaucoup les réseaux sociaux, comme tout le monde.”
Venons-en aux migrants.
“Plus de huit élèves sur dix s’inquiètent du fait que la Belgique accueille sur son sol des réfugiés et des migrants”, nous dit La Libre.
À nouveau, une information extrêmement importante nous manque : quelle question exactement a été posée ? En effet, l’infographie de Dedicated ne dit pas tout à fait la même chose :
Source : Dedicated, publié sur La Libre
Si la question était effectivement “Comment ressens-tu l’accueil des réfugiés des migrants en Belgique”, ce n’est pas tout à fait pareil ! D’abord, parce que la phrase ne veut rien dire (“des réfugiés des migrants” ?), mais surtout parce que la proposition n’est pas claire !
Comment ressens-tu l’accueil des migrants en Belgique ? (es-tu a l’aise avec le fait qu’on accueille des migrants ?) Je répondrais oui.
Comment ressens-tu l’accueil des migrants en Belgique ? (es-tu à l’aise avec l’accueil tel qu’il est organisé par la Belgique aujourd’hui ?) Je répondrais non, je ne suis pas à l’aise avec l’incapacité totale de nos élus (à tous les niveaux de pouvoir) de prendre leurs responsabilités et de leur offrir le minimum d’accueil et de décence humaine, au lieu de se décharger sur les initiatives citoyennes qui font le boulot à leur place : hébergement, suivi médical, conseils juridiques, cours de langue, etc…
Comme souvent dans les enquêtes, la formulation exacte est importante. “La Belgique doit-elle augmenter le budget alloué à l’accueil des migrants ?” et “La Belgique doit-elle laisser les réfugiés en provenance de zones de guerre à la rue cet hiver ?” sont deux questions qui sont en substance similaires, mais qui auraient des résultats très différents.
La Libre et la DH auraient donc dû titrer : “80% des jeunes ne voient pas d’un bon oeil les questions mal exprimées”.
Et les marges d’erreur…
Quand on a un échantillon aléatoire de 814 jeunes sur une large population, la marge d’erreur se trouve aux alentours de 3 à 4%. Par conséquent, lorsque l’article dit “Alors qu’ils étaient 14 % à manifester un intérêt pour les hommes et femmes politiques en Belgique, ils ne sont plus que 12 % à se déclarer satisfaits”, il faut lire : “Alors qu’ils étaient entre 10 et 18% (…), ils sont maintenant entre 8 et 16%, ce qui ne montre pas de changement”.
En bref : comment faire un article sur une enquête ou un sondage ?
- Toujours publier les données brutes à côté de l’interprétation. Idéalement, de toute l’enquête, mais au minimum de tout ce dont on parle dans l’article.
- Publier la méthodologie (Quelles questions exactes ont été posées ? Est-ce que l’enquêteur était présent ? Comment l’échantillon a-t-il été sélectionné, et comment l’enquêteur s’est-il assuré qu’il est représentatif de l’ensemble de la population visée ?)
- Se retenir de voir des tendances dans le bruit d’échantillonnage : si la différence est dans la marge d’erreur, ce n’est pas une différence. C’est aussi valable pour les sondages politiques (voir tous les “baromètres politiques” qui parlent parfois de “chute” ou de “percée” pour des différences peu ou non significatives…)
- Contextualiser ! Si l’on veut mettre en regard “les jeunes” par rapport au reste de la population, il faut les chiffres du reste de la population !
Ce n’est pas si compliqué que ça… Et lorsque ces points ne sont pas respectés, on ne peut tout simplement pas considérer l’article comme fiable. Ce serait tout de même dommage.