Copyright 2012 - 2018 Dur à Avaler

Dur à Avaler est un blog d'information sur la santé, la nutrition, l'univers du médicament et les conflits d'intérêts. Le blog est entièrement sans publicité pour faciliter la lecture des articles. Les articles sont le résultat d'une recherche scientifique minutieuse pour apporter des conseils et lancer des débats constructifs. Les article sont rédigés par Jérémy Anso, docteur en biologie et des auteurs invités pour des sujets particuliers. Le blog n'a pas vocation à remplacer le lien entre un patient et son professionnel de santé, mais bien de le renforcer par la confiance, la lecture critique des évidences scientifiques et le rendre plus transparent.


Pourquoi est-ce important de se poser la question ? Car nous retrouvons aujourd’hui tout et son contraire sur internet. Des informations qui vont dans un sens, la minute d’après, on trouve un article qui donne des informations qui vont dans l’autre sens.

C’est la réalité et le quotidien de tout le monde. On doit se débrouiller face à cet afflux d’informations en triant le bon du moins bon.

Mais comment s’y prendre ? Existe-t-il des règles précises, claires et infaillibles qui permettent de trier facilement la qualité de l’information ?

Oui, ces règles existent mais attention. Il ne faut pas tout mélanger et décortiquer les bonnes règles, des mauvaises.

Dur à Avaler : évalué par des étudiants québécois ?

Si je vous parle de ce sujet aujourd’hui, c’est car j’ai eu la surprise de découvrir que mon blog a été évalué par des étudiants – je suppose – québécois ces derniers jours dans le cadre des CEGEP.

Capture d’écran de la plateforme. Avec le lien vers mon article et le questionnaire.

Un article en particulier, mon “Top 7 des arguments bidon contre le jeûne” publié en 2015, a été au centre d’une évaluation critique de la qualité de l’information par un questionnaire en ligne.

Les étudiants devaient se référer à une grille d’évaluation de la qualité des sources. Une grille que je vous retranscris dans le tableau suivant.

Critères d’évaluation de la qualité des sources

Quelques questions à se poser

Fiabilité de la source

– Qui a publié le document?

– L’éditeur est-il réputé?

– La revue a-t-elle un comité de révision?

– Est-ce une publication gouvernementale?

Crédibilité de l’auteur

– Qui a créé le document?

– Quelle est son autorité dans le domaine?

Validité

– Est-ce que les sources sont citées?

– Y a-t-il une bibliographie?

– La méthodologie est-elle exposée?

– S’il y a des valeurs numériques, la marge d’erreur est-elle donnée?

Objectivité

– Quelles sont les motivations de l’auteur: informer, divertir, former, convaincre?

– Est-ce que le langage est neutre ou y a-t-il des biais?

Exactitude

– L’information est-elle erronée?

– S’agit-il d’approximations ou de valeurs exactes?

– Y a-t-il des erreurs d’orthographe ou de grammaire?

Actualité

– Est-ce que l’information est toujours d’actualité par rapport au sujet?

Source : https://www.cmontmorency.qc.ca/wp-content/uploads/2016/06/evaluer_cegep_aide_memoire2.pdf

On peut voir que plusieurs questions servent à identifier la qualité de l’information. Cette grille fait notamment état de la réputation et l’autorité de l’éditeur ou de l’auteur. On peut voir qu’il y a une attention particulière aux publications gouvernementales.

Bref, j’ai réussi à lire les réponses apportées par l’enseignant en charge de cette évaluation critique. Vous l’imaginez bien, mais les réponses sont globalement négatives. Voici le condensé des “solutions” apportées par l’enseignant.

  • L’objectivité de l’article pourrait être remise en cause.
  • Il contient des fautes d’orthographe (mon terrible fardeau) qui remettent en question la révision du texte.
  • Il ne contient pas de bibliographie
  • L’auteur, donc moi, ne cite que ses propres articles ou les sources scientifiques qui vont dans son sens
  • Au final, cet article est qualifié de “non fiable et peu crédible” par le professeur en charge du module.

Voilà qui est dit. L’affaire est dans le sac.

Capture d’écran d’une question avec ma réponse et la réponse apportée par la questionnaire.

Mais est-ce bien rigoureux et sérieux comme méthode d’analyse pour juger et classer un article, voire un blog en entier et son auteur avec ?

Non. Même s’il y a des questions tout à fait pertinentes et utiles, il y a également de graves erreurs d’analyses qui entraînent une évaluation expéditive – et sommaire – de la qualité des sources et des informations.

Je vais bien sûr vous apporter des exemples pour illustrer mon propos. Ce n’est pas juste une réaction juvénile par rapport à mon article.

Mon article mérite-t-il une telle évaluation ?

Cet article écrit en 2015 n’a pas vocation à utiliser des références scientifiques et répondre à des questions biologiques ou physiologiques complexes, comme l’effet du jeûne sur le cancer ou la régulation de la glycémie.

Non, cet article répond rapidement à des arguments fallacieux, que je qualifie de bidon, tellement ils n’ont aucun sens. C’est bien pour cette raison qu’il n’y a pas de référence scientifique dans l’article.

Je cite l’un de mes articles – et c’est normal pour un blog, une nuance qui n’apparaît pas dans les réponses de l’enseignant – qui détaille justement une étude scientifique majeure dans ce domaine1.

Une étude publiée dans le PNAS qui précise bien l’impact négatif des prises alimentaires codifiées et rapprochées qui se sont imposées à tous par nos sociétés modernes.

Manger à heure fixe est devenu une nécessité sociétale, à l’opposé d’un besoin physiologique. (l’article est ici).

Je ne fais pas toujours référence à l’étude scientifique à l’origine de mon billet, surtout quand j’ai déjà analysé en détail ladite étude. La très grande majorité des blogs français et anglais fonctionnent de cette manière.

Dans un autre registre, le journal d’investigation Médiapart, pour ne citer que lui, fait exactement la même chose. Il se cite souvent lui-même. Ses propres travaux d’enquêtes.

Personne ne remettra en cause ici le fait d’utiliser un travail déjà réalisé pour expliquer une nouvelle situation.

Il aurait été prudent de prendre cela en compte. Mais c’est un détail. Le plus intéressant est à venir.

Pourquoi cette grille d’évaluation est-elle incomplète et fallacieuse ?

La réputation est un mauvais critère

Trois questions de la grille d’évaluation font référence à la réputation de l’éditeur ou de l’auteur. Cela me fait immédiatement penser à l’argument d’autorité.

Cet argument implique que l’on accorde plus d’importance à certains propos et contenu en fonction de la source, de la réputation.

Ce critère d’évaluation est bancal.

Il entraîne très rapidement le déclassement d’un contenu de qualité, d’une analyse critique pertinente sur la seule base que nous avons affaire à un inconnu, qui n’est affilié à personne, à aucune agence gouvernementale.

C’est pourtant extrêmement dommageable pour l’évaluation critique de la qualité de l’information. Il existe nombre de blogs et d’articles sur internet écrit par des inconnus ou des personnes anonymes, sans que cela ne décrédibilise le plus important : le contenu, les faits et les références.

La grille semble légitimer de facto toutes les publications officielles gouvernementales d’une qualité de l’information. Si cela peut-être relativement vrai, cela dépend de la qualité de l’expertise, qui est souvent désastreuse pour la santé publique (avec, par exemple, la prise en charge d’un excès de mauvais cholestérol, ou sur le dépistage du cancer du sein).

Concernant la réputation de l’éditeur, là aussi, je suis extrêmement perplexe. Parlons ici de chose concrète : un journal scientifique, par exemple, le Lancet.

Ce journal est réputé dans le monde entier pour produire les meilleures études scientifiques. Il est surtout le journal qui permet aux chercheurs d’être les mieux cités par la suite. Mais passons.

Malgré cette réputation, il ne faut jamais prendre pour argent comptant une publication parue dans le Lancet comme parfaite, sérieuse ou encore fiable. Elle a plus de “chance” d’être sérieuse que les autres, mais.

Mais, j’ai de très nombreux exemples d’études de très mauvaise qualité pourtant publiées dans le Lancet. Et quand on s’intéresse un peu à la qualité du peer-reviewing, ou l’évaluation des études par d’autres chercheurs, on se rend compte du problème.

En fait, ce scandale n’est pas nouveau. Des chercheurs ont réussi à faire publier des études scientifiques fictives sur le cancer, et générées aléatoirement, dans des journaux avec comité de lecture.

Idem en sociologie avec une étude philosophique sur le pénis conceptuel qui serait une construction sociale.

Des dizaines et des dizaines d’articles sont ainsi rétractés une fois la supercherie démasquée. J’en parle notamment dans mon livre avec la publication de fausses études sur le chocolat, dans le seul but de piéger des journalistes… Et cela fonctionne.

Pour résumer, si la réputation joue beaucoup sur l’évaluation de la qualité des sources, elle ne doit pas être un critère en soi.

Même l’équipe de l’école de santé publique de Harvard peut publier des travaux critiquables et contestables. Leur réputation ne doit pas nous aveugler.

C’est un sérieux point à prendre en compte.

La présence de bibliographie ne veut rien dire

La validité d’une source ou d’une information semble dépendre de ses références bibliographiques à en croire la grille d’évaluation proposée aux étudiants (ou peut-être d’autres enseignants ou diététiciens).

Ma critique sur ce point porte sur la qualité et non la quantité ou la seule présence des références.

Mon article sur les arguments bidon du jeûne a été invalidé car ne contenant aucune référence scientifique, alors qu’il n’avait pas vocation à en avoir vu les questions soulevées.

Mais est-ce que la seule présence de références suffit à valider une source d’information ?

Sûrement pas. C’est même un piège qui détourne l’attention des étudiants et des lecteurs vers le plus important : la qualité et l’analyse critique des références scientifiques.

Prenons deux exemples.

Des exemples québécois qui plus est. Ce sera plus parlant pour les étudiants et l’enseignant en charge du module sur mon blog.

Le site Extenso se définit comme “le centre de référence sur la nutrition de l’Université de Montréal”.

Il propose des articles sur la santé et la nutrition, et selon les critères de notre grille d’évaluation, tous les articles semblent parfaits.

Un éditeur qui semble réputé rattaché à l’Université de Montréal, et des références scientifiques qui garnissent tous les articles. Un style neutre qui souhaite informer.

Tout y est. Ou presque.

Ostéoporose…

Par exemple, un article sur l’ostéoporose attire mon attention. Il propose de “prévenir l’ostéoporose en 3 étapes”, à tout âge, avec notamment de l’activité physique (première recommandation), puis de boire du lait, de manger des yaourts et du fromage à chaque repas (seconde recommandation) et enfin d’éviter les excès de cigarette, de caféine et d’alcool.

Deux références scientifiques à la fin de l’article. Voici de quoi affirmer sans le moindre doute, ou presque, la validité de cet article.

Pourtant, j’ai déjà épinglé dans le passé cet article en particulier à cause de la nature des conseils qui ne se basent pas sur de la bonne science.

Je parle notamment de la recommandation de boire du lait, de manger du fromage et des yaourts pour prévenir l’ostéoporose.

Malheureusement, ce conseil alimentaire qui pourrait être du bon sens, à la lumière des apports en calcium, n’est pas soutenu scientifiquement.

La vaste majorité des études menées sur ce sujet concluent à l’inexistence d’un lien protecteur entre la consommation de produits laitiers et le risque d’ostéoporose.

Même les publications financées par l’industrie laitière concluent en ce sens, tellement le poids des preuves est accablant.

Les gouvernements français et canadien ont dû faire marche arrière sur ce sujet. Ils ont admis le manque de preuve scientifique pour soutenir cette affirmation; largement créée et défendu par l’industrie laitière française et internationale.

Mais l’article du site d’information Extenso ne cite aucune de ces études. Il ne cite aucun consensus scientifique ni rapport d’expertise indépendant. Pourtant, il passe aisément la grille d’évaluation.

Pour sa décharge, il n’a pas été mis à jour depuis longtemps (novembre 2012). Peut-être que le présent billet sera le déclencheur d’une mise à jour plus que nécessaire.

Le diabète…

Autre exemple, tout aussi édifiant.

Le site québécois offre des connaissances sur la gestion d’un diabète de type de 2, une maladie qui touche de plus en plus de monde, surtout dans les pays développés et qui se défini grossièrement par une incapacité à l’organisme à réguler la glycémie et les apports en glucides.

La sécrétion et la sensibilité à l’insuline font défaut.

Dans cet article, les auteurs citent plusieurs sources scientifiques. Le discours semble mesuré, neutre et objectif. Bref, il passe allègrement la grille d’évaluation.

Donc, les diabétiques pourront se référer aux conseils de cet article qui se base sur les quantités de glucides des aliments et non leur qualité.

Pourtant, cet article méconnaît le principe fondamental dans la sélection des glucides avec la question des index et de la charge glycémique (IG et CG).

Des concepts primordiaux dans la sélection des glucides, avec l’IG et la CG, pour les diabétiques et plébiscités depuis 1997 par l’Organisation Mondiale de la Santé et la FAO2. Et soutenu par de nombreuses études scientifiques (mais qui sont bien entendu toutes discutables).

Mais qu’est-ce que cela veut dire ? Cela signifie que les auteurs de cet article ne font aucune différence entre les différents aliments tant qu’ils apportent la même quantité de glucides.

Pourtant, 20g de glucides provenant d’une tranche de pain grillé n’auront pas du tout le même impact que cette même tranche de pain complet au levain. Et encore moins qu’une pomme ou qu’un dessert.

En réalité, et probablement sans le savoir, cet article se fait l’écho des arguments développés par l’industrie et le lobby du sucre. Une position que je dénonce haut et fort dans mon dernier livre.

Ces notions d’équivalences, sans être mentionnées, sont également soutenues par la Fédération Française des Diabétiques (FFD), qui est malheureusement main dans la main avec les laboratoires pharmaceutiques et atteste de la réception de plus de 260 000 € de la part de la Fondation Coca-Cola.

Capture d’écran de l’ancien site de la FFD, avec la contribution financière de Coca-Cola. Des révélations présentées dans “Santé, mensonges et (toujours) propagande”, aux éditions Thierry Souccar.

Revenir aux sources et confronter les avis

La grille proposée par des enseignants québécois a de quoi surprendre par sa simplicité et son manque de réalité par rapport à la diversité des sources et à la qualité de l’information.

La grille semble donner une importance tout à fait étonnante aux publications gouvernementales, quand bien même lesdites publications échouent à remplir les conditions de la grille.

J’en prends pour exemple les articles de notre site Manger Bouger, du Gouvernement, qui ne mentionne aucune référence scientifique. La seule validité que l’on peut apporter à ces informations vient de leur origine gouvernementale. C’est loin d’être suffisant.

J’espère que les étudiants, et tous les lecteurs de cet article prendront bien en compte les analyses et critiques formulées.

Ici, on parle de développer son sens de l’analyse critique et son libre arbitre.

Nous ne devons pas simplement nous baser sur une analyse rigide des sources à notre disposition, à la manière d’une fiche de présence/absence. Si cela pouvait marcher sur un gros jeu de données, ça ne fonctionne pas à l’échelle de l’individu.

J’aurais aimé voir les résultats d’une telle évaluation si l’enseignant et les étudiants avaient été piégés par mon article sur ce même sujet. Je vous invite à lire cet article pour mieux comprendre comment on peut se faire avoir, quand bien même l’article possède des références, des chiffres exacts…

N’oubliez jamais de conserver un scepticisme sain, de poser des questions, et de ne surtout pas vous limiter à des grilles un peu trop formelles.

Même les fautes d’orthographe doivent être vues avec moins de rigueur militaire. Je dis cela en connaissance de cause, j’en fais beaucoup malgré des relectures et l’achat d’un logiciel censé les faire disparaître… Si la présence de faute d’orthographe était rédhibitoire, je n’aurais jamais eu ma thèse, quand bien même j’ai eu les plus hautes distinctions scientifiques.

Heureusement, c’est le fond qui prime.

Je suis disponible si l’enseignant souhaite échanger plus à ce sujet.


1. Mattson, M. P., Allison, D. B., Fontana, L., Harvie, M., Longo, V. D., Malaisse, W. J., … & Panda, S. (2014). Meal frequency and timing in health and disease. Proceedings of the National Academy of Sciences, 111(47), 16647-16653.

2. Joint, F. A. O., & World Health Organization. (1998). Carbohydrates in human nutrition: report of a joint FAO/WHO expert consultation, Rome, 14-18 April 1997. In Carbohydrates in human nutrition: report of a joint FAO/ WHO expert consultation, Rome, 14-18 April 1997

Pour ne plus rater d'article

Inscris-toi gratuitement à ma liste et rejoins les 10.000 abonnés ! Tu recevras tous mes articles, des infos en exclus avec un guide offert sur le sucre... Alors arrêtons de chipoter !

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *