Les problèmes avec les méta-analyses

Les méta-analyses sont le symbole de l’argument ultime en science. Si ça peut sembler vrai, elles sont loin d’être parfaites, elles peuvent être biaisées, sujettes aux conflits d’intérêts et doivent être interprétées avec précaution.

Le Saint Graal en science

Les méta-analyses sont des analyses globales de toutes les évidences ou études scientifiques publiées sur un sujet donné, pour faire ressortir un effet global avec une puissance statistique plus importante et une capacité d’aide à la décision plus importante.

C’est bien pour ça qu’on fait des méta-analyses, pour trancher sur l’effet négatif, positif ou nul d’une pratique, peu importe la discipline.

Les méta-analyses permettent de prendre en compte les études positives, les négatives ou encore celles qui ne trouvent aucun effet.

C’est devenu aujourd’hui la méthode d’analyse des données la plus sérieuse pour statuer sur l’efficacité d’une pratique.

En général, et moi le premier, on repose énormément sur ces méta-analyses qui permettent à la fois de faire un état de l’art de la situation (une revue systématique) et une analyse globale (la méta-analyse à proprement parler).

Elle représente donc un formidable outil qui permet d’asseoir la pertinence d’une pratique clinique, d’en créer une nouvelle ou d’essayer d’en arrêter une inutile.

On se rend de l’importance d’en réaliser pour des laboratoires pharmaceutiques qui voudrait démontrer sans l’ombre d’un doute l’importance d’un médicament par exemple.

Sauf que les méta-analyses peuvent nous jouer des tours. Et parfois, elles peuvent desservir la première cause de leur réalisation : aider les professionnels de santé pour mieux traiter les patients. Car une méta-analyse, c’est une tambouille où tous les ingrédients se mélangent selon une recette très particulière.

Mais qui nous garantit que les bons ingrédients ont été mis dans la marmite ? Qui nous garantit que la recette suivie est la meilleure pour ce plat-là ?

Voici un article pour mieux comprendre les subtilités des méta-analyses, simplement, sans modèle mathématique ou fonctions algébriques incompréhensibles.

Cet article donne les bases pour critiquer constructivement une méta-analyse et ne pas les ériger en preuves absolues sans scepticisme.

Les problèmes avec les méta-analyses

Le choix des études

Une méta-analyse, c’est plusieurs études. Mais comment les choisir ? Déjà, c’est le premier point sensible de ce genre d’analyse globale qui est en réalité fortement dépendante de son jeu de donnée de base.

Pour faire une méta-analyse, les auteurs établissent des critères d’exclusions et d’inclusions qui leur sont propres pour choisir ou inclure une étude. Il en ressort un pool d’études qu’on va ensuite torturer statistiquement.

Mais si votre sélection vous permet d’ignorer certaines études (défavorables à votre opinion) et d’en choisir d’autres (favorables à votre opinion), vous n’allez pas refléter la réalité.

C’est un problème majeur des méta-analyses en partie encadrer par une analyse minutieuse de la qualité de toutes les études qui ont été choisies. Si vous n’avez que des études pourries, pour faire simple, la puissance de votre méta-analyse en sera d’autant plus faible et ses conclusions moins crédibles.

Au contraire, une méta-analyse a des conclusions puissantes si elle se base sur les meilleures études, les plus indépendantes, qui reflètent au mieux la réalité.

Donc bien souvent, les intérêts cachés derrière une méta-analyse (ce sera un des points prochains) entraînent une sélection biaisée des études scientifiques qui iront valider votre hypothèse, ou celle de votre sponsor.

On retrouve bien entendu cette stratégie dans la guerre du sucre. Les fabricants de soda riche en sucres payent régulièrement des chercheurs pour faire des méta-analyses sur la consommation de soda et le risque de diabète ou d’obésité. Ces méta-analyses ne trouvent pas en général d’effet négatif…

Alors que toutes les méta-analyses indépendantes trouvent une association avec le diabète et l’obésité.

On retrouve cette guerre des méta-analyses pour les médicaments blockbuster des ventes, comme les statines. L’exemple de la célèbre méta-analyse favorable aux statines, mais publiée par un groupe financée par l’industrie est éloquent.

Donc, avant de faire intuitivement confiance à une méta-analyse, il faut bien prendre en compte la nature des études choisies, comment ont-elles été choisies et pourquoi certaines bonnes (ou mauvaises études) auraient été écartées.

  • Exemple des mammographies de dépistage

Cet exemple est désormais connu, mais les plus récentes méta-analyses de la collaboration Cochrane ne trouvent aucun bénéfice sur la mortalité grâce à la mammographie, si on se restreint aux meilleures études.

En revanche, si on intègre toutes les études sur ce sujet, même celles sujettes à de sérieux problèmes, un bénéfice est trouvé.

  • Exemple des oeufs et des maladies cardiovasculaires

Un exemple récent, mais dans mon dernier article sur l’impact d’une consommation régulière d’oeuf sur notre risque de diabète, une méta-analyse trouvait un risque de 13% en analysant toutes les études.

Un risque qui disparaît quand les auteurs se bornent aux meilleures études.

Forcément, cela nous conduit à également faire attention aux intérêts derrière les méta-analyses. C’est le point suivant.

Les intérêts derrière les méta-analyses

Vous l’avez compris, une méta-analyse va peser lourd dans le poids d’une prise de décision pour ou contre un médicament. Il est donc important, surtout pour les laboratoires, que les méta-analyses apportent un résultat positif.

L’indépendance des auteurs et les sources de financement doivent donc faire partie de la lecture critique d’une méta-analyse.

Il ne faut pas non plus se jeter dedans sans réfléchir. Un conflit d’intérêts ne disqualifie pas une méta-analyse, mais invite à la précaution. Comme celles qui sont indépendantes d’ailleurs.

Ces deux points nous montrent clairement que des intérêts orientés peuvent facilement faire pencher arbitrairement, et frauduleusement, la balance d’un résultat d’un côté plutôt qu’un autre.

À ce titre, on préféra les méta-analyses publiées par des groupes sérieux et plus ou moins indépendants (du moins qui s’en protègent beaucoup), comme la collaboration Cochrane, Mayo Clinique, ou encore l’école de santé publique de Harvard.

Les différences entre les études (hétérogénéité)

Toutes les études analysées ensemble ne sont pas strictement identiques. Les protocoles peuvent changer légèrement, les variables mesurées, la durée de l’étude et bien d’autres encore.

Du coup, il est important de regarder les résultats d’une méta-analyse à la lumière de son hétérogénéité (i²) entre les études. Plus cette hétérogénéité sera élevée, plus les différences entre les études seront importantes, et moins les résultats seront crédibles.

On considère qu’une hétérogénéité est faible, modéré ou forte à partie de 25%, 50% et 75%.

Les différences entre les études peuvent également être appréhendées par des analyses supplémentaires dites de sensibilité. Elles servent à faire varier des paramètres, à prendre en compte des erreurs, et vérifier si nos résultats passent le cap.

Donc, concernant nos méta-analyses, il est important de regarder l’importance de l’hétérogénéité (i²) et de vérifier si les auteurs ont réalisé une analyse de sensibilité.

L’analyse des biais

Aujourd’hui, une bonne méta-analyse contient forcément une analyse critique des études choisies. A l’exemple du tableau suivant, les études sont passées au crible pour savoir où sont les problèmes et les forces.

Les (+) vert indiquent un faible risque de biais, inversement pour les (+) rouge. Les (?) jaune indiquent un risque de biais inconnu.

Ce genre d’analyse est indispensable pour mesurer la puissance du jeu de données, et pour savoir si les résultats seront crédibles ou sujets à caution.

À retenir

Les méta-analyses sont importantes pour synthétiser un grand nombre d’études scientifiques, pour valider ou invalider une pratique clinique et faire évoluer (notamment) les soins médicaux.

Elles restent néanmoins comme toutes les autres études sujettes à des biais et des particularités à prendre en compte dans l’interprétation des résultats.

  • N’oubliez pas de vérifier les liens d’intérêts des auteurs et du financeur des méta-analyses
  • N’oubliez pas de vérifier le niveau d’hétérogénéité des études et le résultat des analyses de sensibilité
  • N’oubliez pas de vérifier la sélection des études et la qualité de ces dernières (analyse des biais)

Références

Riley, R. D., Higgins, J. P., & Deeks, J. J. (2011). Interpretation of random effects meta-analyses. Bmj, 342, d549.

Higgins, J. P., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ: British Medical Journal, 327(7414), 557.