Covid-19 : une méta-analyse et le retour des vétérans

ANALYSE : Il y a quelques jours, une étonnante méta-analyse de plusieurs étudiants a conclu à l’inefficacité de l’hydroxychloroquine et à la dangerosité de la bithérapie utilisée par l’IHU.

Après analyse, cette étude devra être rétractée. Voilà pourquoi.

Qu’est-ce qu’une méta analyse ?

Une méta-analyse est une méthode d’analyse d’une combinaison de résultats d'une série d'études indépendantes sur un même problème, selon un protocole reproductible. En regroupant plus de cas à partir de plusieurs études, elle est censée permettre de tirer de meilleures conclusions.

La qualité d’une méta-analyse réside donc principalement dans sa rigueur et dans le choix des études faisant l’objet de la méta-analyse. Si par exemple vous décidez de ne prendre que les études qui vont dans le sens que vous le souhaitez, certes vous allez pouvoir conclure aux résultats voulus, mais cela ne sera pas scientifiquement valable.

Les critères de sélection des études analysés sont donc très importants, car ce sont ces critères qui permettront de dire si l'analyse est valable ou non.

Quels sont les critères d’inclusion de cette méta-analyse

Les auteurs nous précisent ces critères :

• Des rapports contenant des données originales avec des estimations de risque disponibles (Hazard Ratios, Odds Ratios, Relative Risk et / ou avec des données sur le nombre de décès dans les groupes HCQ / CQ et témoins ;
• Toutes les dates de publication ; 
• Des études comparatives avec un groupe témoin sans HCQ ni CQ; 
• Des cas confirmés de COVID-19 par RT-PCR. 

Les études ne rapportant aucun décès, les revues et méta-analyses, les commentaires, les éditoriaux et les études animales in vitro et in vivo ont été exclus.

Figure 1 : Critères d’inclusion de Fiolet et al.

Un premier problème important : des patients non testés ont été inclus dans la méta-analyse

On peut s’étonner de voir dès le début de la lecture que des études aient été intégrées malgré l’entrave aux critères d’inclusion relative à la PCR positive des patients.

En effet, la RCT de l’étude RECOVERY (Horby et al.) contient les données de 10% de patients PCR négatifs et 1% de patients dont le résultat de la PCR est inconnu et la RCT de Skipper et al. avec seulement 73/212 patients testés par PCR soit 34% de patients confirmés par PCR.  De plus d'après les facteurs d'inclusion dans l'étude, il était possible d'utiliser les données sur les PCR positifs mais ceci n'a pas été fait. 89% de PCR positif est significativement différent de 100% sur un échantillon de 1561 patients dans Recovery.  Le biais d'inclusion est ici d'autant plus important qu'il est statistiquement significatif.

Or , le fait que les patients aient été confirmés par PCR est un critère d’inclusion de la méta-analyse. Il est très étonnant que ces 2 études aient été incluses alors qu’elles ne répondent pas aux critères d’inclusion.

Figure 2:  Caractérisation des patients de l’étude Recovery Horby et al et figure 3 caractéristiques des patients de l’étude Skipper et al.

Cette méta-analyse a inclus 18 publications avec une sélection de 6 études en prépublication

18 publications ont été retenues pour l’analyse statistique de l’hydroxychloroquine et de la bithérapie. Une seule ne traite que de la bithérapie (Rivera et al.)

On note l’utilisation de 6 études en prépublication, alors qu’une méta-analyse publiée dans une revue sérieuse ne devrait pas inclure de prépublication. En effet, après revue par les pairs, des résultats peuvent changer ou disparaître.

Figure 4 : Choix des études sélectionnées pour la méta-analyse;  et Figure 5 choix de Fiolet et al. d’inclure 1/3 de preprints parmi les études retenues.

Et qui plus est concernant l’étude en prépublication de Sbidian et al., on peut voir dans le tableau S1 de la méta-analyse, une grossière erreur puisque les chiffres donnent plus de morts que de patients dans le groupe contrôle. Ceci n’est pas sérieux.

Et dans l'étude Sbidian deux erreurs de report d'intervalle dans le bras HCQ et dans le bras HCQ plus AZM.  Serait-ce une simple faute d'ortographe ?

Entrons dans le détail de la méta-analyse avec ces études choisies

Les auteurs ont sélectionné 18 études dont celle du statisticien J. Magagnoli aidé par ses collaborateurs, malheureusement non spécialistes en infectiologie.

Fin avril, cette étude rétrospective sur 807 vétérans américains a étonné par ses résultats négatifs. Pourquoi avoir intégré cette étude si controversée dans cette méta-analyse, nous ne le savons pas, mais toujours est-il que cette étude est celle  qui donne les résultats les plus défavorables pour l’hydroxychloroquine dans cette méta-analyse.

Au printemps, cette étude a été très critiquée. A raison, puisque nous savons depuis avec les résultats de RECOVERY qu’un dosage inférieur à 9,6g sur 10 jours n’entraine pas d’effet négatif significatif. Il y a donc un biais de sélection.

Un communiqué de l’IHU sur ce sujet nous informe que l’étude comporte 3 biais majeurs :

• La lymphopénie est deux fois plus élevée dans les groupes traités, alors qu’il s’agit d’un important critère de sévérité de la maladie. D’ailleurs les auteurs écrivent que la sévérité des patients est différente suivant les groupes. Mais la différence semble trop élevée.
• Les résultats sont en fonction de la sévérité.  Il n’y a pas de différence entre les groupes si le traitement est donné avant intubation. Les résultats globaux sont plombés par les mauvais chiffres des patients intubés. Une analyse propre à chaque stade est préférable.
• Près d’un tiers du groupe contrôle a été traité avec de l’azithromycine.

Figure 7 : Importance du stade de la maladie Covid-19 dans l’utilisation des traitements

Sur cette base, la logique serait d’exclure cette étude de la méta-analyse. Ce problème est très important, car le rejet de cette étude entraîne l'inversion totale des conclusions de la méta-analyse :

les auteurs auraient dû ainsi conclure à l’existence d’un effet positif significatif de l’hydroxychloroquine (21% de réduction de mortalité), et à une absence de toxicité de la bithérapie.

Analyse de l’influence du retrait d’une étude d’après la figure S4 de Fiolet et al.

Si un biais de croyance peut empêcher certains de comprendre la partie scientifique précédente, une erreur statistique cruciale est à pointer.

En effet, même sans retirer cette étude, si cette erreur statistique est corrigée, les conclusions de la méta-analyse s’inversent également.

La méta-analyse évalue (seulement) la mortalité. Rappelons que le but d’une méta-analyse est d’obtenir une estimation robuste de la taille d’un effet, et pour ce faire, il faut que les effets de chaque étude retenue soient eux-mêmes estimés de la manière moins biaisée possible.  

Or l’étude de Magagnoli et al. comporte un sous-groupe de 425 patients, qui contient les premiers patients à avoir été hospitalisés (ceux inclus dans les 4 premières semaines de l’étude). Ce sous-groupe a justement été créé par les auteurs pour connaitre l’influence du traitement sur la mortalité, un critère qu’il est essentiel d’évaluer de manière non biaisée, sur le long terme. Sur l’analyse des 807 patients, certains étaient encore hospitalisés ; aux issues encore inconnues au moment de l’étude. Cette étude comporte donc deux analyses : la première sur les 807 inclus, la seconde sur les 425 premiers patients à avoir été hospitalisés et dont les auteurs connaissaient l’ultime issue (sortie d’hospitalisation ou décès).

Figure 9 : Un sous-groupe pour une meilleure analyse de la mortalité sur le long terme

L’erreur la plus importante de la méta-analyse est d’utiliser les données incomplètes des 807 patients car pour un quart du groupe contrôle, l’issue n’était pas connue au moment de l’analyse, alors qu’on a beaucoup moins d’outcomes manquants dans les groupes avec HCQ  (ce qui était attendu vu que les patients dans les groupes HCQ et HCQ+AZI étaient dans des états beaucoup plus sévères à l’inclusion).

Figure 10 : La proportion d’outcomes inconnus est significativement différente entre les bras, ce qui rend l’utilisation du aHR sur la cohorte globale (censurée à droite) statistiquement incorrecte pour estimer un RR mortalité.

Si le poids lié à la taille du groupe peut paraitre intéressant, il est faussé par une issue incertaine. 

Figure 11 : Bilan statistique de la méta-analyse sur l’hydroxychloroquine

Figure 12 : Bilan statistique de l’étude Magagnoli et al. sur les 807 patients

Le chiffre le plus fiable, peu importe le poids de l’échantillon est donc celui des 425 premiers patients. On s’aperçoit alors que les HR sont totalement différents. Pour l’hydroxychloroquine le HR passe de 1,83 (1,16 ; 2,89) à 0,99 (0,50 ; 1,92). Et pour la bithérapie, le HR passe de 1,31 (0,80 ; 2,14) à 0,89 (0,45 ; 1,77).

Les conclusions de la méta-analyse sont inversées. 

Figure 13 : Bilan statistique de l’étude Magagnoli et al. sur la sous-cohorte non biaisée de 425 patients

La méta-analyse se sert du Risk Ratio (RR) pour comparer les études. Mais dans l’étude Magagnoli et al. la mesure est le Hazard Ratio (HR): ces deux quantités sont différentes. Les auteurs de la meta-analyse transforment le HR global en RR sur la mortalité et se sont trompés en choisissant ce HR qui est complètement trompeur car il contient une grande partie de patients hospitalisés, ce qui biaise l’estimation du RR réel. 

Le HR sur la sous-cohorte traitée dans les quatre premières semaines (patients dont on connaît l'issue) estime beaucoup mieux le RR sur la mortalité. A minima les auteurs devraient reprendre les intervalles liés aux 425 patients. Cette correction modifie les conclusions de l’étude. 

Magagnoli et al. reconnaissent eux-mêmes cette limitation et ce « biais de taux de risque différentiel » du HR ajusté sur la cohorte globale incluant encore une bonne partie de patients hospitalisés (donc ne devant pas compter dans l'estimation d'un RR mortalité ).

Figure 14 : Extrait de Magagnoli et al. expliquant que l’estimation sous-cohorte est beaucoup moins biaisée.

Ces critiques sont cohérentes avec le biais de sélection. Il est logique que les décès dans les bras avec traitement surviennent plus tôt car les patients dans les bras avec HCQ sont beaucoup plus malades à l’inclusion donc meurent plus rapidement. Ceci explique le fait que le HR global avec patients encore hospitalisés au moment de l'étude soit biaisé en défaveur des bras traités et ne doit pas être celui retenu.

Comme quoi il faut être attentif à l’interprétation statistique et au cherry picking (picorage) pratiqués par ces auteurs militants, convaincus depuis des mois que le Pr Raoult ment et manipule les données. En fait, manipuler les données, c’est savoir qu’il y a des médicaments adaptés aux différents stades de la maladie tout en mélangeant sciemment des études, peu importe les stades, précoces ou tardifs, mais aussi les sévérités des patients (par exemple toujours pour l’étude Magagnoli et al., les données des patients traités avant intubation sont positives, alors qu’elles sont négatives pour les patients traités après intubation).

Notons également la problématique des différentes doses de médicaments utilisés dans les différents protocoles (RECOVERY, 9,6g d’hydroxychloroquine en 10 jours, dont 2,4g à H24 et ce pour des patients de 40kg ou plus) ou le non-respect du protocole de sécurisation de l’IHU.

On peut également s’étonner de l’utilisation dans la méta-analyse d’une étude qui n’évalue pas la mortalité (Geleris et al.) alors que justement cette méta-analyse n’étudie que ce point.

RR, HR et OR

Autre erreur statistique relevée : les auteurs confondent RR (Risk Ratio), HR (Hazard Ratio) et Odds Ratio (RR): La méta-analyse se sert du Risque Relatif (RR) pour comparer les études. Mais dans l’étude Magagnoli et al. la mesure est le Hazard Ratio (HR, proche du RR, mais avec une dimension temporelle en plus): ces deux choses sont différentes.

Figure 15 : Fiolet et al. décident d’égaliser les différents types de risque

Au lieu de faire les conversions appropriées : Figure 16 : source forum de statistiques stack exchange

Or l’égalité approximative des ratios : HR = RR = OR n’est mathématiquement valide que dans le cas où le taux d’incidence du groupe non traité est faible (typiquement < 2%). Avec des taux de mortalité de plus de 10% à plus de 20% dans Magagnoli et al., le HR est très différent du RR et il aurait fallu l’estimer à partir de la bonne formule.

Même remarque par exemple pour l’étude de Rivera et al. où ils ont confondu un OR avec un RR sans faire la conversion mathématique adéquate. En fait, il est même connu que l’OR surestime fortement le RR quand la prévalence est importante, donc c’est une grave erreur de ne pas avoir fait la conversion appropriée dans ce cas.

Une étude avec des données contradictoires incluse dans la méta-analyse

On peut s’étonner enfin qu’une étude qui a deux analyses statistiques identiques, mais qui rapporte des résultats différents soit incorporée, alors qu’il s’agit des mêmes données, des mêmes groupes et du même modèle. Cela concerne l'étude de  Cavalcanti et al..

Figure 17 Données contradictoires de Cavalcanti et al. Versus figure 18

Le HR pour la bithérapie est-il de 0,83 (0,25 ; 2,72) ou 0,64 (0,18 ; 2,21)? Le HR pour l’hydroxychloroquine est-il de 1,28 (0,43 ; 3,80) ou 1,47 (0,48 ; 4,53)? La différence est forte.

Devant cette incertitude, cette étude n’est pas utilisable sur cette mesure. La méta-analyse ne peut incorporer un résultat « au doigt mouillé ».

Cette méta-analyse doit être rétractée.

Le battage médiatique ne doit pas être un obstacle. La science d’abord, afin d'éviter que cette méta-analyse ne se transforme en un fiasco médiatique comme le LancetGate. Le chercheur italien Andrea Savarino n'a pas manqué de le remarquer.

Rappelons encore qu’une méta-analyse honnête se doit de prendre en compte les résultats positifs des récentes études Belge, Italienne et Espagnole, sur près de 20000 patients. Les auteurs de la méta-analyse négligent également volontairement les effets anti-inflammatoires et immuno-modérateurs de l’hydroxychloroquine, tout comme son action antivirale, potentiellement améliorée par le zinc ou la bromhexine.

L'auteur principal a été contacté par FranceSoir, mais n'était pas disponible pour évoquer ces sujets. De plus nous avons compris que certains des auteurs avaient été victimes de menaces, ce que nous condamnons, et avons même essayé de les contacter pour évoquer cela avec eux dans une interview.  

Merci de respecter le travail du Collectif Citoyen et de FranceSoir, si violemment attaqué par les auteurs de cette méta-analyse. La contradiction est de meilleure qualité sans violence. 

Liens

Meta-analyse Fiolet et al.

Etude Magagnoli et al. et Supplementary Material

Etude Cavalcanti et al et Supplementary Appendix

Etude Recovery

Etude Skipper et al.

Lien sur le communiqué de l’IHU