Le Dr André Gillibert est médecin de santé publique et biostatisticien au CHU de Rouen. Il fait partie d’un groupe de médecins et chercheurs français qui depuis 2018 ont bataillé pour obtenir la rétractation de deux études vantant l’efficacité des tisanes d’artemisia annua et artemisia afra contre la bilharziose et le paludisme. Ils ont obtenu gain de cause en août 2020.
Retour sur un histoire étonnante qui met en lumière les lacunes du système des publications scientifiques. À l'heure où des études sont dévoilées sur les réseaux sociaux, le reviewing collaboratif doit prendre son essor.
«La probabilité que cela arrive par hasard est inférieure à quatre chances sur un milliard.»
Je suis médecin de santé publique au CHU de Rouen, et spécialiste de l’analyse statistique des données médicales. J’aide les collègues à rédiger des protocoles de recherche. Une interne du CHU m’a contacté en 2018 pour travailler sur sa thèse. Lucile Cornet-Vernet, la fondatrice de la Maison d’Artemisia, lui avait proposé de participer à la conception d’un essai clinique randomisé sur un traitement du paludisme chez le nourrisson par un traitement en trans-rectal à base d’artemisia.
C’était en octobre 2018, juste avant la publication dans la revue Phytomedicine d’une étude portant sur la tisane d’artemisia annua comme traitement de la bilharziose. Une version pré-publication de cette étude m’a été communiquée par Lucile Cornet-Vernet. J’ai constaté des résultats aberrants. Voyant, dans les échanges électroniques avec celle-ci, que l’infectiologue Xavier Argemi se posait aussi des questions sur sa validité, je l'ai contacté personnellement.
Nous avons commencé à creuser le sujet, avec Xavier et d’autres infectiologues et méthodologistes : Jordi Landier, Nicolas Meyer, Florian Naudet, etc. Nous sommes un petit groupe informel de médecins et méthodologistes, sans lien académique mais avec une cause commune. Bien sûr, j’ai tout de suite arrêté de m’impliquer sur le projet d’étude sur le nourrisson, après en avoir aussi écarté ma collègue interne.
Il y a eu en fait deux articles différents découlant de deux essais cliniques, menés en 2015 en République Démocratique du Congo avec l’aide du Dr Munyangi et le soutien de la Maison de l’Artemisia. Un sur la bilharziose1, et un autre sur le paludisme à plasmodium falciparum 2.
Toutefois Lucile Cornet-Vernet n’évoque qu’une seule grande étude clinique dans son livre, qui concernerait le paludisme et aurait été dissimulée au comité d’éthique sous l’étiquette d’une étude portant sur la bilharziose afin de ne pas éveiller les soupçons de «Big Pharma». Pourtant, les patients ayant la bilharziose et le paludisme étant distincts, ce sont forcément deux études indépendantes qui ont conduit à ces deux articles. Le livre de Lucile-Cornet Vernet ne présente d’ailleurs que les résultats concernant le paludisme.
Pour l’article publié sur la bilharziose, on n’observait pas, dans les données, la variance du vivant à laquelle tous les biostatisticiens sont habitués. C’est un concept élémentaire en biostatistique : on n’a pas tous la même taille, le même poids… Pourtant, parmi les 400 patients atteints de bilharziose et qui suivaient le traitement de référence, absolument tous ont guéri très tardivement, précisément entre J21 et J28.
C’est très étonnant. D’abord parce que ce traitement est efficace normalement en quelques jours. Ensuite parce que les patients étaient synchrones : sur 400, aucun n’a guéri avant J21, et tous, 400 sur 400, ont guéri entre J21 et J28. Idem dans le groupe traité par les tisanes d’artemisia: tous ont guéri de manière synchrone entre J4 et J7.
Autre aberration, après exclusion des catégories vides, 17 catégories d’effets indésirables sur 21 concernaient des multiples de cinq patients : 130 céphalées, 175 douleurs abdominales, etc. Selon la loi binomiale, la probabilité que cela arrive par hasard est inférieure à quatre chances sur un milliard. Ce phénomène était observé dans les deux groupes, même si dans le groupe «tisane» il n’y avait pratiquement aucun effet indésirable [Florian Naudet a présenté et commenté ces données sur twitter]. Cela aussi est étrange : habituellement, même lorsqu’on donne un placebo, on observe de nombreux effets indésirables sans gravité correspondant à des symptômes communs tels que des douleurs abdominales, fatigue ou pertes d’appétit.
Après demande de réanalyse, les auteurs m’ont fourni les bases de données originales des deux études ; elles confirmèrent mes soupçons. Les deux bases avaient du «copié-collé» à grande échelle. Par exemple, pour l’étude sur le paludisme, jusqu’à une centaine de patients pouvaient avoir exactement la même parasitémie (nombre de parasites par microlitres de sang) à J0. Encore plus étonnant, des dizaines de patients pouvaient avoir exactement la même parasitémie à J0 (par exemple 50.654) ainsi qu’à J1 (par exemple 8.930) et à J2 (par exemple 5.100) et ainsi de suite pour toutes les mesures jusqu’à J28. La probabilité que cela arrive par hasard est absolument négligeable. C’est juste impossible.
Il y a beaucoup de zones d’ombres dans cette histoire. Mais ce dont je suis sûr c’est que le discours des pro-artemisia envers nous s’est durci au fil du temps, jusqu’aux tentatives d'intimidation. Au début, les données m’ont été fournies de bonne grâce par la biochimiste américaine qui participait à l’étude, Pamela Weathers. Elle était donc probablement de bonne foi. Plus tard, elle a expliqué qu’une doctorante en mathématiques de son université, Ms Lu Chen, l'avait aidée pour l’analyse statistique.
Le discours des pro-artemisia a d’abord été : «Ce sont des arrondis, des imperfections, ça ne remet pas en doute la validité des études.» Comme justification, une succession de faits invérifiables ont été évoqués par Lucile Cornet-Vernet ou Pamela Weathers. Par exemple, Pamela Weathers a déclaré que Jérôme Munyangi a dû recompter les parasites sur les lames parce que son ordinateur portable avait été volé.
Selon Lucile Cornet-Vernet, en 2015, un chef de zone à la solde de l’entreprise pharmaceutique Shalima aurait déjà essayé d’entraver l’essai thérapeutique puis la restitution des résultats à la population locale. Ces pressions sur les chercheurs auraient nui à la qualité des données. Encore selon elle, le Dr Munyangui aurait subi deux tentatives d’assassinat. La presse3 rapporte aussi un emprisonnement pendant trois jours et des tortures. Pour les pro-artemisia, ce sont autant d’arguments pour étayer la thèse d’un complot.
Ce qui est clair c’est que l’enjeu est de taille pour la Maison de l’Artemisia, une organisation non gouvernementale qui prône la culture locale de l’artemisia comme arme contre le paludisme. Si ça ne marche pas, elle n’a plus de raison d’être. Son conflit d’intérêt est finalement plus fort que celui d’un labo. Mais l’association a pu compter sur le soutien du Pr Christian Perronne, co-signataire des deux études. De quoi assurer une forte médiatisation à cette belle histoire d’un traitement «miracle», d’autant que son titre académique fait office de caution scientifique. Enfin, le temps de réaction du rédacteur en chef de la revue Phytomedicine a prolongé la durée de la caution scientifique que ces deux publications ont donné à l’artemisia.
C’est une revue avec un comité éditorial scientifique, des articles qui sont reviewés par les pairs, et un Impact Factor relativement élevé. Elle est classée en catégorie B dans le système SIGAPS4. Bref, une revue a priori assez sérieuse.
En 2018, suite à la publication de la première étude nous avons fait une lettre à l’éditeur5 pour lister toutes les incohérences. Normalement, quand un rédacteur en chef reçoit ça, il vérifie les données et il rétracte l’étude. Là, il a publié en même temps notre lettre et une réponse des auteurs, complètement «à côté de la plaque».
Même scénario en 2019 pour l’étude sur le paludisme. Publication, lettre de notre part6 et réponse des auteurs, mais pas de rétractation. Mais après avoir reçu les données d’origine et constaté l’ampleur des incohérences, nous avons aussi découvert que le comité d’éthique n’avait donné son autorisation qu’en 2016 [alors que l’essai date de 2015]. Donc nous avons cette fois-ci demandé explicitement à l’éditeur de rétracter les deux études, joignant les données anonymes comme preuve des problèmes, sur la plateforme sécurisée d’Elsevier.
En réponse, le rédacteur en chef nous a demandé de lui fournir un dossier complet, fournissant un guide détaillé permettant la vérification de chacune de nos accusations par des évaluateurs externes. En même temps, j’ai reçu une mise en demeure de la Maison de l’Artemisia pour avoir «publié» leurs données. Cela nous rendit plus délicat la communication du dossier complet au rédacteur en chef en octobre 2019. Par ailleurs, celui-ci supprima nos deux premières lettres par une procédure dénommée «temporary withdrawal» qui est pire encore que la rétractation puisque le contenu même la lettre est supprimée plutôt que simplement affiché avec un filigrane «RETRACTED». Après cela, ce fut le silence radio.
Les études ont été rétractées en août 2020, probablement parce qu’un long article7 de Retraction Watch a mis un coup de pression sur Elsevier, l’éditeur de Phytomedicine. La rétractation, je n’y croyais plus. Je craignais même qu’elle provoque un syndrome de Galilée [le génie incompris et martyrisé]. Mais finalement cela me paraît important qu’un consensus scientifique dise clairement : «Ces études n’auraient jamais dû être publiées.»
L’artemisia est un traitement très connu en Afrique et probablement inefficace sous la forme de tisane contre le paludisme. Seule la variété artemisia annua contient de l'artémisine, et d’après l’organisation mondiale de la santé (OMS) elle doit être utilisée uniquement sous forme de thérapie combinée. Il est possible que des milliers, voire des centaines de milliers ou des millions d’Africains prennent ces tisanes pour se soigner au lieu de prendre des traitements efficaces. L’enjeu est majeur, même s’il est difficile à quantifier car la fréquence de l’usage et ses conséquences ne sont pas connues.
Un autre problème, décrit par l’OMS, c’est le risque d'accélérer la résistance au traitement. L’artemisia annua contient une faible concentration d'artémisinine. Elle risque de ne pas tuer le parasite à cette concentration, mais d’exercer une pression de sélection conduisant à la diffusion de Plasmodium résistants à l’artemisinine. Les traitements conventionnels engendrent déjà des résistances, avec l’apparition de souches de plasmodium falciparium de sensibilité diminuée à l’artemisinine : c’est avéré en Asie mais le phénomène est encore modeste en Afrique. Il est probable que l'artémisinine finira par ne plus être efficace, comme la chloroquine, alors évitons d’accélérer le processus.
Je m’étais documenté sur le statut de lanceur d’alerte, qui pouvait me protéger juridiquement, lorsque j’ai reçu la mise en demeure. Je pense que cela pourrait nous qualifier, même si nous nous sommes limités à la critique de l’aspect scientifique et à l’alerte des autorités compétentes. Par ailleurs, avec Florian Naudet - méta-rechercheur de Rennes - nous continuons à surveiller de près les études qui sont publiées, en dehors de l’artemisia.
Tous les deux nous avons rédigé une autre lettre à l’éditeur pour dénoncer les problèmes méthodologiques d'un article sur Vitamine D et Covid-19, publié entre autres par Joachim Son-Forget. Notre groupe reste aussi en lien, notamment pour alerter les autorités sur les dérives de la Maison d'Artemisia. Si on voit arriver des publications douteuses sur artemisia et Covid-19 par exemple, on se mobilisera.
[Les pro-artemisia se sont engouffrés dans la course au traitement contre la Covid-19. En mars, le président malgache a lui-même lancé une campagne de distribution de Covid-Organics, un "remède" à base d'artemisia annua. Le Dr Muyangui, s’estimant persécuté dans son pays, avait demandé l’asile en France en 2019. En mai 2020 il a pourtant rejoint la task force congolaise de lutte contre la Covid-19, à la demande du président Tshisekedi. En France, la Maison de l’Artemisia a lancé un opération de financement participatif pour soutenir la recherche sur un "protocole artemisia" contre la Covid-19.]
Avec Florian nous réfléchissons aux pistes pour améliorer la qualité des études publiées. Même dans les revues les plus prestigieuses j’estime que plusieurs pourcents des études devraient être rétractées et ne le sont pas. Avec le «LancetGate» ou les canulars montés pour discréditer les revues prédatrices [cf étude sur l’hydroxychloroquine et les trottinettes] la population commence à prendre conscience des enjeux autour des études frauduleuses.
Au-delà de ces affaires médiatiques, la communauté scientifique a besoin d’une résilience du système social de la recherche. La recherche, ce ne sont pas que des méthodes scientifiques, c'est une organisation sociale qui permet l'acquisition de savoirs. Le système des publications en fait partie, et nous devons réfléchir aux moyens de l’améliorer. Pour ça, il faut que les revues scientifiques et leurs rédacteurs sortent de leur tour d’ivoire.
Ils pourraient déjà faire appel à des reviewers spécialisés dans la fraude scientifique. Ce n'est pas la même compétence de détecter des erreurs méthodologiques, comme celles que l'on a souvent retrouvées dans les études sur l'hydroxychloroquine, et les fraudes : images photoshopées, données trop équilibrées… Le 17 septembre, Florian Naudet et moi-même avons écrit au Lancet pour leur suggérer d’intégrer un éditeur spécialisé dans la fraude. Ça leur éviterait un nouveau «LancetGate», comme celui qui se profile avec l’étude sur le vaccin russe Spoutnik V.
Le peer reviewing, cela reste un avis consultatif des pairs, et le rédacteur n’en tient pas forcément compte. Puisque faire une confiance aveugle au peer reviewing est impossible, il faudrait être capable de vérifier par soi-même la fiabilité d’un article, en se basant sur une lecture critique. Ça nécessite un background, mais surtout une certaine assurance. Il faut oser se considérer comme plus compétent que celui qui a relu. Pas si simple.
Je pense que les rédacteurs en chef des revues devraient effectuer une veille constante sur les sites d'open reviewing. Ca leur permettrait de voir si leurs reviewers n’ont pas laissé passer une bourde. Sur PubPeer par exemple, les commentaires sont souvent pertinents. Les auteurs ne sont pas ciblés, seulement les méthodologies ou les résultats suspects de fraude. Pour l’instant, les rédacteurs des revues scientifiques ne semblent pas s’en servir.
Ce que l’on a compris aussi avec Florian c’est qu’obtenir une rétractation est encore un combat long et ardu. Surtout lorsque le rédacteur en chef est ambivalent. Finalement, ça n’a peut-être bougé que grâce aux journalistes de Retraction Watch. De mon point de vue, une rétractation rapide est un gage de qualité de la revue. Nous l’avons vu avec le Lancet : le rédacteur en chef ne pouvait pas se permettre de s’enliser dans une controverse.
Pourtant la rétractation reste une pratique rare. Ce qui est dramatique, c’est que même des chercheurs aguerris ont encore du mal à dire qu’un article est complètement erroné. Ils vont invoquer des problèmes méthodologiques, mais comme la lecture critique d'un article scientifique est subjective, tant qu'il n'y aura pas ce bandeau rouge «Rétracté» beaucoup de lecteurs continueront d’y croire.
(Propos recueillis par Benoît Blanquart)
Notes :
1- RETRACTED: Effect of Artemisia annua and Artemisia afra tea infusions on schistosomiasis in a large clinical trial
2- RETRACTED: Artemisia annua and Artemisia afra tea infusions vs. artesunate-amodiaquine (ASAQ) in treating Plasmodium falciparum malaria in a large scale, double blind, randomized clinical trial
3- Paludisme : un chercheur congolais se réfugie en France, s’estimant inquiété pour ses travaux
Le Monde, 8 juillet 2019.
4 - Système d’interrogation de gestion, d’analyse des publications scientifiques
5- Comment on “Effect of Artemisia annua and Artemisia afra tea infusions on schistosomiasis in a large clinical trial”
6- Comment on “A. annua and A. afra infusions vs. Artesunate-amodiaquine (ASAQ) in treating Plasmodium falciparum malaria in a large scale, double blind, randomized clinical trial”
7- A bitter aftertaste: Legal threats, alleged poisoning muddy the waters for a trial of a tea to treat malaria