“AI is not perfect, doctors are not perfect […] it will make errors”
Dr. Mickael Abramoff
Je ne cesse de le répéter au fil de mes articles : que l’on soit sceptique ou non, force est de constater que l’IA se déploie inexorablement dans le domaine de la Santé. Il y a peu de temps encore, les IA en santé étaient uniquement d’excellents analyseurs d’images. Je ne vous détaille plus leur intérêt en imagerie, en dermatologie et en anatomie pathologique.1 Soyons simple : l’analyse pixel par pixel des IA met l'œil humain KO dès le premier round.
Les IA en santé se déploient sans cesse dans de nouveaux champs : le diagnostic clinique, le pronostic, la thérapeutique. Avouons qu’il y a dix ans à peine nous n’aurions jamais pu espérer autant de progrès. Désormais, une question s'impose : les IA finiront-elles par remplacer le médecin ? Face aux déserts médicaux, il est tentant de faire appel à la machine pour «automatiser» certaines fonctions médicales et paramédicales. En Chine, plus de la moitié de la population se dit prête à remplacer son médecin généraliste par une IA. En Europe, les jeunes générations, nées dans un monde numérique (les fameuses «Y» et «Z») auront sans doute moins de scrupules à délaisser le bon vieux «médecin de famille» pour la machine.
Nous en sommes loin. Les IA n’ont pas remplacé les médecins et ne les remplaceront sans doute jamais complètement. Néanmoins notre profession risque de muter, avec un nombre croissant de tâches confiées à des IA, quitte à ce qu'elles les effectuent en toute autonomie. Mais en cas d'erreur, qui sera responsable ?
2031. Les jeunes médecins se font rares, la crise sanitaire de la Covid-19 dix ans plus tôt ayant brisé les vocations. Cette pénurie a conduit la plupart des hôpitaux dit «de périphérie» à opter pour le déploiement d’IA pour établir les diagnostics aux Urgences. Une patiente admise pour détresse respiratoire souffre d’après l’IA d’une pneumopathie… qui se révèlera être une embolie pulmonaire. Quelques jours en réa, une belle frayeur, et pour les proches une colère légitime. Qui attaqueront-ils en justice ? L’hôpital ? L’entreprise qui a créé l’IA ? Les millions de patients qui ont fourni des data à cette IA ? L’État ?
Les lois françaises sur le sujet sont dictées par la législation européenne 2 :
«Lorsque, pour des actes à visée préventive, diagnostique ou thérapeutique, le professionnel de santé envisage de recourir à un traitement algorithmique, il en informe préalablement le patient et lui explique sous une forme intelligible la manière dont ce traitement serait mis en œuvre à son égard. Seules l’urgence et l’impossibilité d’informer peuvent y faire obstacle. Aucune décision médicale ne peut être prise sur le seul fondement d’un traitement algorithmique.»3
L’Europe se positionne clairement pour une utilisation très encadrée des IA en santé, perçue comme une aide aux médecins. Le professionnel de santé reste au cœur du système médical et juridique, et il en va de la responsabilité de l’Homme et non de la machine en cas d’erreur médicale. Cela peut paraître rassurant pour le patient – et ça l’est – mais sur le long terme je pense que ces directives seront une entrave au bon développement du système de santé européen. De mon point de vue de médecin, cette loi contourne le problème et ne répond pas aux principales questions. Exemple : pourquoi devrais-je répondre devant la justice d’actes que j’ai délégué à une IA alors que mon hôpital m’a imposé l’utilisation de cette IA dont par ailleurs je ne connais pas précisément le fonctionnement ni la pertinence ?
Autre lacune, l’absence de label de qualité de toutes ces IA. Nombre de start-up s’attaquent au marché des IA de santé, mais que valent-elles réellement ? Quelle est la qualité de leur data ? Avec ce genre de législation, c’est l’utilisateur qui est pénalisé et pas l’industriel. Enfin, la loi n’évoque pas pour l'instant les IA qui seront utilisées en l’absence de médecin. Pourtant cette technologie est déjà déployée aux États-Unis, nous y reviendrons, et pourrait rapidement s'implanter en France. Concernant la réflexion sur les aspects juridiques des IA en santé, l’Europe a clairement un train de retard.
Le Cnom semble plus en phase avec la réalité dans ses recommandations.4 ll souhaite que soit examiné le régime juridique des responsabilités : celle du médecin dans ses usages de l’aide à la décision mais également celle des concepteurs des algorithmes quant à la fiabilité des data utilisées et les modalités de leur traitement informatisé. À l’instar des lois de bioéthique, ne faudrait-il pas dès maintenant élaborer un cadre législatif techno-éthique ?
Aux USA, le recours aux systèmes de diagnostic médical est boosté à la fois par les autorités fédérales et par les assureurs. La Food and Drug Administration (FDA) a sauté le pas en 2018, en accordant une autorisation de mise sur le marché à l'IDx-DR.5
Ce dispositif, validé scientifiquement par un essai clinique6, utilise une IA pour détecter en toute autonomie la rétinopathie diabétique. En une minute à peine l'appareil capture des images de l'œil après dilatation rétinienne et les envoie pour analyse dans un centre doté d'un algorithme. En cas de détection d’une rétinopathie diabétique – et uniquement dans ce cas puisque l’IA est mono-tâche –, le patient est orienté vers un ophtalmologue. Sinon, il effectue un nouveau contrôle à un an. Pour la FDA, l'objectif était clairement de pallier le manque de spécialistes dans les déserts médicaux.
À ce jour, un cas unique d’erreur est à déplorer : la machine n’a pas dépisté un cancer de la rétine chez un patient. Cependant le système ni ses concepteurs n’étaient pas juridiquement «attaquables», sa fonction se limitant au dépistage des complications du diabète.
Si un système reposant sur l'IA est autonome, il existe plusieurs sources d’erreurs. 7 Les données utilisées pour le deep learning sont-elles fiables et en quantité suffisante ? Les données du patient sont-elles correctement recueillies puis intégrées ? L’algorithme est-il fiable ? L’interface utilisateur est-elle fonctionnelle (risque de mauvaise utilisation, d’un affichage des résultats défectueux, etc. ) ? Au final, les erreurs possibles ne sont que de deux types : un «faux positif» et un «faux négatif». Le premier cas est acceptable, dans la mesure où le patient consultera alors un ophtalmologue qui invalidera le résultat. Mais dans le second cas ? Rappelons qu'avec ce système il n’existe pas de double contrôle.
L'essai qui a permis à l'IDx-DR d‘être commercialisé portait sur 900 personnes atteintes de diabète. Le système a identifié correctement la présence de rétinopathie diabétique légère dans 87,4% des cas, et l'absence de rétinopathie diabétique légère dans 89,5% des cas. Nous sommes donc loin d’une fiabilité à 100%. N'oublions pas que l'ajout incessant de nouvelles données permettra d’améliorer ces résultats. Si ce taux d'erreur semble élevé, il faut bien sûr le rapprocher de celui d’un médecin «humain».
Pourquoi exigerait-on d’une machine des résultats supérieurs à ceux d’un médecin ? Pour ce dernier, une erreur de diagnostic n’est pas forcément une faute, pour peu qu’il ait élaboré son diagnostic «avec le plus grand soin, en y consacrant le temps nécessaire, en s’aidant dans toute la mesure du possible des méthodes scientifiques les mieux adaptées et, s’il y a lieu, de concours appropriés». 9 Obligation de moyens donc, et non de résultat.
Nous voyons bien que selon les cas la responsabilité peut incomber à toute une chaîne de personnes, depuis le concepteur jusqu’à l’utilisateur, en passant par le fabricant, le prestataire de services et le prescripteur. Lorsque le Dr Abramoff, concepteur de l'IDx-DR, déclare lors d’une interview au Washington Post 8 “AI is not perfect, doctors are not perfect (…) it will make errors”, il précise d’ailleurs “The AI is responsible, and therefore the company is responsible (…) We have malpractice insurance”.
Une chose est sûre, de longues procédures sont prévisibles, alimentées par l’illusion d’une technologie infaillible. A contrario, le non-recours par un médecin ou un établissement de santé à ces nouvelles technologies pourrait aussi être considéré comme une perte de chance, et justifier de la part de certains patients des actions en justice.
Face à des technologies qui demeurent obscures et sources de fantasmes, la clef semble être ici l’information donnée au patient... et au médecin. S’il le patient est correctement informé du fonctionnement du système et des possibilités d’erreurs, il lui reviendra d'accepter ou non une technologie recourant à l’IA. Quant aux médecins, ils auront besoin très rapidement d’accéder à une réelle formation sur ces technologies, que ce soit pour pouvoir les expliquer aux patients ou développer leur propre esprit critique. De belles réformes à mettre en place dans les facultés…
Sur un plan juridique, les débats autour de l’IA en santé seront rapidement légion. L’Union Européenne devrait donc urgemment cibler les bonnes problématiques. Qui tranchera les futurs litiges liés à l’utilisation des IA autonomes ? Qui sera en charge de ce type d’expertises nécessairement complexes et multifactorielles ?
Notre «exemple américain» montre les possibilités qu'ouvre l'utilisation réfléchie et appropriée d’une IA autonome participant à une mission de santé publique. Sous réserve d'une validation scientifique irréfutable, les lois européennes ne devraient-elles pas autoriser l’utilisation autonome des IA dans certaines situations très définies ?
(Article écrit en collaboration avec Benoît Blanquart)
Notes :
1- Zemouri, R., Devalland, C., Valmary-Degano, S., & Zerhouni, N. (2019). Intelligence artificielle : Quel avenir en anatomie pathologique ? Annales de Pathologie, 39(2), 119–129.
2- Résolution du Parlement européen du 12 février 2019 sur une politique industrielle européenne globale sur l’intelligence artificielle et la robotique
3- Élargir l'accès aux technologies disponibles sans s'affranchir de nos principes éthiques (Projet de loi sur la bioéthique, adopté par l'Assemblée nationale en nouvelle lecture le 9 juin 2021).
4- CNOM – Médecins et patients dans le monde des data, des algorithmes et de l'intelligence artificielle (2018)
5- IDx - DR
6- van der Heijden, A. A., Abramoff, M. D., Verbraak, F., van Hecke, M. V., Liem, A., & Nijpels, G. (2017).
Validation of automated screening for referable diabetic retinopathy with the IDx-DR device in the Hoorn Diabetes Care System. Acta Ophthalmologica, 96(1), 63–68.
7- Laurène Mazeau – «Dispositif de diagnostic médical sans supervision d’un médecin. Explicabilité et responsabilité»
Cahiers Droit, Sciences & Technologies (2019) – https://doi.org/10.4000/cdst.1111
8- "Augmenting Human Expertise in Medicine and Healthcare" (2019)
9- Article R 4127-33 du Code de la santé publique