Comprendre pour mieux agir

L’intelligence artificielle prend progressivement place dans l’écosystème de santé : analyse d’images médicales, aide à la décision, recherche, traitement de données, organisation des soins ou encore surveillance de certains indicateurs.

Ces technologies peuvent apporter de nouvelles capacités aux professionnels et aux établissements de santé. Mais dans un domaine où une erreur peut avoir des conséquences directes pour le patient, la performance technique ne peut constituer le seul critère d’évaluation.

Sécurité des données, fiabilité des modèles, qualité des données, supervision humaine, cybersécurité, traçabilité et responsabilité doivent être intégrées dès la conception et tout au long de l’utilisation du système.

En santé, l’enjeu n’est pas seulement de savoir ce que l’intelligence artificielle peut faire, mais dans quelles conditions elle peut être utilisée de manière fiable, sécurisée et maîtrisée.

1. De quoi parle-t-on lorsque l’on évoque l’IA en santé ?

L’expression « intelligence artificielle en santé » recouvre des technologies et des usages très différents.

L’IA peut notamment être utilisée pour :

• analyser des images médicales ;
• rechercher des anomalies dans de grands volumes de données ;
• assister certaines décisions ;
• analyser des informations biologiques ;
• contribuer à la recherche pharmaceutique ;
• automatiser certaines tâches administratives ;
• améliorer l’organisation des ressources ;
• exploiter des données issues de dispositifs médicaux.

Tous ces systèmes ne présentent évidemment pas le même niveau de risque.

Un outil utilisé pour organiser des rendez-vous ne doit pas être évalué de la même manière qu’un système participant à une décision diagnostique ou thérapeutique.

2. L’aide à l’analyse d’images constitue un domaine important

L’imagerie médicale constitue l’un des domaines dans lesquels l’IA peut apporter des capacités particulièrement intéressantes.

Des algorithmes peuvent analyser :

• radiographies ;
• scanners ;
• IRM ;
• images dermatologiques ;
• images ophtalmologiques ;
• lames numérisées en anatomopathologie.

Ils peuvent notamment contribuer à repérer certaines caractéristiques ou anomalies et à attirer l’attention du professionnel sur des éléments particuliers.

L’intérêt potentiel réside dans la capacité des systèmes informatiques à traiter rapidement de grandes quantités de données.

Mais une performance obtenue lors du développement d’un modèle ne garantit pas automatiquement la même performance dans tous les établissements, sur tous les équipements et auprès de toutes les populations.

3. L’IA peut contribuer à l’aide à la décision médicale

Certains systèmes peuvent rapprocher différentes informations afin de fournir une estimation, une classification ou une recommandation.

Ils peuvent prendre en compte, selon leur conception :

• données cliniques ;
• résultats biologiques ;
• antécédents ;
• imagerie ;
• paramètres physiologiques ;
• autres informations disponibles dans le dossier du patient.

Ces outils peuvent aider le professionnel à traiter une quantité d’informations difficile à analyser simultanément.

Mais cette capacité introduit également un risque :

une recommandation présentée par une machine peut être perçue comme plus objective ou plus certaine qu’elle ne l’est réellement.

La supervision humaine reste donc essentielle.

4. Intelligence artificielle et robotique médicale ne sont pas synonymes

Les robots chirurgicaux constituent une avancée technologique importante, mais il convient de distinguer robotique et intelligence artificielle.

Un système de chirurgie robot-assistée peut permettre au chirurgien de contrôler des instruments avec une grande précision sans que le robot prenne lui-même la décision médicale.

Certains systèmes robotiques peuvent intégrer des fonctions algorithmiques avancées.

Cela ne signifie pas pour autant qu’un robot chirurgical réalise de manière autonome l’ensemble d’une intervention.

Robotisation, automatisation et intelligence artificielle correspondent à des concepts différents, même s’ils peuvent être combinés dans certains dispositifs.

Cette distinction est importante pour comprendre correctement le niveau d’autonomie d’un système.

5. La médecine personnalisée constitue un autre domaine d’application

La médecine moderne produit des volumes considérables de données :

• génétiques ;
• biologiques ;
• cliniques ;
• radiologiques ;
• thérapeutiques.

Les outils informatiques peuvent contribuer à rechercher des relations difficiles à identifier manuellement dans ces ensembles complexes.

Cette approche peut participer au développement d’une médecine davantage personnalisée, notamment dans certains domaines de l’oncologie ou de la recherche.

Mais plus les données deviennent nombreuses et sensibles, plus leur gouvernance devient importante.

6. L’IA peut également contribuer à la prévention et à l’anticipation

L’intelligence artificielle peut être utilisée pour analyser des tendances et identifier certains signaux.

Selon les applications, elle peut contribuer à :

• suivre des indicateurs ;
• rechercher des évolutions inhabituelles ;
• analyser certaines données épidémiologiques ;
• anticiper des besoins hospitaliers ;
• soutenir la recherche ;
• améliorer certaines capacités de surveillance sanitaire.

Ces outils ne suppriment cependant pas l’incertitude.

Un modèle produit une estimation à partir des informations et des règles selon lesquelles il a été construit.

Il ne « connaît » pas nécessairement la réalité comme le ferait un professionnel disposant du contexte clinique complet.

7. La qualité des données conditionne la qualité du système

Une intelligence artificielle dépend fortement des données utilisées pour son développement et son évaluation.

Plusieurs problèmes peuvent apparaître lorsque les données sont :

• incomplètes ;
• incorrectes ;
• mal annotées ;
• insuffisamment diversifiées ;
• peu représentatives de la population concernée ;
• issues d’environnements très différents de celui dans lequel le système sera utilisé.

Un modèle peut donc être performant dans certaines situations et beaucoup moins fiable dans d’autres.

La qualité d’un système d’IA dépend aussi de la qualité, de la représentativité et de la gouvernance de ses données.

8. Les biais peuvent produire des différences de performance

Un système entraîné sur une population insuffisamment représentative peut présenter des performances différentes lorsqu’il est utilisé auprès d’autres groupes de patients.

Cette question est particulièrement importante dans le domaine médical.

Les différences peuvent notamment concerner :

• l’âge ;
• le sexe ;
• certaines caractéristiques physiologiques ;
• des pathologies ;
• les équipements utilisés ;
• les conditions de collecte des données.

L’évaluation d’un système ne doit donc pas uniquement rechercher une performance moyenne.

Elle doit également examiner dans quelles situations et pour quelles populations le système fonctionne correctement ou moins correctement.

9. L’erreur algorithmique n’est pas le seul risque

Une IA peut produire une réponse incorrecte.

Mais le risque peut également provenir de la manière dont l’être humain utilise cette réponse.

Un professionnel peut par exemple accorder une confiance excessive au résultat présenté par le système.

C’est ce que l’on peut rapprocher d’un biais d’automatisation : la tendance à accepter plus facilement une proposition lorsqu’elle provient d’un système automatisé.

La sécurité doit donc porter simultanément sur :

le système

et

l’interaction entre le système et son utilisateur.

10. La supervision humaine doit être réelle

Mentionner la présence d’un « humain dans la boucle » ne suffit pas.

Pour qu’une supervision soit réellement efficace, le professionnel doit notamment pouvoir :

• comprendre le rôle de l’outil ;
• connaître ses principales limites ;
• interpréter correctement son résultat ;
• identifier certaines situations inhabituelles ;
• remettre en cause une recommandation ;
• décider de ne pas suivre la proposition du système lorsque cela est justifié.

La supervision humaine n’est utile que si l’humain conserve réellement la capacité de comprendre, contrôler et contester le système.

11. Les données de santé nécessitent une protection particulière

Les données médicales figurent parmi les données personnelles les plus sensibles.

Un dossier de santé peut contenir :

• identité ;
• antécédents ;
• diagnostics ;
• traitements ;
• examens ;
• informations génétiques ;
• informations administratives.

L’utilisation de ces données par des systèmes d’IA nécessite donc une gouvernance particulièrement rigoureuse.

Les organisations doivent notamment savoir :

• quelles données sont utilisées ;
• pourquoi elles sont utilisées ;
• qui peut y accéder ;
• où elles sont stockées ;
• combien de temps elles sont conservées ;
• avec quels systèmes elles sont partagées.

12. L’IA élargit la surface numérique du système de santé

Un système d’intelligence artificielle ne fonctionne pas isolément.

Il peut dépendre :

• de serveurs ;
• de bases de données ;
• d’API ;
• de logiciels ;
• de réseaux ;
• d’infrastructures cloud ;
• de postes utilisateurs ;
• de prestataires externes.

Chaque connexion supplémentaire peut créer une nouvelle dépendance ou une nouvelle surface d’exposition.

La cybersécurité doit donc être intégrée à l’ensemble du cycle de vie du système.

13. Une cyberattaque peut avoir des conséquences opérationnelles

Dans un établissement de santé, une cyberattaque ne concerne pas uniquement la confidentialité des informations.

Elle peut également affecter :

• la disponibilité des dossiers ;
• les communications ;
• les rendez-vous ;
• certains équipements ;
• l’organisation des services ;
• la continuité des soins.

L’enjeu devient alors simultanément :

numérique + médical + organisationnel.

Cette interdépendance explique pourquoi la cybersécurité constitue désormais une composante directe de la sécurité des soins.

14. Que se passe-t-il lorsque le système devient indisponible ?

Cette question doit être posée avant le déploiement.

Si une équipe dépend fortement d’un système d’IA et que celui-ci devient indisponible à la suite :

• d’une panne ;
• d’une cyberattaque ;
• d’un problème réseau ;
• d’une erreur de mise à jour ;
• d’une interruption du prestataire,

l’activité doit pouvoir continuer lorsque cela est nécessaire.

La préparation doit donc prévoir des modes de fonctionnement dégradés.

Un système critique ne doit pas seulement être performant lorsqu’il fonctionne. L’organisation doit également savoir comment agir lorsqu’il ne fonctionne plus.

15. La traçabilité est essentielle

Lorsqu’un système contribue à une décision médicale, il peut devenir nécessaire de comprendre a posteriori :

• quelle version du système était utilisée ;
• quelles données lui ont été fournies ;
• quel résultat il a produit ;
• comment ce résultat a été présenté ;
• quelle décision a finalement été prise.

Cette traçabilité participe :

• à la sécurité ;
• au contrôle qualité ;
• au retour d’expérience ;
• à l’analyse des incidents ;
• à la détermination des responsabilités.

16. Les mises à jour doivent elles aussi être maîtrisées

Un logiciel évolue.

Une modification du modèle, des données ou de l’infrastructure peut modifier ses performances.

Une organisation doit donc s’interroger sur :

• la gestion des versions ;
• la validation des mises à jour ;
• les changements de performance ;
• les nouveaux risques ;
• la possibilité de revenir à une version antérieure lorsque cela est nécessaire.

Un système validé à un instant donné ne doit pas être considéré comme définitivement maîtrisé.

17. La responsabilité ne disparaît pas derrière l’algorithme

L’utilisation d’un système automatisé peut impliquer différents acteurs :

• professionnel de santé ;
• établissement ;
• éditeur ;
• fabricant ;
• fournisseur de services numériques ;
• autres prestataires.

La répartition précise des responsabilités dépend du système, de son statut juridique, de son utilisation et des circonstances.

Il faut donc éviter deux simplifications :

« L’IA est responsable. »

ou

« Le médecin est nécessairement responsable de tout. »

La réalité juridique peut être beaucoup plus complexe.

18. Le cadre européen renforce les exigences

L’Union européenne a progressivement construit un cadre réglementaire applicable à l’intelligence artificielle.

Le règlement européen sur l’intelligence artificielle (AI Act) repose notamment sur une approche proportionnée au niveau de risque présenté par les systèmes.

Certaines applications de l’IA utilisées dans le domaine médical peuvent relever d’exigences renforcées, notamment lorsqu’elles sont intégrées à des dispositifs médicaux ou interviennent dans des usages considérés à haut risque selon les conditions prévues par les textes.

Mais l’AI Act ne constitue pas le seul cadre applicable.

Selon le système concerné, d’autres réglementations peuvent également intervenir, notamment celles relatives :

• aux dispositifs médicaux ;
• aux données personnelles ;
• à la cybersécurité ;
• aux données de santé.

19. Le RGPD reste une composante majeure

Lorsqu’un système traite des données personnelles, le Règlement général sur la protection des données (RGPD) doit être pris en compte.

Les données de santé bénéficient d’une protection particulière.

L’organisation doit notamment déterminer :

• la finalité du traitement ;
• les données réellement nécessaires ;
• les conditions juridiques du traitement ;
• les durées de conservation ;
• les droits des personnes ;
• les mesures de sécurité.

L’utilisation de l’IA ne supprime donc pas les principes fondamentaux de protection des données.

20. Le patient doit pouvoir comprendre le rôle de la technologie

La confiance dans l’innovation médicale dépend également de la transparence.

Selon les situations et les obligations applicables, le patient doit disposer d’informations adaptées sur la manière dont ses données sont traitées et sur les outils participant à sa prise en charge.

Cette information doit rester compréhensible.

Une explication extrêmement technique sur le fonctionnement mathématique d’un modèle ne constitue pas nécessairement une information utile pour le patient.

L’objectif est surtout de lui permettre de comprendre le rôle réel du système dans son parcours.

21. L’IA générative introduit de nouveaux usages et de nouveaux risques

L’arrivée des modèles génératifs ouvre de nouvelles possibilités dans le secteur de la santé.

Ils peuvent notamment contribuer à :

• résumer certains documents ;
• faciliter la rédaction ;
• structurer de l’information ;
• assister certaines recherches ;
• améliorer certaines interactions numériques.

Mais ces systèmes peuvent également produire des informations incorrectes, incomplètes ou présentées avec une apparence de certitude.

Dans un contexte médical, une réponse plausible mais fausse peut avoir des conséquences importantes.

La fluidité d’une réponse générée ne constitue jamais une garantie de sa véracité médicale.

22. Les professionnels doivent être formés aux limites de l’outil

La formation à l’IA ne doit pas uniquement expliquer comment utiliser une interface.

Elle doit permettre de comprendre :

• ce que fait le système ;
• ce qu’il ne fait pas ;
• quelles données il utilise ;
• quelles erreurs peuvent survenir ;
• comment vérifier ses résultats ;
• quand ne pas l’utiliser ;
• comment signaler une anomalie.

Cette culture de l’usage constitue une composante essentielle de la sécurité.

23. Avant de déployer une IA en santé : les questions essentielles

Une organisation peut commencer par se poser plusieurs questions.

Quel problème voulons-nous résoudre ?

L’IA doit répondre à un besoin identifié et non être déployée uniquement parce que la technologie existe.

Quel est le niveau de risque ?

Une erreur peut-elle avoir une conséquence médicale, organisationnelle ou humaine importante ?

Les performances ont-elles été évaluées dans notre contexte ?

Une validation externe ne garantit pas nécessairement une performance identique localement.

Quelles données sont utilisées ?

Leur origine, leur qualité et leur protection doivent être connues.

Qui contrôle le résultat ?

La responsabilité de la supervision doit être clairement définie.

Que faisons-nous si le système se trompe ?

Une procédure de signalement et de gestion des incidents doit exister.

Que faisons-nous s’il devient indisponible ?

Un fonctionnement dégradé doit être anticipé lorsque l’outil est important pour l’activité.

24. Une approche fondée sur le cycle de vie

La sécurité d’une IA ne peut pas être vérifiée uniquement au moment de son achat.

Elle doit être suivie pendant tout son cycle de vie :

besoin → sélection → évaluation → déploiement → utilisation → surveillance → mise à jour → retrait.

À chacune de ces étapes peuvent apparaître de nouveaux risques.

Cette approche permet de passer d’une logique de simple acquisition technologique à une véritable gouvernance de l’IA.

Points de vigilance

« Une IA médicale est forcément plus objective qu’un humain »

Non.

Elle dépend des données, des choix de conception et du contexte dans lequel elle est utilisée.

« Si le système est très performant, la supervision humaine devient inutile »

Non.

La performance statistique ne supprime pas la nécessité d’une utilisation adaptée et d’un contrôle proportionné au risque.

« Robot chirurgical signifie chirurgie autonome par IA »

Non.

Robotique, automatisation et intelligence artificielle doivent être distinguées.

« Les données anonymisées ne présentent plus aucun risque »

Cette affirmation est trop générale.

Le niveau de protection dépend notamment des techniques utilisées, des données disponibles et des possibilités de réidentification.

« Une IA validée restera fiable indéfiniment »

Non.

Les données, les pratiques, les logiciels et l’environnement peuvent évoluer. La surveillance doit donc se poursuivre après le déploiement.

« Une réponse bien formulée par une IA générative est nécessairement correcte »

Non.

Un système génératif peut produire une réponse convaincante mais erronée.

Ce qu’il faut retenir

L’intelligence artificielle peut apporter de nouvelles capacités au système de santé.

Sa performance technique ne suffit pas à garantir la sécurité de son utilisation.

Qualité des données, biais, cybersécurité, supervision humaine et traçabilité doivent être maîtrisés.

Robotique médicale et intelligence artificielle ne sont pas synonymes.

La protection des données de santé constitue une exigence centrale.

Les organisations doivent anticiper les erreurs, les pannes et les cyberattaques.

L’IA doit être évaluée et surveillée pendant tout son cycle de vie.

Perspectives

L’intelligence artificielle devrait continuer à transformer de nombreux domaines de la santé.

Les progrès pourront concerner :

• l’imagerie ;
• la recherche ;
• la médecine personnalisée ;
• la prévention ;
• l’organisation hospitalière ;
• l’aide à la décision ;
• les dispositifs médicaux ;
• l’exploitation des données de santé.

Mais l’enjeu des prochaines années ne sera pas uniquement d’obtenir des modèles toujours plus performants.

Il sera également de construire des systèmes fiables, sécurisés, compréhensibles, auditables et compatibles avec les droits fondamentaux.

L’innovation médicale et la maîtrise des risques ne doivent donc pas être considérées comme deux objectifs opposés.

Une technologie correctement évaluée, sécurisée et gouvernée peut au contraire favoriser une innovation plus durable et davantage digne de confiance.

Comprendre pour mieux agir

L’intelligence artificielle peut devenir un outil important au service de la médecine.

Mais dans un environnement aussi sensible que la santé, l’innovation ne peut être dissociée de la sécurité.

Avant le déploiement :

évaluer.

Pendant l’utilisation :

superviser.

Face aux résultats :

vérifier.

Pour les données :

protéger.

Dans le temps :

surveiller et réévaluer.

L’objectif n’est pas de remplacer la décision médicale par une décision algorithmique, mais de déterminer comment la technologie peut soutenir les professionnels tout en maintenant la sécurité du patient, la responsabilité humaine et la confiance.

C’est à cette condition que l’intelligence artificielle pourra contribuer durablement à l’évolution des systèmes de santé.

Sources et références institutionnelles

• Commission européenne – règlement européen sur l’intelligence artificielle (AI Act)
• CNIL – intelligence artificielle et protection des données personnelles
• Agence nationale de sécurité du médicament et des produits de santé (ANSM) – dispositifs médicaux
• Agence du Numérique en Santé (ANS) – sécurité numérique et données de santé
• Agence nationale de la sécurité des systèmes d’information (ANSSI) – cybersécurité
• Haute Autorité de santé (HAS) – numérique et dispositifs médicaux
• Organisation mondiale de la Santé (OMS) – intelligence artificielle et santé
• Règlement général sur la protection des données (RGPD)
• Règlement européen relatif aux dispositifs médicaux

Publication ADESS – Approche opérationnelle

ADESS – Association des Experts en Sécurité et Sûreté

Cette publication présente une analyse générale des usages de l’intelligence artificielle en santé et des enjeux associés à leur sécurité. Elle ne constitue ni un avis médical, ni une recommandation concernant l’utilisation d’un dispositif médical particulier. Les exigences applicables doivent être déterminées en fonction du système, de son usage, de son statut réglementaire et du contexte dans lequel il est déployé.

BADIATA Rimard Prosnel – ID : 13734383