Parlons RIA, Règlement sur l’Intelligence Artificielle | Les obligations du fournisseur de systèmes d’IA à haut risque

Rim :

Bienvenue dans le quatrième épisode de Parlons RIA, notre série de podcasts consacrée au cadre réglementaire de l’IA, pour comprendre les enjeux du Règlement IA, ses impacts opérationnels et les clefs d’une gouvernance conforme.

Je suis Rim FERHAH, Directrice associée chez TNP Consultants et aujourd’hui je suis en présence de Kin MATCHEU MADJEU, consultante au sein de notre équipe TRUST pour discuter des obligations du fournisseur à l’égard des systèmes d’intelligence artificielle dit à haut risque.

Mais avant de commencer, Kin je te propose que nous revenions sur la définition des systèmes d’IA à haut risque par le règlement.

Kin :

Avec plaisir ! le RIA qualifie un SIA à haut risque dès lors qu’il peut avoir une grande incidence négative sur les moyens de subsistance des personnes, porter atteinte à leurs droits fondamentaux, tels que le droit au respect de la vie privée et familiale, le droit à l’éducation, le droit à la liberté de réunion et d’association.

Rim :

Est-ce que le RIA identifie expressément les systèmes d’IA répondant à cette définition ?

Kin :

Les systèmes d’IA répondant à cette définition sont :

• Les systèmes d’IA qui sont des produits ou sont embarqués dans un autre produit en tant que composants de sécurité et qui sont encadrés par une des réglementations européennes listées à l’annexe 1 du règlement. Par exemple les systèmes d’IA dans les véhicules de 2 à 4 roues, les systèmes d’IA dans l’aviation civile et dans les équipements marins.
• Les systèmes d’IA qui sont des produits ou sont embarqués dans un autre produit en tant que composants de sécurité et qui sont également encadrés par une des réglementations européennes listées à l’annexe 1 du règlement qui les soumet à une évaluation de conformité par un organisme prévu par cette règlementation. Par exemple lorsqu’il s’agit de la sécurité des jouets, des ascenseurs, des dispositifs médicaux.
• Enfin, il y a les systèmes d’IA appliqués aux domaines listés par l’annexe 3 du règlement:
  • Les systèmes d’IA utilisés dans les infrastructures critiques : pour contrôler le fonctionnement de réseaux électriques, d’eau, de transport ferroviaire ou aérien.
  • Les systèmes d’IA utilisés dans l’éducation pour déterminer l’accès à l’éducation ou évaluent les résultats d’examens (ex : notation automatisée des concours ou diplômes).
  • Dans l’emploi, la gestion des travailleurs: comme les outils de recrutement automatisé, de tri de CV, de systèmes évaluant les performances professionnelles.
  • Dans l’accès à des services essentiels : lorsque le SIA est utilisé pour décider de l’accès au crédit, à l’assurance, au logement social, à la sécurité sociale ou aux soins de santé.
  • Les systèmes d’IA utilisés dans le domaine de la justice et de l’application de la loi : les outils d’analyse prédictive utilisés par la police, les Systèmes d’IA aidant les juges à prendre des décisions
  • Dans la migration, l’asile et la gestion des frontières : les systèmes d’IA utilisée pour vérifier l’authenticité de documents, évaluer les risques, ou trier les demandes.
  • Et enfin les systèmes d’IA utilisés pour l’identification biométrique
    dans l’espace public à des fins de surveillance.

Rim :

Au regard des risques élevés qu’ils représentent, ces systèmes d’IA doivent faire l’objet de nombreuses obligations avant d’être mis sur le marché ou en service.

Kin :

Oui effectivement. Ces obligations couvrent l’ensemble du cycle de vie du système, depuis la phase de conception et de développement, jusqu’à sa mise sur le marché et sa surveillance après commercialisation. Les obligations vont principalement peser sur le fournisseur du système d’IA qui est la personne, physique ou morale, qui développe un système d’IA ou le fait développer en vue de sa mise sur le marché ou en service.

Rim :

Peux-tu nous parler de ces obligations ?

Kin :

Le fournisseur d’un système d’IA à haut risque est l’acteur qui assume la majorité des obligations prévues par le règlement européen sur l’intelligence artificielle. Il conçoit, développe et met sur le marché ou en service le système. À ce titre, il est tenu de réduire les risques d’erreurs, de défaillances ou d’incohérences, en appliquant des mesures techniques et organisationnelles appropriées garantissant l’exactitude, la robustesse et la cybersécurité du système.

Le système d’IA doit être conçu de manière à résister aux tentatives de manipulation par des tiers, qu’il s’agisse de son fonctionnement, de ses résultats ou de ses performances. Les indicateurs d’exactitude et leurs seuils de performance doivent figurer dans la notice d’utilisation sur laquelle nous reviendrons (voir article 13 et annexe IV).

Le fournisseur doit également mettre en place un système de gestion de la qualité documenté, comprenant des politiques, procédures et instructions écrites. Ce système doit notamment couvrir :

• La stratégie de conformité réglementaire, incluant les procédures d’évaluation de la conformité et de gestion des modifications apportées au système d’IA ;
• Les techniques et procédures destinées à la conception, au contrôle et à la vérification du système ;
• Les méthodes appliquées au développement du système, au contrôle qualité et à l’assurance qualité ;
• Les procédures de test, d’examen et de validation à réaliser avant, pendant et après le développement, ainsi que leur fréquence ;
• L’application des spécifications techniques et des normes harmonisées, en veillant notamment à l’accessibilité du système aux personnes en situation de handicap, dès la phase de conception.

Ce système doit également inclure des procédures de gestion des données, couvrant leur acquisition, collecte, étiquetage, analyse et stockage, conformément aux exigences de qualité et de représentativité.

Un système de gestion des risques doit être intégré (cf. article 9), ainsi qu’un système de surveillance post-commercialisation conforme à l’article 24, comprenant :

• Les procédures de signalement des incidents graves aux autorités compétentes ;
• La gestion des communications avec les organismes notifiés, les clients, les partenaires et autres parties concernées ;
• La conservation des documents et des enregistrements pertinents ;
• La gestion des ressources affectées à la qualité et à la conformité ;
• La définition claire des responsabilités de l’encadrement et du personnel impliqué.

Rim:

Tu évoquais le système de gestion des risques (article 9 de l’IA Act) à inclure dans le système de gestion de la qualité (art 17). Il est en effet parmi les éléments structurants du système de gestion de la qualité. Le RIA exige qu’il soit documenté, maintenu à jour et couvrir l’ensemble du cycle de vie du système d’IA à haut risque.

Un système de gestion des risques efficace permet d’identifier, d’analyser et de traiter les risques connus ou prévisibles, y compris ceux susceptibles de nuire à la santé, à la sécurité ou aux droits fondamentaux.

Dans le prolongement du système de gestion des risques, le règlement impose également l’intégration d’une fonctionnalité de journalisation, activée pendant toute la durée de vie du système. Celle-ci permet notamment de détecter des événements à risque, d’assurer la traçabilité du fonctionnement du système et d’identifier d’éventuelles modifications substantielles.

Kin :

Au-delà de la traçabilité technique assurée par la journalisation, la prévention des risques en amont passe par une gouvernance rigoureuse des données, notamment lorsque le système repose sur un modèle d’IA à usage général.

Lorsqu’un système d’IA à haut risque repose sur un modèle d’IA à usage général, le fournisseur est tenu, dès la phase de conception et d’entraînement, de mettre en œuvre une gouvernance des données rigoureuse afin de limiter les risques d’inexactitude, de biais ou de discrimination dans les sorties ou décisions du système.

Conformément à l’article 10 du règlement, les jeux de données utilisés pour l’entraînement, la validation et le test d’un système d’IA à haut risque doivent répondre à des exigences strictes de qualité. En premier lieu, ces jeux de données doivent faire l’objet de pratiques appropriées de gouvernance et de gestion des données, en lien avec la destination du système. Cela inclut par exemple :

• des choix de conception pertinents,
• des méthodes de collecte adaptées,
• une traçabilité de l’origine des données,
• et, lorsqu’il s’agit de données à caractère personnel, le respect de la finalité initiale de leur collecte, conformément au RGPD.

Ensuite, les données doivent être pertinentes, suffisamment représentatives, complètes et, dans toute la mesure du possible, exemptes d’erreurs, au regard de l’usage prévu du système.

De plus, ces jeux de données doivent, lorsque cela est pertinent, tenir compte du cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé.

Enfin, de manière exceptionnelle et encadrée, les fournisseurs peuvent traiter des catégories particulières de données à caractère personnel, uniquement si cela est strictement nécessaire à la détection et à la correction de biais présents dans le système.

Rim :

En amont de toute gouvernance des données, le règlement exige que le fournisseur définisse avec précision la destination de son système d’IA. C’est lui qui détermine :

• le type de résultat  ou sortie attendu ;
• des indicateurs de la performance acceptable de la solution, qu’il s’agisse d’indicateurs quantitatifs (par exemple, la CNIL mentionne l’erreur quadratique moyenne, le temps de calcul) ou qualitatifs (provenant de retours humains par exemple) ;
• le contexte d’utilisation du système permettant d’identifier les informations prioritaires pour son usage opérationnel ;
• les contextes d’utilisation exclus et les informations non pertinentes pour le ou les cas d’usage principaux envisagés du système.

Kin :

Une fois ces choix structurants posés, ils doivent être formalisés et communiqués au déployeur par le biais de la notice d’information prévue à l’article 13 du règlement. Cette notice doit contenir une information compréhensible, concise sur :

• les caractéristiques du système,
• ses capacités et limites de performance, son niveau d’exactitude,
• les mesures de contrôle humain qui facilitent l’interprétation des sorties par le déployeur, et
• enfin les circonstances d’utilisation susceptibles d’entrainer un risque pour la santé et la sécurité ou pour les droits fondamentaux.

Rim :

Au-delà de l’information destinée au déployeur, le fournisseur est également tenu de respecter certaines obligations de transparence administrative, en raison des risques que ces systèmes peuvent faire peser sur les droits fondamentaux.

Kin :

Effectivement, avant la commercialisation ou la mise en service du système d’IA à haut risque, le fournisseur enregistre le système dans la base de données de l’Union européenne.

Le fournisseur doit également apposer le marquage « CE » sur le système et mentionner son nom sur l’emballage. Le cas échéant, il est suivi du numéro d’identification de l’organisme notifié responsable des procédures d’évaluation de la conformité étant précisé que ce numéro est également indiqué dans tous les documents publicitaires mentionnant que le SIA à risque haut est conforme aux exigences.

Rim :

Ce que nous venons de présenter s’applique aussi aux fournisseurs établis dans un pays hors de l’Union européenne ?

Kin :

Oui en tout point, avec l’obligation supplémentaire de désigner un mandataire établi dans l’UE qui pourra être l’interlocuteur des autorités compétentes. Le mandataire peut procéder à l’enregistrement du système d’IA si cela rentre dans son mandat.

Rim :

Je suis fournisseur, j’ai respecté les exigences que tu viens de présenter dans la conception et le développement de mon  système d’IA à haut risque. Est-ce que je peux le mettre en vente ?

Kin :

Pas sans avoir évalué la conformité du système ! Avant sa mise sur le marché ou mise en service, le fournisseur doit mener une évaluation de la conformité du système de gestion de la qualité et de la documentation technique, de la cohérence entre la documentation et le processus de conception, de développement et du système de surveillance après commercialisation.

Cette évaluation peut être réalisée en interne lorsque le système d’IA s’applique dans un domaine visé par le RIA à l’exclusion de la biométrie.

Dans le cas contraire, l’évaluation est menée par un organisme externe, appelé « organisme notifié » qui délivrera un certificat de conformité. L’organisme intervient pour évaluer les systèmes d’IA à haut risque qui :

• Ne sont pas soumis au respect d’une norme harmonisée car elle n’existe pas et des spécifications communes font défaut ;
• N’appliquent pas ou appliquent partiellement une norme harmonisée
• N’applique pas des spécifications communes existantes
• Appliquent des normes harmonisées assorties d’une restriction

Le règlement prévoit une exemption à l’évaluation de conformité partielle ou complète du SIA à risque haut dans des conditions spécifiques :

• Les SIA dont le jeu de données tient compte des caractéristiques ou éléments propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système est destiné à être utilisé
• Les systèmes qui ont été certifiés ou pour lesquels une déclaration de conformité a été délivrée dans le cadre d’un schéma de cybersécurité conformément au règlement européen relatif à l’Agence de l’Union européenne pour la cybersécurité européenne et à la certification de cybersécurité des technologies de l’information et des communications. La dérogation peut aussi être accordée par l’autorité de surveillance sur demande.

Rim :

Passons aux obligations du fournisseur après la commercialisation ou la mise en service de son système d’IA.

Kin :

A cette étape de vie du système, s’il pose un problème de conformité, le fournisseur doit immédiatement prendre des mesures correctives appropriées comme le mettre en conformité, le retirer, le désactiver.

Il doit communiquer les actions qu’il aura entreprises aux autres opérateurs, c’est-à-dire les déployeurs, les importateurs, les distributeurs et les mandataires si le fournisseur est hors de l’Union européenne.

Si le risque concerne la santé, la sécurité ou les droits fondamentaux, le fournisseur investigue le risque avec le déployeur et alerte les autorités de surveillance du marché compétentes ainsi que l’organisme notifié qui a éventuellement délivré le certificat de conformité.

Rim :

Le RIA va plus loin car il exige du fournisseur qu’il mette en place un plan de surveillance de son système d’IA après sa mise sur le marché ou en service.  Ce plan doit permettre au fournisseur de collecter et d’analyser les données relatives au fonctionnement réel du système tout au long de son cycle de vie. Il permet ainsi au fournisseur d’identifier les risques nouveaux ou imprévus, ou toute situation de non-conformité.

Kin :

Dans le prolongement de cette obligation de surveillance, le fournisseur doit signaler tout incident grave causé par les systèmes d’IA à haut risque aux autorités de surveillance du pays du lieu de l’incident.

Le RIA définit l’incident grave comme incident ou dysfonctionnement d’un système d’IA entraînant directement ou indirectement:

• le décès ou l’atteinte grave à la santé d’une personne;
• une perturbation grave et irréversible de la gestion ou du fonctionnement d’infrastructures critiques
• la violation des obligations du droit de l’Union visant à protéger les droits fondamentaux;
• un dommage grave à des biens ou à l’environnement

Le fournisseur a jusqu’à 15 jours pour faire son signalement après en avoir eu connaissance (article 73 paragraphe 2). Il a jusqu’à 2 jours en cas d’infraction de grande ampleur ou d’incident grave perturbant des infrastructures critiques (article 73 paragraphe 3). Il a jusqu’à 10 jours en cas de décès d’une personne (article 73 paragraphe 4).

Rim :

Afin de démontrer la conformité de son système d’IA à haut risque, notamment en cas d’incident ou de contrôle, le fournisseur doit être en mesure de fournir aux autorités compétentes l’ensemble de la documentation technique prévue par le règlement. Cette documentation doit permettre, le cas échéant, d’évaluer les causes potentielles d’un dysfonctionnement ou de vérifier la conformité effective du système aux exigences applicables.

Kin :

Oui, à ce titre, le RIA oblige d’une part le fournisseur à conserver cette documentation pendant 10 ans Le RIA liste les documentations concernées et nous pouvons citer la documentation technique, la documentation relative au management de la qualité du système, à la déclaration européenne de conformité.

D’autre part, le RIA impose au fournisseur à coopérer avec les autorités compétentes et donc à lui fournir toute information et document démontrant la conformité du système d’IA à haut risque, dont l’accès aux journaux générés automatiquement par le système d’IA à haut risque.

Rim :

Nous arrivons à la fin de cet épisode. Nous espérons qu’il vous a permis de mieux comprendre les obligations du fournisseur d’un système d’IA à haut risque.

Merci pour votre écoute ! Pour aller plus loin ou si vous avez des questions, n’hésitez pas à consulter notre site internet ou à nous contacter directement.

Nous vous donnons rendez-vous très bientôt pour un prochain podcast sur l’analyse d’impact sur les droits fondamentaux à réaliser par certains déployeurs de  systèmes d’IA à haut risque.