Audit indépendant de l’intelligence artificielle
Le rapport porte sur l’audit indépendant des systèmes d’intelligence artificielle et cherche à déterminer à quelles conditions une conclusion sur une propriété juridiquement pertinente d’un système peut être étayée et reproduite. Son point de départ : affirmer qu’un « système a passé un audit » ne dit rien de ce qui a réellement été établi si l’objet, la version, les critères et les limites ne sont pas précisés. L’audit part donc de l’affirmation à vérifier pour aller vers la procédure : on définit d’abord l’objet, le critère, le destinataire du résultat et les éléments de preuve capables de confirmer ou d’infirmer la conclusion.
L’étude compare les fondements des audits dans l’Union européenne, aux États-Unis et au Royaume-Uni : les procédures d’évaluation de la conformité prévues par le règlement européen sur l’intelligence artificielle, les audits indépendants des très grandes plateformes au titre du régime européen des services numériques et les règles new-yorkaises sur l’audit des outils automatisés de décision en matière d’emploi. Elle examine également les normes et le choix des critères, l’indépendance et les conflits d’intérêts, la compétence de l’équipe, les conditions d’accès et la chaîne des fournisseurs.
Une grande partie du rapport est consacrée à la méthodologie de la preuve : origine et conservation des preuves, qualité des données, échantillonnage et conception des essais, incertitude statistique, biais, explicabilité et contrôle humain, sécurité de l’information, protection des données personnelles et reproductibilité. À partir de l’exemple d’un assistant juridique génératif, le rapport précise quelles erreurs sont substantielles : présenter l’allégation d’une partie comme un fait établi, appliquer une règle inapplicable ou citer une source inexistante. Il souligne que l’absence d’incident constaté, l’absence d’accès aux informations et l’absence confirmée d’une action sont des situations distinctes, que l’avis d’audit doit présenter séparément.
La conclusion principale est qu’un audit solide exige la cohérence entre la mesure, l’inférence statistique et la décision sur l’usage du système, et qu’une tendance moyenne positive ne compense pas une erreur critique non corrigée. Les auteurs voient le principal risque du marché dans l’écart entre un résultat d’audit étroit et une promesse large : un certificat d’organisation, un test isolé et une expertise juridique ont des objets différents et ne sont pas interchangeables.
Pour ARGA, le rapport propose un projet pilote limité — l’évaluation d’un assistant juridique qui synthétise des dossiers en citant ses sources — ainsi qu’un système qualité minimal reposant sur des registres des missions, des preuves, des conflits d’intérêts et des constats. Il précise qu’il s’agit d’une proposition : ARGA n’a pas encore mené de tels essais ni obtenu de statut officiel, et l’efficacité de la méthodologie reste à vérifier.
Règles de citation
- Mention obligatoire de la sourceLors de l'utilisation de matériaux d'ARGA Observatory, le nom complet doit être indiqué.
- Indication de la date et de la versionPour les rapports analytiques, l'année de publication est obligatoire.
- Lien vers l'originalLes supports électroniques doivent être accompagnés d'un lien actif vers le site officiel.
- Respect du contexteLes citations ne doivent pas être raccourcies ou modifiées de manière à déformer le sens original.
- Mention d'adaptationSi le texte est abrégé ou traduit, indiquer : « adapté du rapport ARGA Observatory ».
- Utilisation commerciale interdite sans autorisation écrite de l'organisation
- Exactitude des donnéesLes graphiques et tableaux doivent être reproduits sans modification.
Posez votre question aux experts ARGA
Quatre étapes courtes. Réponse sous un jour ouvré.