Le rapport D-25 étudie l’utilisation du risk scoring et des systèmes algorithmiques dans les activités des autorités publiques et des services chargés de l’application de la loi, principalement dans l’Union européenne et au Royaume-Uni. Il analyse les garanties nécessaires lorsqu’un algorithme influence l’intensité d’un contrôle, l’orientation d’une enquête, l’accès à une alternative aux poursuites ou le contenu d’une décision publique.

La thèse centrale est qu’un score algorithmique acquiert une importance juridique non pas au moment de son calcul, mais lorsqu’il modifie concrètement la situation d’une personne. L’analyse doit donc couvrir toute la chaîne : origine et qualité des données, traitement, calcul du risque, interprétation du résultat, décision humaine et possibilité de réexamen. Une précision technique élevée ne suffit pas, à elle seule, à démontrer la légalité de l’ensemble du processus. ARGA_D-25_Risk_Scoring_Algorith…

Une attention particulière est accordée à l’AI Act européen. Le rapport explique que l’interdiction de certaines formes de prédiction individuelle du risque criminel ne constitue pas une interdiction générale des outils algorithmiques dans le domaine répressif. Les modifications législatives de 2026 ont également reporté l’application de certaines obligations relatives aux systèmes à haut risque. Les règles déjà applicables en matière de protection des données et de garanties procédurales demeurent toutefois pertinentes.

Les affaires relatives au PNR, à SCHUFA, à Dun & Bradstreet, ainsi que les affaires Bridges et SyRI, permettent d’étudier différents problèmes : vérifiabilité des critères, poids réel d’un score dans la décision, droit à une explication compréhensible, risques discriminatoires et qualité du contrôle humain. La simple présence d’un agent dans la procédure ne constitue pas nécessairement un véritable contrôle s’il ne peut ni comprendre les fondements de l’évaluation, ni vérifier les informations utilisées, ni modifier réellement le résultat.

Le rapport retient finalement trois principes complémentaires : distinguer le fait, le soupçon, la prédiction et la décision ; garantir un contrôle humain substantiel ; et permettre de contester précisément l’élément ayant provoqué la conséquence défavorable. Un score, une explication générée et une signature humaine ne suffisent donc pas lorsque le lien entre les données, le raisonnement algorithmique et l’action de l’État ne peut pas être effectivement vérifié.