Evaluación de riesgos y sistemas algorítmicos en la aplicación de la ley: explicabilidad, control humano y derecho a impugnar
El informe D-25 analiza el uso del risk scoring y de los sistemas algorítmicos en la actividad policial y en la toma de decisiones públicas, principalmente en la Unión Europea y el Reino Unido. Examina qué garantías son necesarias cuando un algoritmo influye en la intensidad de una investigación, la selección de una persona para controles adicionales, el acceso a alternativas al proceso penal o el contenido de una decisión pública.
La idea central es que una puntuación algorítmica adquiere relevancia jurídica no simplemente cuando se calcula, sino cuando modifica la situación de una persona. Por ello, debe examinarse toda la cadena: procedencia y calidad de los datos, procesamiento, cálculo del riesgo, interpretación del resultado, decisión del funcionario responsable y posibilidad de revisión. Una elevada precisión técnica del modelo no demuestra por sí sola la legalidad del procedimiento. ARGA_D-25_Risk_Scoring_Algorith…
El informe dedica especial atención al AI Act de la UE. Explica que la prohibición de determinadas formas de predicción individual del riesgo de cometer delitos no supone una prohibición general de los instrumentos algorítmicos utilizados por las autoridades. Además, las reformas de 2026 modificaron las fechas de aplicación de algunas obligaciones relativas a los sistemas de alto riesgo. Esto no elimina las garantías ya existentes en materia de protección de datos y procedimiento.
Los casos sobre PNR, SCHUFA, Dun & Bradstreet, Bridges y SyRI muestran distintos problemas: verificabilidad de los criterios, influencia real de una puntuación sobre una decisión, derecho a una explicación comprensible, riesgos de discriminación y calidad de la supervisión humana. La mera participación formal de un funcionario no constituye un control efectivo si este no puede comprender la evaluación, verificar sus fundamentos y modificar realmente el resultado.
La conclusión se articula alrededor de tres principios: hechos, sospechas, predicciones y decisiones deben mantenerse diferenciados; el control humano debe ser sustancial y no meramente formal; y la impugnación debe alcanzar el elemento concreto que produjo la consecuencia desfavorable. Una puntuación, un texto explicativo y una firma humana no bastan si no existe una relación verificable entre los datos utilizados, la inferencia algorítmica y la base jurídica de la actuación estatal.
Normas de citación
- Atribución obligatoria de la fuenteAl utilizar materiales de ARGA Observatory, se debe indicar el nombre completo.
- Indicación de fecha y versiónPara informes analíticos, es obligatorio indicar el año de publicación.
- Enlace al originalLos materiales electrónicos deben ir acompañados de un enlace activo al sitio oficial.
- Preservación del contextoLas citas no deben acortarse ni modificarse de manera que distorsionen el significado original.
- Nota de adaptaciónSi el texto está resumido o traducido, indicar: "adaptado del informe de ARGA Observatory".
- Prohibido el uso comercial sin permiso por escrito de la organización
- Preservación de la exactitud de los datosLos gráficos y tablas deben reproducirse sin cambios.
Consulte a los expertos de ARGA
Cuatro pasos breves. Respondemos en un día hábil.