XXI. La motivación de los actos administrativos tomados en base a sistemas de inteligencia artificial (TOL9.725.657)

Feb 24, 2024 | Boletín novedades, PRIVADO Doctrina

XXI. LA MOTIVACIÓN DE LOS ACTOS ADMINISTRATIVOS TOMADOS EN BASE A SISTEMAS DE INTELIGENCIA ARTIFICIAL3411. INTRODUCCIÓNEl uso de las nuevas tecnologías está llamado a ser, sin duda, uno de los elementos motores del cambio de la Administración Pública en el futuro próximo. Y entre las herramientas digitales disponibles, el uso de la Inteligencia Artificial debe adquirir un papel fundamental en el apoyo de las decisiones.342 Y es que la transformación hacia una actuación administrativa verdaderamente eficiente y estratégica, basada en datos, se posiciona como uno de los ejes vertebradores de los planes nacionales y europeos de modernización de la economía343. Situaciones que hasta ahora eran difícilmente evaluables, cuando no imposibles, pueden ahora ser abordadas a través de la IA, que analiza grandes cantidades de datos, extrayendo patrones, tendencias, indicadores y predicciones que facilitarán múltiples tareas administrativas.La IA permite, por ejemplo, que la Administración tome la iniciativa en los procedimientos de adjudicación de subvenciones u otras ayudas públicas, "yendo a buscar" a los interesados en lugar de esperar a que ellos localicen la convocatoria344; que los planes y estrategias de supervisión antifraude respondan a indicadores y anomalías detectadas por el propio sistema, optimizando así los esfuerzos del personal de inspección; que las decisiones sobre horarios y frecuencia de autobús urbano, o de recogida de basuras, o del alumbrado eléctrico, se optimicen de acuerdo con los usos habituales de los ciudadanos, etc.345 A pesar de su relativa novedad en el marco de la Administración, son muchos, en definitiva, los ejemplos de cómo la Inteligencia Artificial puede contribuir a ayudar a la actividad administrativa.Sin embargo, desde la doctrina y la práctica se viene advirtiendo de cómo los usos de Inteligencia Artificial, precisamente por las características esencialmente opacas de estos sistemas, pueden plantear problemas de transparencia en las decisiones, falta de motivación y, por ende, trabas en la garantía a la buena administración y a la tutela judicial efectiva frente a actos administrativos346.2. LOS RIESGOS DE DISCRIMINACIÓN EN LA TOMA DE DECISIONES A TRAVÉS DE IASi bien se percibe que los sistemas de IA son imparciales, en ocasiones, la toma de decisiones en una situación real es altamente compleja. Los sistemas informáticos que operan en entornos reales o con grandes cantidades de datos, como la IA, a menudo están demostrando que, si no son programados con los debidos filtros y garantías, pueden identificar patrones que en la psique de la sociedad actual se entienden como discriminatorios, o derivar en resultados que lo sean. Esto puede ocurrir porque existe un fallo en la programación, deficiencias del propio sistema o en la calidad de los datos, o porque simplemente perpetúan prejuicios ya existentes en el histórico que analizan.Diferentes factores pueden llevar a un algoritmo a desarrollar nuevos criterios de valoración originariamente no incluidos o previstos que, bajo una decisión administrativa llevada a cabo por humanos, nunca hubieran sido tenidos en cuenta por ejemplo, un sistema de IA puede identificar, como factor de riesgo para corrupción o para el riesgo de reincidencia delictiva, elementos como el origen étnico de los gestores, su sexo, orientación sexual, etc.347 La existencia de estas y otras situaciones identificadas en entornos especialmente sensibles --la asignación de vivienda a las personas sin hogar, dirigir las intervenciones preventivas de protección infantil- han generado una importante controversia348, hasta el punto de que algunos autores han hecho públicas sus inquietudes sobre la toma de decisiones automatizadas en aspectos asistenciales o de bienestar social como una forma de perpetuar la segregación de la parte más pobre de la sociedad349.Estas discriminaciones se deben en gran medida al modo de funcionamiento de los algoritmos, basado en el análisis estadístico y en la clasificación de patrones en base a ciertas características comunes (entre las que pueden aparecer la escala social, ingresos, etnia, etc.)350. Aunque los sistemas de análisis utilizados no incluyan discriminaciones expresas --es decir, la consideración de la raza como un elemento determinante en sí mismo, por ejemplo351--, la búsqueda autónoma de variables y patrones relevantes para, por ejemplo, un riesgo de reincidencia, puede hacer que, de manera indirecta, esas variables sean vinculadas con . . .