Laura Rodríguez Otiñano

Hay preguntas que solo aparecen cuando la tecnología deja de ser una promesa y comienza a formar parte de las decisiones cotidianas. La inteligencia artificial ya clasifica información, facilita la tramitación de expedientes, automatiza tareas, detecta patrones y ofrece apoyo en procesos que afectan tanto a la ciudadanía como a las propias personas empleadas públicas.

Su potencial para la prevención organizativa es indudable. La posibilidad de relacionar señales dispersas, advertir tendencias y actuar antes de que un problema termine materializándose en un error, un conflicto, una baja laboral o un deterioro del servicio permite imaginar una  Administración menos reactiva y con una mayor capacidad de anticipación.

La promesa es poderosa: anticipar para proteger.

Pero esa promesa abre, al mismo tiempo, una cuestión que no puede resolverse atendiendo únicamente a la precisión del modelo o a la cantidad de datos disponibles: ¿cómo puede una organización utilizar información e inteligencia artificial para anticipar riesgos sin que las personas sientan que están siendo permanentemente monitorizadas, evaluadas o clasificadas?

La pregunta importa porque una iniciativa concebida para mejorar las condiciones de trabajo puede perder buena parte de su utilidad cuando quienes deben participar en ella sospechan que la información obtenida podrá utilizarse después para valorar su rendimiento, limitar sus oportunidades profesionales, apartarlos de determinadas funciones o atribuirles responsabilidades individuales.

En ese momento, la medición deja de percibirse como una herramienta de cuidado y empieza a interpretarse como una forma de control. Y cuando aparece la desconfianza, el problema no es únicamente ético o jurídico. También es metodológico. Las respuestas se vuelven defensivas, se minimizan las dificultades, se ocultan las sobrecargas o, sencillamente, se decide no participar.

La organización continúa obteniendo datos, pero esos datos ya no reflejan solo la realidad que pretendía conocer. Reflejan también el temor a las consecuencias de hacerla visible.

Por eso, en cualquier iniciativa de inteligencia artificial aplicada a la prevención organizativa, la confianza no puede considerarse un complemento deseable que se incorpora al final del proceso. Es una condición previa para la calidad de la información, para la legitimidad del sistema y, en última instancia, para su utilidad real.

El error aparece en una persona, pero no siempre nace en ella

Cuando se produce un fallo, la reacción institucional más inmediata suele consistir en identificar a la persona que tomó la decisión, no siguió correctamente un procedimiento o no detectó a tiempo una señal. Es una respuesta comprensible. Permite ordenar lo sucedido, delimitar responsabilidades y recuperar cierta sensación de control.

Sin embargo, en organizaciones complejas y altamente digitalizadas, esa explicación puede ser insuficiente.

Una decisión equivocada puede representar el final visible de un proceso que llevaba tiempo desarrollándose: carga mental sostenida, presión temporal, información fragmentada, instrucciones contradictorias, insuficiencia de recursos, herramientas poco integradas o una pérdida progresiva de autonomía profesional.

Ninguno de estos factores tiene por qué provocar, por sí solo, un fallo evidente. El problema aparece cuando se combinan, se refuerzan y reducen gradualmente la capacidad de la organización para adaptarse, aprender y decidir con calidad.

El error termina materializándose en la actuación de una persona, pero su origen puede ser profundamente organizacional.

Esta perspectiva no pretende diluir la responsabilidad profesional ni negar la importancia de las decisiones individuales. Lo que plantea es algo diferente: la explicación de un fallo no puede agotarse en la identificación de quien ocupaba el último eslabón de la cadena decisional.

Los enfoques sistémicos sobre seguridad y error humano llevan décadas señalando la relevancia de las condiciones latentes, del diseño organizativo y de las relaciones entre los distintos componentes del sistema. Cuando una organización individualiza sistemáticamente el error, puede corregir a la persona y, sin embargo, mantener intactas las circunstancias que hicieron que ese error resultara cada vez más probable (Reason, 1990; Dekker, 2014).

De ahí que, ante un incidente, no baste con preguntar quién se equivocó. También deberíamos preguntarnos:

¿Qué estaba ocurriendo en la organización para que esa equivocación pudiera producirse?

Responder obliga a mirar más allá del momento concreto en el que el fallo se hizo visible. Exige observar el sistema de trabajo: sus cargas, sus recursos, su cultura, sus tecnologías, sus estilos de liderazgo, sus estructuras de responsabilidad y su capacidad para reconocer señales antes de que se conviertan en consecuencias.

No se trata de sustituir la responsabilidad individual por una responsabilidad organizativa difusa. Se trata de evitar que la organización explique el fallo exclusivamente desde la conducta de la persona y deje sin revisar el contexto que condicionó su decisión.

Medir es necesario, pero medir nunca es neutral

Para identificar esas condiciones organizativas necesitamos información. Sin datos, muchas decisiones preventivas acaban apoyándose en impresiones parciales, intuiciones o problemas que solo se reconocen cuando ya han generado un daño apreciable.

Ahora bien, medir nunca es un acto neutro.

Toda medición establece una relación entre quien aporta la información, quien la interpreta y quien puede adoptar decisiones a partir de ella. Esta relación adquiere una sensibilidad especial cuando los datos se refieren a carga mental, fatiga, salud organizativa, adaptación tecnológica, percepción del liderazgo o exposición a factores psicosociales.

Aunque la finalidad inicial sea preventiva, las personas pueden preguntarse qué ocurrirá después con esa información. ¿Quién tendrá acceso? ¿Durante cuánto tiempo se conservará? ¿Podrá relacionarse con otros datos? ¿Se utilizará para evaluar el desempeño? ¿Podrá influir en destinos, responsabilidades o promociones?

La investigación sobre gestión algorítmica ha mostrado que las decisiones automatizadas pueden percibirse como menos justas y confiables cuando las personas no comprenden sus criterios, no tienen posibilidades reales de cuestionarlas o interpretan el sistema como un mecanismo de seguimiento y control (Lee, 2018).

Por eso, una iniciativa preventiva no puede descansar únicamente en una declaración genérica de confidencialidad. Necesita construir una verdadera arquitectura de confianza.

Esa arquitectura comienza delimitando con precisión la finalidad. Los datos recabados para conocer condiciones organizativas no deberían convertirse, de manera directa o indirecta, en una puntuación individual de resistencia, adaptación o rendimiento. Tampoco deberían reutilizarse con fines sancionadores o profesionales diferentes sin una base jurídica específica y sin garantías adicionales.

Continúa determinando el nivel de agregación de los resultados, las personas que podrán acceder a ellos, el tiempo de conservación y los mecanismos disponibles para solicitar una explicación, corregir errores o cuestionar una determinada interpretación. Y exige comunicar estas decisiones antes de solicitar la participación, no cuando las dudas o los conflictos ya han aparecido.

El Reglamento General de Protección de Datos proporciona un marco especialmente relevante mediante los principios de licitud, lealtad y transparencia, limitación de la finalidad, minimización, exactitud y responsabilidad proactiva. A ello se suman la protección de datos desde el diseño y por defecto, la evaluación de impacto cuando el tratamiento pueda entrañar un alto riesgo y las garantías previstas ante determinadas decisiones individuales automatizadas (Reglamento [UE] 2016/679, arts. 5, 22, 25 y 35).

No toda medición organizativa constituye una decisión automatizada en sentido jurídico estricto. Tampoco todo uso de inteligencia artificial alcanza el mismo nivel de riesgo. Sin embargo, esos principios establecen un estándar básico que no debería ignorarse: la posibilidad técnica de recoger y relacionar información no constituye, por sí misma, una justificación suficiente para utilizarla.

Del cumplimiento normativo a la confianza organizativa

El Reglamento europeo de inteligencia artificial refuerza esta lógica al adoptar un enfoque basado en el riesgo. Determinados sistemas utilizados en el ámbito del empleo y de la gestión de personas trabajadoras pueden considerarse de alto riesgo, especialmente cuando intervienen en la asignación de tareas, la monitorización o evaluación del comportamiento y del rendimiento, o en decisiones que afectan a las relaciones laborales.

Para estos sistemas, el Reglamento establece obligaciones relacionadas con la gestión continuada de riesgos, la gobernanza de los datos, la documentación técnica, el registro de actividad, la transparencia, la supervisión humana, la precisión, la robustez y la ciberseguridad. También exige que se proporcione información suficiente para que las entidades usuarias puedan interpretar correctamente los resultados y conocer las capacidades y limitaciones de la herramienta (Reglamento [UE] 2024/1689, arts. 9 y 12 a 15, y anexo III).

La supervisión humana no puede reducirse a una validación formal. La persona responsable debe disponer de conocimientos suficientes, comprender las limitaciones del sistema y conservar capacidad real para cuestionar una recomendación, ignorarla o interrumpir su utilización.

No puede considerarse supervisión humana la simple firma de una decisión que, en la práctica, ya ha sido adoptada por el algoritmo.

En el sector público, estas exigencias adquieren una dimensión adicional. Las administraciones no actúan únicamente bajo criterios de eficacia. También están sometidas a los principios de legalidad, objetividad, proporcionalidad, igualdad, motivación y rendición de cuentas. Además, los organismos públicos que desplieguen determinados sistemas de alto riesgo deberán realizar, cuando resulte exigible, una evaluación previa de su impacto sobre los derechos fundamentales, complementaria de la evaluación de impacto en protección de datos que corresponda (Reglamento [UE] 2024/1689, art. 27).

Una decisión pública no se legitima solo porque un modelo sea técnicamente preciso. Debe poder explicarse por qué se utiliza, qué finalidad persigue, qué información interviene, qué derechos pueden verse afectados y quién responde cuando el sistema se equivoca.

La legalidad es el punto de partida, pero no agota la gobernanza. Cumplir formalmente una norma no garantiza que una herramienta sea comprendida, aceptada o coherente con la cultura de la organización.

Puede darse, incluso, una situación aparentemente paradójica: que un sistema sea jurídicamente admisible y, sin embargo, fracase desde el punto de vista organizativo porque las personas no confían en su finalidad o temen que sus resultados puedan utilizarse en su contra.

La innovación pública responsable requiere, por tanto, algo más que cumplimiento. Requiere gobernar la tecnología durante todo su ciclo de vida y demostrar —no solo declarar— que la información se utilizará conforme a los límites establecidos.

Higiene algorítmica: prevenir antes de que la desviación se normalice

En este contexto propongo utilizar la expresión higiene algorítmica para referirme al conjunto de prácticas jurídicas, técnicas y organizativas destinadas a prevenir que un sistema de inteligencia artificial incorpore, amplifique o normalice sesgos, opacidad, usos desviados de los datos o formas de control incompatibles con su finalidad legítima.

No se trata únicamente de limpiar bases de datos ni de corregir errores de programación. La higiene algorítmica comienza antes de que exista el modelo.

Empieza cuando la organización se pregunta si la inteligencia artificial es realmente necesaria para resolver el problema identificado. Continúa cuando delimita la información que utilizará, las decisiones que podrá apoyar y las finalidades que quedarán expresamente excluidas. Y debe mantenerse durante la implantación, la evaluación, las actualizaciones y, llegado el caso, la retirada del sistema.

Su lógica es esencialmente preventiva. Del mismo modo que la prevención de riesgos laborales no espera a que se produzca un accidente para examinar las condiciones de trabajo, la higiene algorítmica no debería esperar a que aparezca una discriminación, una decisión inexplicable o una pérdida de confianza para revisar el funcionamiento de una herramienta.

Aplicada al sector público, debería abarcar, al menos, las siguientes dimensiones:

·       Finalidad legítima y limitación de uso. Los datos y los resultados deben permanecer vinculados al propósito para el que fueron obtenidos. Una iniciativa preventiva no debería terminar utilizándose para evaluar el rendimiento, sancionar o adoptar decisiones profesionales individualizadas sin una base jurídica diferenciada y garantías específicas.

·       Necesidad, proporcionalidad y minimización. La posibilidad técnica de recabar información no justifica automáticamente su tratamiento. Solo deberían utilizarse los datos necesarios para abordar el problema organizativo o público identificado.

·       Calidad, pertinencia y representatividad de los datos. Un sistema construido sobre información incompleta, descontextualizada o sesgada puede reproducir desigualdades y generar conclusiones aparentemente objetivas que no representan adecuadamente la realidad.

·       Explicabilidad y transparencia. Las personas responsables deben comprender qué factores contribuyen a una señal, cuáles son las limitaciones del modelo y qué interpretación puede hacerse legítimamente de sus resultados.

·       Trazabilidad y auditabilidad. La organización debe poder reconstruir qué versión del sistema produjo un resultado, qué datos intervinieron, quién lo interpretó y qué decisión se adoptó. Su funcionamiento y sus efectos también deben poder someterse a evaluación interna o independiente.

·       Supervisión humana efectiva. La intervención humana no puede limitarse a confirmar formalmente una recomendación. Debe existir capacidad, formación y autoridad real para interpretarla, cuestionarla, descartarla o detener su utilización.

·       Participación, información y posibilidad real de revisión. Las personas afectadas y sus representantes deben conocer la finalidad del sistema, sus límites y los usos expresamente excluidos. También deben disponer de canales comprensibles para advertir errores o sesgos y solicitar una revisión humana cuando el resultado pueda afectar a sus derechos o intereses profesionales.

·       Evaluación continua. La legitimidad y la utilidad de un sistema no quedan garantizadas para siempre en el momento de su implantación. Los datos, el contexto y los efectos organizativos cambian, por lo que resulta necesario revisar periódicamente su funcionamiento y, cuando proceda, recalibrarlo, limitarlo o retirarlo.

La higiene algorítmica empieza, por tanto, mucho antes de entrenar un modelo. Empieza cuando la organización decide qué no va a hacer con los datos.

El término se propone aquí con una finalidad operativa: trasladar los principios de transparencia, responsabilidad, justicia, privacidad y supervisión humana desde el terreno de las declaraciones éticas hacia una práctica organizativa verificable y mantenida en el tiempo (Floridi et al., 2018; Jobin, Ienca y Vayena, 2019; Dignum, 2019).

No basta con afirmar que una organización hace un uso ético de la inteligencia artificial. Debe poder demostrarlo mediante decisiones documentadas, límites explícitos, sistemas auditables y mecanismos de revisión capaces de detectar cuándo una herramienta se está alejando de la finalidad para la que fue concebida.

La posibilidad de cuestionar una decisión apoyada por inteligencia artificial tampoco debilita el sistema. Al contrario, permite detectar errores, corregir interpretaciones descontextualizadas y reforzar su legitimidad.

En una Administración pública, esa revisión no puede depender únicamente de la buena voluntad de la organización. Debe conectarse, según el caso, con las garantías de protección de datos, la representación del personal, los procedimientos administrativos o laborales y las autoridades de control competentes. La Constitución Española somete plenamente la actuación administrativa a la ley y al Derecho y garantiza la tutela de los derechos e intereses legítimos. A ello se añaden las garantías específicas previstas por el RGPD y por el Reglamento europeo de inteligencia artificial para determinados sistemas y decisiones (Constitución Española, arts. 24, 103 y 106; Reglamento [UE] 2016/679, art. 22; Reglamento [UE] 2024/1689, arts. 14, 85 y 86).

Ahora bien, una revisión humana solo es real cuando quien revisa conoce el papel desempeñado por la herramienta, dispone de información suficiente y tiene capacidad para apartarse de su recomendación. Una revisión que no puede alterar el resultado se parece demasiado a una confirmación formal.

Explicar no es traducir una caja negra

Dentro de esta arquitectura, la inteligencia artificial explicable —XAI— ocupa un lugar central. Sin embargo, no toda explicación técnicamente correcta resulta necesariamente útil.

Con frecuencia, la explicabilidad se presenta como una capa añadida al modelo: un porcentaje, una tabla o una representación visual que acompaña a la predicción. Pero una explicación no debería limitarse a hacer más presentable una conclusión algorítmica.

Explicar significa ofrecer a la persona responsable elementos suficientes para comprender qué factores han contribuido al resultado, qué incertidumbre existe, en qué circunstancias puede fallar el sistema y qué consecuencias resulta legítimo extraer de su salida.

Miller (2019) señala precisamente que la XAI debe tener en cuenta cómo las personas comprenden y valoran las explicaciones, en lugar de limitarse a reproducir la lógica interna de quienes diseñan los modelos.

En la Administración pública, esta distinción es esencial. Una persona responsable no necesita conocer todas las operaciones matemáticas internas, pero sí debe poder responder a cuestiones básicas: por qué se ha generado una alerta, qué significa dentro de su contexto, qué limitaciones presenta y por qué debería —o no debería— orientar una actuación.

La XAI no debería emplearse para convencer al profesional de que el algoritmo tiene razón. Su función es permitirle ejercer un juicio informado.

Una explicación verdaderamente útil hace posible que alguien afirme: «Esta señal es coherente y puede orientar una actuación». Pero también debe permitir sostener lo contrario: «Este resultado no representa adecuadamente lo que está sucediendo y no debe utilizarse para decidir».

Cuando esa segunda posibilidad desaparece, la supervisión humana deja de ser efectiva. El sistema ya no apoya la decisión: comienza a sustituirla.

Además, la explicabilidad no puede desvincularse de la trazabilidad. Comprender un resultado exige conocer también qué datos se utilizaron, qué versión del modelo lo produjo y qué cambios se habían introducido. Sin esa información, la explicación puede convertirse en una narrativa convincente construida alrededor de una decisión que continúa siendo opaca.

De la persona vulnerable a la vulnerabilidad organizativa

La utilización de inteligencia artificial en prevención plantea un riesgo conceptual adicional: convertir la vulnerabilidad en una característica atribuida a la persona.

Una puntuación individual de estrés, fatiga, adaptación o riesgo puede terminar influyendo en decisiones sobre formación, puestos, promoción o responsabilidad. Incluso cuando la finalidad inicial sea preventiva, la mera existencia de ese perfil facilita usos secundarios difíciles de controlar.

Frente a esa lógica individualizadora, el constructo de Vulnerabilidad Organizativa Acumulativa —VOA, o Cumulative Organizational Vulnerability (COV) en inglés—

, que desarrollo en el marco de mi investigación doctoral, propone desplazar la unidad principal de análisis hacia la organización.

Su premisa es que las demandas cognitivo-operativas, los factores psicosociales y la complejidad tecnológico-digital no actúan de forma independiente. Interactúan dentro de una estructura concreta y bajo determinadas condiciones de liderazgo, cultura, gobernanza, rendición de cuentas y distribución de recursos.

La vulnerabilidad organizativa no equivale, por tanto, a la suma de vulnerabilidades individuales. Se configura como una propiedad emergente del sistema cuando distintas presiones se acumulan, se retroalimentan y reducen progresivamente la capacidad de adaptación, decisión y aprendizaje de la organización (Rodríguez Otiñano, 2026).

Pensemos, por ejemplo, en una unidad pública que incorpora un sistema automático para distribuir expedientes. En apariencia, la herramienta funciona correctamente: reparte los asuntos atendiendo al volumen pendiente y a los tiempos medios de resolución. Sin embargo, no siempre puede reconocer que dos expedientes formalmente semejantes pueden exigir esfuerzos muy distintos, que una persona está atendiendo otras funciones al mismo tiempo o que parte del trabajo continúa realizándose entre aplicaciones que no se comunican entre sí.

El problema no está necesariamente en el algoritmo, ni tampoco en la capacidad del profesional que recibe el expediente. Aparece en la interacción entre una tecnología que simplifica una realidad compleja, una carga mental que se incrementa y una organización que mantiene plazos y recursos como si nada hubiera cambiado.

Si finalmente se produce un retraso o un error, este aparecerá asociado al nombre de una persona. Pero la explicación difícilmente estará completa si no se observa también el sistema en el que esa persona estaba tomando decisiones.

Ese es el cambio de mirada que propone la VOA/COV: no buscar una vulnerabilidad individual que explique el resultado, sino comprender cómo diferentes presiones organizativas pueden acumularse hasta reducir los márgenes de adaptación y respuesta.

Desde esta perspectiva, el propósito de la medición no es determinar quién soporta peor la presión, sino comprender por qué esa presión se ha convertido en una característica persistente del funcionamiento.

Tampoco se trata de clasificar quién se adapta peor a una herramienta digital. La cuestión es analizar si esa tecnología se ha integrado de manera coherente con el trabajo real, con los recursos disponibles y con las competencias profesionales.

El fallo aparece en una persona. Pero la prevención debe ser capaz de mirar más atrás y reconocer la vulnerabilidad del sistema que lo hizo posible.

Este desplazamiento tiene también consecuencias sobre el diseño de la inteligencia artificial. Si el objetivo es comprender el funcionamiento de la organización, el análisis debe orientarse prioritariamente hacia tendencias agregadas, procesos, cargas y configuraciones organizativas, no hacia la construcción de perfiles individuales.

La tecnología debería ayudar a interpretar dónde se están acumulando las presiones y qué decisiones organizativas pueden corregirlas, no a identificar quién parece soportarlas peor.

El desarrollo metodológico y operativo de este enfoque forma parte de una investigación progresiva que diferencia el constructo teórico VOA/COV de sus posibles herramientas de medición e interpretación. Esa distinción permite divulgar el cambio de mirada sin presentar una propuesta todavía en desarrollo como un sistema cerrado o definitivamente validado.

La innovación pública va más allá de incorporar un algoritmo

La incorporación de inteligencia artificial y la digitalización están ampliando de manera sustancial las capacidades de la gestión pública. Permiten procesar grandes volúmenes de información, reducir determinadas cargas administrativas, detectar patrones difíciles de advertir mediante métodos convencionales y ofrecer nuevas formas de apoyo a la toma de decisiones.

Bien diseñadas, estas tecnologías pueden contribuir a una Administración más ágil, anticipatoria y capaz de responder con mayor precisión a problemas cada vez más complejos.

Ahora bien, para que ese potencial se traduzca en una verdadera transformación institucional, no basta con automatizar procesos o incorporar herramientas técnicamente avanzadas. Es necesario que la tecnología contribuya a mejorar la calidad de las decisiones, genere valor público y se integre de manera coherente con los derechos, las responsabilidades y las necesidades reales de la organización.

Una herramienta puede reducir tiempos y mejorar la disponibilidad de la información, pero sus resultados dependerán también de cómo se haya incorporado al proceso de trabajo. Puede aumentar la trazabilidad técnica y, al mismo tiempo, introducir nuevas dificultades de interpretación. Puede generar alertas con mayor rapidez, pero trasladar a los profesionales la carga de comprobar continuamente su pertinencia. Incluso puede ofrecer una apariencia de objetividad sin resolver los sesgos presentes en los datos o en las decisiones organizativas que preceden al modelo.

Esto no resta valor a la tecnología. Al contrario, demuestra que su capacidad transformadora depende, en buena medida, de la calidad de la gobernanza que la acompaña.

La innovación pública debe valorarse por su capacidad para generar valor público: mejorar la respuesta institucional, proteger derechos, reducir riesgos, favorecer el aprendizaje organizativo y reforzar la legitimidad de las decisiones. Desde esta perspectiva, la incorporación de inteligencia artificial no representa el final del proceso innovador, sino el comienzo de una responsabilidad institucional más exigente.

Una Administración alcanza una innovación tecnológicamente madura cuando identifica con precisión el problema que pretende resolver, justifica por qué la inteligencia artificial constituye una alternativa adecuada y proporcionada, anticipa sus posibles efectos adversos, evalúa su utilidad y determina quién asume la responsabilidad cuando el sistema produce resultados imprevistos.

La sofisticación tecnológica alcanza su máximo valor cuando potencia y acompaña a la responsabilidad pública. No se trata de enfrentar tecnología y garantías, sino de reconocer que ambas se necesitan. Una inteligencia artificial sometida a criterios de transparencia, trazabilidad, auditabilidad y supervisión humana no es una tecnología debilitada por el control. Es una tecnología más sólida, confiable y sostenible.

Durante los últimos años se ha insistido, con razón, en la necesidad de desarrollar algoritmos explicables. Quizá sea necesario ampliar esa exigencia y hablar también de organizaciones explicables.

Una organización explicable es capaz de justificar por qué incorpora una determinada tecnología, qué problema pretende resolver, qué efectos espera obtener y qué hará si la innovación genera consecuencias distintas de las previstas. También puede reconocer cómo se distribuyen las cargas, qué decisiones organizativas influyen en los resultados y qué mecanismos existen para revisar aquello que no funciona.

No es la organización que dispone de más información sobre cada persona empleada. Es aquella que comprende mejor sus propios procesos y utiliza la tecnología para fortalecer su capacidad de reflexión y aprendizaje.

Podemos imaginar dos modelos de Administración digital.

En el primero, la organización conoce cada vez más sobre la fatiga, el rendimiento y la adaptación de sus profesionales, pero continúa sin comprender por qué algunos de sus procesos generan sobrecarga.

En el segundo, utiliza información agregada, explicable y sometida a garantías para identificar tendencias, revisar condiciones de trabajo y actuar antes de que aparezca el daño, sin convertir a nadie en un perfil permanente de riesgo.

Ambos modelos utilizan inteligencia artificial. La diferencia no reside en su grado de digitalización, sino en la forma en que la tecnología se pone al servicio del valor público, de la confianza y de la capacidad institucional para aprender.

Conclusión

La inteligencia artificial ofrece oportunidades relevantes para anticipar riesgos y mejorar la capacidad de decisión de las administraciones públicas. Su legitimidad, sin embargo, no depende exclusivamente de la precisión del modelo ni de la eficiencia alcanzada.

Depende también de la finalidad, la proporcionalidad, la transparencia, la trazabilidad, la auditabilidad y la posibilidad real de supervisar, cuestionar e impugnar sus resultados.

En la prevención organizativa, estas garantías son especialmente importantes. Si las personas temen que la información pueda utilizarse para evaluarlas, señalarlas o sancionarlas, la iniciativa pierde legitimidad y la calidad de los datos se deteriora.

La higiene algorítmica se propone como una respuesta preventiva a ese riesgo. No como una declaración ética añadida al final del proyecto, sino como una práctica que debe acompañar todo el ciclo de vida del sistema: desde la identificación del problema y la delimitación de la finalidad hasta su evaluación periódica y, cuando resulte necesario, su retirada.

Esta propuesta no cuestiona el valor de la inteligencia artificial. Trata, precisamente, de crear las condiciones para que pueda desplegarse de forma confiable, jurídicamente responsable y organizativamente sostenible.

La innovación pública no debería orientarse a hacer completamente transparentes a las personas mientras las organizaciones y sus algoritmos permanecen opacos. Debería perseguir el objetivo contrario: sistemas comprensibles, decisiones trazables y organizaciones capaces de reconocer sus propias vulnerabilidades.

Anticipar no significa observar más de cerca a quien trabaja. Significa comprender con suficiente antelación qué condiciones organizativas están generando riesgo y qué debe transformarse antes de que el daño aparezca.

Hacer visible lo invisible. Medir para decidir. Anticipar para proteger.

Referencias bibliográficas

Constitución Española. Boletín Oficial del Estado, núm. 311, de 29 de diciembre de 1978. Dekker, S. (2014). The field guide to understanding “human error” (3.ª ed.). CRC Press.

Dignum, V. (2019). Responsible artificial intelligence: How to develop and use AI in a responsible way. Springer. https://doi.org/10.1007/978-3-030-30371-6

Floridi, L., Cowls, J., Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., Luetge, C., Madelin, R., Pagallo, U., Rossi, F., Schafer, B., Valcke, P. y Vayena, E. (2018). AI4People—An ethical framework for a good AI society: Opportunities, risks, principles, and   recommendations.   Minds   and   Machines,   28(4),   689-707.

https://doi.org/10.1007/s11023-018-9482-5

International Organization for Standardization. (2021). ISO 45003:2021. Occupational health and safety management—Psychological health and safety at work—Guidelines for managing psychosocial risks. ISO.

Jobin, A., Ienca, M. y Vayena, E. (2019). The global landscape of AI ethics guidelines.

Nature Machine Intelligence, 1, 389-399. https://doi.org/10.1038/s42256-019-0088-2

Lee, M. K. (2018). Understanding perception of algorithmic decisions: Fairness, trust, and emotion in response to algorithmic management. Big Data & Society, 5(1), 1-16. https://doi.org/10.1177/2053951718756684

Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences.

Artificial Intelligence, 267, 1-38. https://doi.org/10.1016/j.artint.2018.07.007

Parlamento Europeo y Consejo de la Unión Europea. (2016). Reglamento (UE) 2016/679, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos. Diario Oficial de la Unión Europea, L 119, 1-88.

Parlamento Europeo y Consejo de la Unión Europea. (2024). Reglamento (UE) 2024/1689, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial. Diario Oficial de la Unión Europea, 2024/1689.

Reason, J. (1990). Human error. Cambridge University Press.