Barcelona Ciudad Digital

El Ayuntamiento de Barcelona ha aprobado el protocolo “Definición de metodologías de trabajo y protocolos para la implementación de sistemas algorítmicos”, que tiene como finalidad crear un protocolo interno para la implementación de sistemas algorítmicos en el ámbito municipal. Se trata de un documento pionero con respecto a la regulación y la gobernanza de los sistemas algorítmicos en el ámbito local. Es aplicable a cualquier sistema algorítmico impulsado por el Ayuntamiento de Barcelona y tiene como objetivo garantizar que estos sistemas se utilizan de manera proporcionada, supervisada y fundamentada, de acuerdo con estándares legales, éticos y técnicos.

Este documento define los mecanismos de salvaguardia de derechos que tiene que haber en cada etapa de la licitación e implementación de un sistema algorítmico por parte del Ayuntamiento de Barcelona, y establece los órganos de gobernanza y supervisión que velarán para que el impacto de la IA se alinee con los principios éticos.

El protocolo se basa en la propuesta de regulación europea sobre la inteligencia artificial y define, paso a paso, los mecanismos de garantía y salvaguardia de derechos que se tienen que introducir en cada momento de la implementación de un sistema de inteligencia artificial por parte del Ayuntamiento de Barcelona.

Mecanismos de garantía según el riesgo

Más concretamente, este protocolo se basa en la clasificación de riesgos realizada por la Comisión Europea en el marco de la The Artificial Intelligence Act, y establece varios tipos de mecanismos de garantía en función del nivel de riesgo del sistema que se licita.

Los sistemas algorítmicos de riesgo inaceptable (los que suponen una clara amenaza para la seguridad y los derechos de las personas) se rechazarán automáticamente, mientras que para el resto de sistemas se establecerán mecanismos en función del nivel de riesgo. Para los sistemas algorítmicos de alto riesgo (los que tienen un impacto directo en los derechos fundamentales de las personas), este protocolo prevé una serie de mecanismos de garantía más estrictos que para los considerados de riesgo limitados o mínimos, como los estudios de impacto algorítmico elaborados por un consejo asesor externo o la creación de mecanismos de comunicación y transparencia, como los registros de algoritmos.

Se trata de un documento pionero con respecto a la regulación y gobernanza de los sistemas algorítmicos en el ámbito local, ya que es el primero a combinar el proceso de contratación pública, el ciclo de vida de un sistema algorítmico, los mecanismos que tiene el Ayuntamiento con respecto a la protección de datos y los estándares éticos definidos por varias administraciones y organizaciones.

Con este protocolo, el Ayuntamiento de Barcelona anticipa y adapta al contexto local la propuesta europea de regulación de la inteligencia artificial y hace accionables los principios éticos definidos en la Medida de gobierno de la estrategia municipal de algoritmos y datos para el impulso ético de la inteligencia artificial.

Protocolo completo