Generando confianza en la IA: perspectivas de la MDIA en el escenario AIBC del SiGMA Euro-Med
En su intervención en el escenario de la AIBC durante la conferencia Euro-Med celebrada hoy en el Centro Marítimo Mediterráneo (MMH), Gavril Flores, director de Estrategia, Política y Gobernanza de la Autoridad de Innovación Digital de Malta (MDIA), ofreció una charla destacada sobre el futuro de la IA fiable y el enfoque de gobernanza de Malta.
Cuando pensamos en la seguridad de la IA, enfatizó la necesidad de preguntarnos: ¿Por qué es importante y por qué deberíamos tener gobernanza en torno a ella?
Si observamos el ritmo del progreso —de GPT-1 a GPT-3, y ahora a GPT-5—, los ciclos de desarrollo se están acelerando drásticamente, afirma Flores. La IA se está implementando en diversos escenarios: desde el descubrimiento de fármacos y la investigación del cáncer, hasta la agricultura inteligente y la innovación científica en general. Estos avances hacen que la IA no solo sea más potente, sino también más económica y accesible.
Esto trae consigo tanto oportunidades como, como advierte, desafíos.
En el lado positivo, la IA está haciendo avanzar significativamente la atención médica y la investigación científica, haciendo que la tecnología que antes estaba fuera del alcance sea más accesible y escalable, y reduciendo drásticamente los costos de desarrollo. Dicho esto, los desafíos, como las preocupaciones sobre la privacidad, el desplazamiento laboral, el sesgo preocupante, la confiabilidad y el riesgo de errores subrayan la necesidad de transparencia y rendición de cuentas.
“Muchos errores en IA se pueden prevenir si probamos si hay sesgos antes de implementar soluciones, garantizamos la supervisión e implementamos las protecciones adecuadas antes de la implementación”.
El panorama global de la IA
- La inversión corporativa en IA alcanzó los 252 mil millones de dólares en 2024.
- Más de 69 países han desarrollado estrategias de IA.
- Alrededor del 50% de los habitantes de Malta afirman saber algo sobre IA.
- El 24% de la población maltesa afirma tener una alta confianza en la IA.
Sin embargo, advierte que la confianza no debe darse a ciegas. Debe ganarse. “Generar confianza requiere un marco de gobernanza sólido y un ecosistema donde las personas tengan la seguridad de que la IA se desarrolla de forma responsable”.
La ley que regula la IA: el enfoque regulatorio de Europa
Abordando lo que él llama “negar lo obvio”: la Ley de IA de la UE, algo que Flores describe como “una de las leyes más significativas de los últimos años”. Su enfoque, explica, consiste en categorizar los sistemas de IA en función del riesgo:
Sistemas de IA prohibidos (a partir de 2024/2025)
Ejemplos: puntuación social, sistemas manipulativos (p. ej., en juegos, uso de datos para crear simulaciones que fomenten conductas adictivas o ansiosas).
Sanciones: multas de hasta el 7% de la facturación global o 35 millones de euros.
Sistemas de alto riesgo
Ejemplos: toma de decisiones automatizada en sectores críticos, sistemas biométricos, atención sanitaria o contratación.
Requisitos: sistemas de gestión de riesgos, gobernanza de datos, ciberseguridad, evaluaciones de conformidad (marcado CE), transparencia, documentación, registros y supervisión humana.
Sistemas de riesgo limitado
Ejemplo: chatbots.
Requisito: divulgación de que los usuarios están interactuando con un sistema de IA.
Sistemas de riesgo mínimo
Alrededor del 90% de los casos de uso de IA entran en esta categoría.
También plantea la controvertida cuestión de los deepfakes, que también debe abordarse. Estos, dice, deben etiquetarse como tales, a menos que sean claramente satíricos u obvios para un consumidor promedio.
El papel de Malta: MDIA como órgano regulador y facilitador
La Autoridad de Innovación Digital de Malta (MDIA) actúa como regulador y facilitador de la innovación. Flores describe sus responsabilidades, que incluyen la vigilancia del mercado y la evaluación de la conformidad, la creación de ecosistemas para la innovación, como campamentos de entrenamiento, campamentos de verano y becas para jóvenes, infraestructura de apoyo (por ejemplo, informática de alto rendimiento), y espacio de oficina y recursos para startups.
AI Sandbox (lanzado en 2021):
Un espacio seguro para probar sistemas de IA antes de su implementación a gran escala.
Orientación, retroalimentación y apoyo para el cumplimiento.
.
El modelo ya se está adoptando en toda la UE (obligatorio a partir del próximo año).
Centro de asistencia técnica: respuesta a consultas sobre la Ley de IA y el cumplimiento normativo.
Concluye reconociendo que Malta fue uno de los primeros países de la UE, e incluso a nivel mundial, en lanzar un entorno de pruebas de IA. El enfoque del país, revela, combina la regulación con el apoyo a la innovación.
La confianza en la IA, concluye, debe ganarse mediante la transparencia, la rendición de cuentas y una gobernanza sólida. Con el marco adecuado, la IA puede prosperar y, al mismo tiempo, proteger a las personas, las empresas y la sociedad.
