Seguridad de IA
La IA está abriendo una nueva superficie de ataque.
Inyección rápida, sobrepaso, fuga de datos: estos no son teóricos, son lo que encontramos en los sistemas establecidos. Tenemos en cuenta a la hora de instalar, y también buscamos en sistemas establecidos.
Cuatro encabezados
Durante la implantación y después de la puesta en marcha.
Instalación segura
Es parte de cada sistema de IA que instalamos, no un complemento comprado por separado. El asistente sabe lo que puede ver en nombre de quién; también sabe lo que no puede ver. Lo que hace queda registrado.
- Defensa rápida de la inyección
- Acceso a datos basado en la autoridad
- Filtrado de salida
- Registros de inspección
Auditoría de sistemas de IA
Intentamos romper una aplicación de IA ya instalada: filtrar las instrucciones del sistema, exceder el límite de autorización, sacar datos a los que no se debe acceder. Informamos los hallazgos en orden de importancia y en pasos reproducibles.
- Red-teaming
- Pruebas de inyección de prompts
- Intentos de superación
- Informe de búsqueda de prioridades
Ley de Inteligencia Artificial de la UE — lado técnico
Establecemos los mecanismos técnicos requeridos por la ley: mantenimiento de registros y trazabilidad, paso de supervisión humana, documentación del sistema. Es el trabajo del abogado de evaluación legal; es nuestro trabajo dejar funcionando la infraestructura en la que se basa esa evaluación.
- Registro y trazabilidad
- Paso de vigilancia humana
- Documentación del sistema
- Soporte técnico a la clasificación de riesgos
La IA en las operaciones de seguridad
Debajo del equipo de seguridad a menudo hay un montón de advertencias. Automatizamos los pasos repetitivos de triaje e intervención, asegurando que la decisión permanezca en la persona. Comenzamos manteniendo el alcance estrecho y midiendo: el error silencioso en el lado de la seguridad es el error más caro.
- Priorización de alertas
- Análisis de registros
- Automatización de respuesta a incidentes
- Piloto de alcance estrecho
evidencia
Hemos establecido sistemas que funcionan sin que los datos salgan nunca.
La plataforma clínica de Bizmed opera en casi un centenar de hospitales, el propio centro de datos de cada institución. Red cerrada, Oracle local, sin conexión saliente. La mayoría de las limitaciones de las que hablamos sobre la seguridad de la IA se experimentaron antes de la IA.
Bizmed
- on-premise
- red cerrada
- Oracle
- acceso basado en autorización
¿Tiene un sistema de IA instalado?
Díganos qué conectó con dónde, dónde lo filtró y qué necesita grabar.