Seguridad de OWASP para IA Generativa

Día 1: Fundamentos y amenazas principales

Módulo 1: Introducción al Proyecto de Seguridad para IA Generativa de OWASP (1 hora)

Objetivos de aprendizaje:

• Comprender la evolución desde los Top 10 de OWASP hacia los desafíos de seguridad específicos de la IA generativa.
• Explorar el ecosistema y los recursos del Proyecto de Seguridad para IA Generativa de OWASP.
• Identificar las diferencias clave entre la seguridad de aplicaciones tradicionales y la seguridad en IA.

Temas cubiertos:

• Vista general de la misión y el alcance del Proyecto de Seguridad para IA Generativa de OWASP.
• Introducción al marco Threat Defense COMPASS.
• Comprensión del panorama de seguridad en IA y los requisitos regulatorios.
• Superficies de ataque de la IA frente a vulnerabilidades de aplicaciones web tradicionales.

Ejercicio práctico: Configuración de la herramienta OWASP Threat Defense COMPASS y realización de una evaluación inicial de amenazas.

Módulo 2: Los Top 10 de OWASP para LLM - Parte 1 (2.5 horas)

Objetivos de aprendizaje:

• Dominar las cinco vulnerabilidades críticas principales de los LLM.
• Comprender los vectores de ataque y las técnicas de explotación.
• Aplicar estrategias prácticas de mitigación.

Temas cubiertos:

LLM01: Inyección de instrucciones (Prompt Injection)

• Técnicas directas e indirectas de inyección de instrucciones.
• Ataques de instrucciones ocultas y contaminación entre prompts.
• Ejemplos prácticos: Jailbreaking de chatbots y elusión de medidas de seguridad.
• Estrategias de defensa: Sanitización de entradas, filtrado de prompts y privacidad diferencial.

LLM02: Divulgación de información sensible

• Extracción de datos de entrenamiento y filtración de instrucciones del sistema.
• Análisis del comportamiento del modelo para detectar exposición de información sensible.
• Implicaciones de privacidad y consideraciones de cumplimiento regulatorio.
• Mitigación: Filtrado de salidas, controles de acceso y anonimización de datos.

LLM03: Vulnerabilidades en la cadena de suministro

• Dependencias de modelos de terceros y seguridad de plugins.
• Conjuntos de datos de entrenamiento comprometidos y envenenamiento de modelos.
• Evaluación de riesgos de proveedores para componentes de IA.
• Buenas prácticas de implementación verificada de modelos seguros.

Ejercicio práctico: Laboratorio práctico que demuestra ataques de inyección de instrucciones contra aplicaciones LLM vulnerables e implementa medidas defensivas.

Módulo 4: Amenazas avanzadas en LLM (1.5 horas)

Temas cubiertos:

LLM04: Envenenamiento de datos y modelos

• Técnicas de manipulación de datos de entrenamiento.
• Modificación del comportamiento del modelo a través de entradas envenenadas.
• Ataques con puertas traseras y verificación de la integridad de los datos.
• Prevención: Pipelines de validación de datos y rastreo de procedencia.

LLM05: Manejo inadecuado de las salidas

• Procesamiento inseguro del contenido generado por LLM.
• Inyección de código a través de salidas generadas por IA.
• Cross-site scripting (XSS) mediante respuestas de IA.
• Marcos de validación y sanitización de salidas.

Ejercicio práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salidas.

Módulo 6: Amenazas avanzadas de LLM (1.5 horas)

Temas cubiertos:

LLM06: Agencia excesiva

• Riesgos de la toma de decisiones autónoma y violaciones de límites.
• Gestión de permisos y autoridad del agente.
• Interacciones inesperadas con el sistema y elevación de privilegios.
• Implementación de barreras de seguridad (guardrails) y controles de supervisión humana.

LLM07: Filtración de instrucciones del sistema

• Vulnerabilidades de exposición de instrucciones del sistema.
• Divulgación de credenciales y lógica a través de prompts.
• Técnicas de ataque para extraer instrucciones del sistema.
• Seguridad de las instrucciones del sistema y configuración externa.

Ejercicio práctico: Diseño de arquitecturas de agentes seguras con controles de acceso y monitoreo apropiados.

Día 2: Amenazas avanzadas e implementación

Módulo 5: Amenazas emergentes en IA (2 horas)

Objetivos de aprendizaje:

• Comprender las amenazas más recientes en seguridad de IA.
• Implementar técnicas avanzadas de detección y prevención.
• Diseñar sistemas de IA resilientes ante ataques sofisticados.

Temas cubiertos:

LLM08: Vulnerabilidades en vectores y embeddings

• Vulnerabilidades de sistemas RAG y seguridad de bases de datos vectoriales.
• Ingeniería de embeddings y ataques de manipulación por similitud.
• Ejemplos adversarios en la búsqueda semántica.
• Seguridad de almacenes vectoriales e implementación de detección de anomalías.

LLM09: Desinformación y confiabilidad del modelo

• Detección y mitigación de alucinaciones.
• Amplificación de sesgos y consideraciones de equidad.
• Mecanismos de verificación de hechos y fuentes.
• Validación de contenido e integración con supervisión humana.

LLM10: Consumo descontrolado

• Agotamiento de recursos y ataques de denegación de servicio (DoS).
• Estrategias de limitación de velocidad y gestión de recursos.
• Optimización de costos y controles presupuestarios.
• Sistemas de monitoreo de rendimiento y alertas.

Ejercicio práctico: Construcción de una pipeline RAG segura con protección de bases de datos vectoriales y detección de alucinaciones.

Módulo 6: Seguridad de IA Agente (Agentic AI) (2 horas)

Objetivos de aprendizaje:

• Comprender los desafíos únicos de seguridad de los agentes autónomos de IA.
• Aplicar la taxonomía OWASP para IA Agente a sistemas del mundo real.
• Implementar controles de seguridad en entornos multi-agente.

Temas cubiertos:

• Introducción a la IA Agente y los sistemas autónomos.
• Taxonomía de amenazas OWASP para IA Agente: Diseño del agente, memoria, planificación, uso de herramientas, implementación.
• Riesgos de coordinación y seguridad en sistemas multi-agente.
• Ataques por mal uso de herramientas, envenenamiento de memoria y secuestro de objetivos.
• Seguridad en la comunicación y los procesos de toma de decisiones de los agentes.

Ejercicio práctico: Ejercicio de modelado de amenazas utilizando la taxonomía OWASP para IA Agente en un sistema multi-agente de atención al cliente.

Módulo 7: Implementación de Threat Defense COMPASS (2 horas)

Objetivos de aprendizaje:

• Dominar la aplicación práctica de Threat Defense COMPASS.
• Integrar la evaluación de amenazas en IA en los programas de seguridad organizacional.
• Desarrollar estrategias integrales de gestión de riesgos en IA.

Temas cubiertos:

• Análisis profundo de la metodología Threat Defense COMPASS.
• Integración del bucle OODA (Observar, Orientar, Decidir, Actuar).
• Mapeo de amenazas a los marcos MITRE ATT&CK y ATLAS.
• Creación de tableros estratégicos para la resiliencia ante amenazas en IA.
• Integración con herramientas y procesos de seguridad existentes.

Ejercicio práctico: Realización de una evaluación completa de amenazas usando COMPASS para un escenario de implementación de Microsoft Copilot.

Módulo 8: Implementación práctica y mejores prácticas (2.5 horas)

Objetivos de aprendizaje:

• Diseñar arquitecturas seguras de IA desde cero.
• Implementar monitoreo y respuesta ante incidentes para sistemas de IA.
• Crear marcos de gobernanza para la seguridad en IA.

Temas cubiertos:

Ciclo de vida del desarrollo seguro de IA:

• Principios de seguridad por diseño para aplicaciones de IA.
• Prácticas de revisión de código para integraciones con LLM.
• Metodologías de prueba y escaneo de vulnerabilidades.
• Seguridad en la implementación y endurecimiento en producción.

Monitoreo y detección:

• Requisitos específicos de registro y monitoreo para IA.
• Detección de anomalías para sistemas de IA.
• Procedimientos de respuesta ante incidentes para eventos de seguridad en IA.
• Técnicas forenses e investigación.

Gobernanza y cumplimiento:

• Frameworks y políticas de gestión de riesgos en IA.
• Consideraciones de cumplimiento regulatorio (GDPR, Ley de IA, etc.).
• Evaluación de riesgos de terceros para proveedores de IA.
• Capacitación en concienciación sobre seguridad para equipos de desarrollo de IA.

Ejercicio práctico: Diseñar una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta ante incidentes.

Módulo 9: Herramientas y tecnologías (1 hora)

Objetivos de aprendizaje:

• Evaluar e implementar herramientas de seguridad para IA.
• Comprender el panorama actual de las soluciones de seguridad en IA.
• Desarrollar capacidades prácticas de detección y prevención.

Temas cubiertos:

• Ecosistema de herramientas de seguridad en IA y panorama de proveedores.
• Herramientas de código abierto para seguridad: Garak, PyRIT, Giskard.
• Soluciones comerciales para la seguridad y monitoreo de IA.
• Patrones de integración y estrategias de implementación.
• Criterios y marcos de evaluación para la selección de herramientas.

Ejercicio práctico: Demostración práctica de herramientas de prueba de seguridad en IA y planificación de la implementación.

Módulo 10: Tendencias futuras y cierre (1 hora)

Objetivos de aprendizaje:

• Comprender las amenazas emergentes y los futuros desafíos de seguridad.
• Desarrollar estrategias de aprendizaje continuo y mejora.
• Crear planes de acción para los programas de seguridad en IA de la organización.

Temas cubiertos:

• Amenazas emergentes: Deepfakes, inyección de instrucciones avanzada e inversión de modelos.
• Desarrollos futuros y hoja de ruta del proyecto OWASP para IA Generativa.
• Creación de comunidades de seguridad en IA y compartición de conocimientos.
• Mejora continua e integración de inteligencia de amenazas.

Ejercicio de planificación de acciones: Desarrollar un plan de acción a 90 días para implementar prácticas de seguridad OWASP para IA Generativa en las organizaciones de los participantes.