Temario del curso
Día 1: Fundamentos y Amenazas Principales
Módulo 1: Introducción al Proyecto de Seguridad OWASP para IA Generativa (1 hora)
Objetivos de Aprendizaje:
- Comprender la evolución desde el OWASP Top 10 hacia los desafíos de seguridad específicos de IA Generativa.
- Explorar el ecosistema y los recursos del Proyecto de Seguridad OWASP para IA Generativa.
- Identificar las diferencias clave entre la seguridad de aplicaciones tradicionales y la seguridad de IA.
Temas Cubiertos:
- Descripción general de la misión y el alcance del Proyecto de Seguridad OWASP para IA Generativa.
- Introducción al marco Threat Defense COMPASS.
- Comprensión del panorama de seguridad de IA y los requisitos regulatorios.
- Superficies de ataque de IA frente a vulnerabilidades de aplicaciones web tradicionales.
Ejercicio Práctico: Configuración de la herramienta OWASP Threat Defense COMPASS y realización de una evaluación inicial de amenazas.
Módulo 2: OWASP Top 10 para LLM - Parte 1 (2.5 horas)
Objetivos de Aprendizaje:
- Dominar las cinco vulnerabilidades críticas iniciales de LLM.
- Comprender vectores de ataque y técnicas de explotación.
- Aplicar estrategias prácticas de mitigación.
Temas Cubiertos:
LLM01: Inyección de Instrucciones (Prompt Injection)
- Técnicas de inyección directa e indirecta de instrucciones.
- Ataques de instrucciones ocultas y contaminación cruzada entre instrucciones.
- Ejemplos prácticos: Jailbreaking (romper restricciones) en chatbots y elusión de medidas de seguridad.
- Estrategias de defensa: Sanitización de entrada, filtrado de instrucciones, privacidad diferencial.
LLM02: Divulgación de Información Sensible
- Extracción de datos de entrenamiento y filtración de instrucciones del sistema.
- Análisis del comportamiento del modelo para la exposición de información sensible.
- Implicaciones de privacidad y consideraciones de cumplimiento normativo.
- Mitigación: Filtrado de salida, controles de acceso, anonimización de datos.
LLM03: Vulnerabilidades en la Cadena de Suministro
- Dependencias de modelos de terceros y seguridad de plugins.
- Conjuntos de datos de entrenamiento comprometidos y envenenamiento de modelos.
- Evaluación de riesgos de proveedores para componentes de IA.
- Prácticas seguras de despliegue y verificación de modelos.
Ejercicio Práctico: Laboratorio práctico que demuestra ataques de inyección de instrucciones contra aplicaciones LLM vulnerables e implementación de medidas defensivas.
Módulo 3: OWASP Top 10 para LLM - Parte 2 (2 horas)
Temas Cubiertos:
LLM04: Envenenamiento de Datos y Modelos
- Técnicas de manipulación de datos de entrenamiento.
- Modificación del comportamiento del modelo a través de entradas contaminadas.
- Ataques de puerta trasera y verificación de la integridad de los datos.
- Prevención: Pipelines de validación de datos, trazabilidad del origen (provenance).
LLM05: Manejo Inapropiado de la Salida
- Procesamiento inseguro del contenido generado por LLM.
- Inyección de código a través de salidas generadas por IA.
- Cross-site scripting (XSS) a través de respuestas de IA.
- Marcos de validación y sanitización de salida.
Ejercicio Práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salida.
Módulo 4: Amenazas Avanzadas de LLM (1.5 horas)
Temas Cubiertos:
LLM06: Agencia Excesiva (Excessive Agency)
- Riesgos de toma de decisiones autónoma y violaciones de límites.
- Autoridad del agente y gestión de permisos.
- Interacciones no deseadas con el sistema y escalada de privilegios.
- Implementación de barreras de protección (guardrails) y controles de supervisión humana.
LLM07: Filtración de Instrucciones del Sistema
- Vulnerabilidades de exposición de instrucciones del sistema.
- Divulgación de credenciales y lógica a través de instrucciones.
- Técnicas de ataque para extraer instrucciones del sistema.
- Protección de instrucciones del sistema y configuración externa.
Ejercicio Práctico: Diseño de arquitecturas de agentes seguras con controles de acceso y monitoreo apropiados.
Día 2: Amenazas Avanzadas e Implementación
Módulo 5: Amenazas Emergentes de IA (2 horas)
Objetivos de Aprendizaje:
- Comprender las amenazas de seguridad de IA más recientes.
- Implementar técnicas avanzadas de detección y prevención.
- Diseñar sistemas de IA resilientes frente a ataques sofisticados.
Temas Cubiertos:
LLM08: Debilidades en Vectores y Embeddings
- Vulnerabilidades de sistemas RAG y seguridad de bases de datos vectoriales.
- Envenenamiento de embeddings y ataques de manipulación de similitud.
- Ejemplos adversarios en búsqueda semántica.
- Protección de almacenes vectoriales e implementación de detección de anomalías.
LLM09: Desinformación y Confiabilidad del Modelo
- Detección y mitigación de alucinaciones.
- Amplificación de sesgos y consideraciones de equidad.
- Mecanismos de verificación de hechos y fuentes.
- Validación de contenido e integración de supervisión humana.
LLM10: Consumo Sin Límites (Unbounded Consumption)
- Agotamiento de recursos y ataques de denegación de servicio.
- Estrategias de limitación de velocidad (rate limiting) y gestión de recursos.
- Optimización de costos y controles presupuestarios.
- Sistemas de monitoreo de rendimiento y alertas.
Ejercicio Práctico: Construcción de una tubería RAG segura con protección de base de datos vectorial y detección de alucinaciones.
Módulo 6: Seguridad de IA Agéntica (2 horas)
Objetivos de Aprendizaje:
- Comprender los desafíos únicos de seguridad de los agentes de IA autónomos.
- Aplicar la taxonomía OWASP para IA Agéntica a sistemas del mundo real.
- Implementar controles de seguridad para entornos multi-agente.
Temas Cubiertos:
- Introducción a la IA Agéntica y sistemas autónomos.
- Taxonomía de Amenazas OWASP para IA Agéntica: Diseño del Agente, Memoria, Planificación, Uso de Herramientas, Despliegue.
- Riesgos de coordinación y seguridad en sistemas multi-agente.
- Ataques de mal uso de herramientas, envenenamiento de memoria y secuestro de objetivos (goal hijacking).
- Protección de la comunicación y los procesos de toma de decisiones del agente.
Ejercicio Práctico: Ejercicio de modelado de amenazas utilizando la taxonomía OWASP para IA Agéntica en un sistema de atención al cliente multi-agente.
Módulo 7: Implementación del OWASP Threat Defense COMPASS (2 horas)
Objetivos de Aprendizaje:
- Dominar la aplicación práctica de Threat Defense COMPASS.
- Integrar la evaluación de amenazas en IA en los programas de seguridad organizacionales.
- Desarrollar estrategias integrales de gestión de riesgos de IA.
Temas Cubiertos:
- Análisis profundo de la metodología Threat Defense COMPASS.
- Integración del ciclo OODA: Observar, Orientar, Decidir, Actuar.
- Mapeo de amenazas a los marcos MITRE ATT&CK y ATLAS.
- Construcción de Paneles de Estrategia de Resiliencia ante Amenazas en IA.
- Integración con herramientas y procesos de seguridad existentes.
Ejercicio Práctico: Realización de una evaluación completa de amenazas utilizando COMPASS para un escenario de despliegue de Microsoft Copilot.
Módulo 8: Implementación Práctica y Mejores Prácticas (2.5 horas)
Objetivos de Aprendizaje:
- Diseñar arquitecturas de IA seguras desde cero.
- Implementar monitoreo y respuesta a incidentes para sistemas de IA.
- Crear marcos de gobernanza para la seguridad de IA.
Temas Cubiertos:
Ciclo de Desarrollo Seguro de IA:
- Principios de seguridad por diseño para aplicaciones de IA.
- Prácticas de revisión de código para integraciones de LLM.
- Metodologías de prueba y escaneo de vulnerabilidades.
- Seguridad en el despliegue y endurecimiento (hardening) en producción.
Monitoreo y Detección:
- Requisitos específicos de registro (logging) y monitoreo para IA.
- Detección de anomalías para sistemas de IA.
- Procedimientos de respuesta a incidentes para eventos de seguridad en IA.
- Técnicas forenses y de investigación.
Gobernanza y Cumplimiento:
- Marcos y políticas de gestión de riesgos de IA.
- Consideraciones de cumplimiento regulatorio (RGPD, Ley de IA, etc.).
- Evaluación de riesgos de terceros para proveedores de IA.
- Capacitación en concienciación sobre seguridad para equipos de desarrollo de IA.
Ejercicio Práctico: Diseñar una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta a incidentes.
Módulo 9: Herramientas y Tecnologías (1 hora)
Objetivos de Aprendizaje:
- Evaluar e implementar herramientas de seguridad para IA.
- Comprender el panorama actual de soluciones de seguridad para IA.
- Construir capacidades prácticas de detección y prevención.
Temas Cubiertos:
- Ecosistema de herramientas de seguridad para IA y panorama de proveedores.
- Herramientas de código abierto: Garak, PyRIT, Giskard.
- Soluciones comerciales para seguridad y monitoreo de IA.
- Patrones de integración y estrategias de despliegue.
- Criterios de selección de herramientas y marcos de evaluación.
Ejercicio Práctico: Demostración práctica de herramientas de prueba de seguridad para IA y planificación de la implementación.
Módulo 10: Tendencias Futuras y Cierre (1 hora)
Objetivos de Aprendizaje:
- Comprender las amenazas emergentes y los futuros desafíos de seguridad.
- Desarrollar estrategias de aprendizaje continuo y mejora.
- Crear planes de acción para programas de seguridad de IA organizacionales.
Temas Cubiertos:
- Amenazas emergentes: Deepfakes, inyección de instrucciones avanzada, inversión de modelos.
- Desarrollos futuros del proyecto OWASP GenAI y hoja de ruta.
- Construcción de comunidades de seguridad de IA y compartición de conocimientos.
- Mejora continua e integración de inteligencia de amenazas.
Ejercicio de Planificación de Acción: Desarrollar un plan de acción de 90 días para implementar prácticas de seguridad OWASP GenAI en las organizaciones de los participantes.
Requerimientos
- Comprensión general de los principios de seguridad de aplicaciones web.
- Familiaridad básica con conceptos de IA/ML.
- Preferiblemente experiencia con marcos de seguridad o metodologías de evaluación de riesgos.
Audiencia
- Profesionales de ciberseguridad.
- Desarrolladores de IA.
- Arquitectos de sistemas.
- Oficiales de cumplimiento normativo.
- Profesionales de seguridad informática.
Reseñas (1)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
