Construcción de aplicaciones LLM seguras y responsables

Visión general de la arquitectura LLM y superficie de ataque

• Cómo se construyen, implementan y acceden a los LLMs mediante APIs
• Componentes clave en las pilas de aplicaciones LLM (por ejemplo, prompts, agentes, memoria, APIs)
• Dónde y cómo surgen los problemas de seguridad en el uso del mundo real

Inyección de prompts y ataques de jailbreak

• Qué es la inyección de prompts y por qué es peligrosa
• Escenarios de inyección directa e indirecta de prompts
• Técnicas de jailbreak para eludir filtros de seguridad
• Estrategias de detección y mitigación

Fugas de datos y riesgos de privacidad

• Exposición accidental de datos a través de respuestas
• Fugas de información personal identificable (PII) y mal uso de la memoria del modelo
• Diseño de prompts conscientes de la privacidad y generación aumentada con recuperación (RAG)

Filtrado y protección de salidas LLM

• Uso de Guardrails AI para filtrado de contenido y validación
• Definición de esquemas y restricciones de salida
• Monitoreo y registro de salidas inseguras

Enfoques de bucle humano y flujo de trabajo

• Dónde y cuándo introducir supervisión humana
• Colas de aprobación, umbrales de puntuación y manejo de fallback
• Calibración de confianza y papel de la explicabilidad

Patrones de diseño seguros para aplicaciones LLM

• Principio de mínimo privilegio y sandboxing para llamadas API y agentes
• Límite de tasa, control de flujo y detección de abuso
• Cadenado robusto con LangChain y aislamiento de prompts

Compliance, registro y gobernanza

• Asegurar la auditabilidad de las salidas LLM
• Mantener trazabilidad y control de versiones de prompts
• Alinearse con políticas internas de seguridad y necesidades regulatorias

Resumen y próximos pasos