Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y fundamentos del diagnóstico
- Vista general de los modos de fallo en sistemas de LLM y problemas específicos de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Kit de herramientas de depuración: registros locales, capturas de solicitudes/respuestas y entornos aislados (sandboxing)
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos de fallo y semillas (seeds)
- Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación del comportamiento y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y aproximaciones de perplexidad
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas
- Verificaciones de fidelidad específicas de la tarea y criterios de aceptación
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenario y de extremo a extremo
- Creación de suites de regresión y baselines de ejemplos de referencia (golden examples)
- Integración en CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizadas
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, tableros de control (dashboards) y SLIs/SLOs para servicios respaldados por modelos
Avanzado en análisis de causas raíz
- Seguimiento de prompts en grafos, llamadas a herramientas y flujos de múltiples turnos
- Diagnóstico comparativo A/B y estudios de ablación
- Origen de los datos, depuración de conjuntos de datos y abordaje de fallos inducidos por datos
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, anclaje (grounding), aumento de recuperación (retrieval augmentation) y andamiaje de prompts
- Patrones de reversión (rollback), canarizado y despliegue gradual para actualizaciones de modelos
- Post-mortems, lecciones aprendidas y ciclos de mejora continua
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en la construcción y despliegue de aplicaciones de LLM
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
- Manejo cómodo de Python, Docker y herramientas básicas de observabilidad
Público objetivo
- Ingenieros de IA
- Profesionales de MLOps
- Equipos de QA responsables de sistemas de LLM en producción