Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Opciones de Despliegue
- Compensaciones entre API alojada y autoalojada
- Patrones en local, en el borde y aislados (air-gapped)
- Modelo único frente a cartera de modelos
- Comparación del costo por decisión
Dimensionamiento de Hardware y Capacidad
- Huella de memoria según la cantidad de parámetros
- Solo CPU frente a aceleración por GPU
- Planificación de concurrencia y throughput
- Margen para el crecimiento de la longitud de la tarea
Stacks de Servicio
- Opciones de vLLM y SGLang
- Ejecución con llama.cpp y GGUF
- Ollama para desarrollo local
- Elección basada en la forma de la carga de trabajo de decisión
Cuantización sin Pérdida de Calibración
- Formatos de precisión y ahorros de memoria
- Medición de la pérdida de calidad y calibración
- Variantes por tensor y conscientes de la importancia
- Pruebas de aceptación tras la cuantización
Ingeniería de Latencia
- Latencia mediana frente a latencia en la cola (tail latency)
- Crecimiento de la latencia con la longitud del contexto
- Arranque en caliente y caché de modelos
- Loteo (batching) de múltiples preguntas de decisión
Entornos de Borde y Restringidos
- Pequeños modelos de decisión en CPU
- Despliegue en Apple Silicon y sistemas embebidos
- Operación sin conexión y estrategia de actualización
- Distribución de pesos en entornos aislados
Contenerización y Escalado
- Diseño de imágenes para servicio de modelos
- Gestión de volúmenes y caché
- Escala horizontal y enrutamiento
- Límites de recursos y compartición de GPU
Observabilidad
- Métricas de solicitudes, latencia y errores
- Monitoreo de la distribución de confianza
- Rastreo del resultado de la decisión y las escalaciones
- Alertas por derivación de calibración (calibration drift)
Versionado e Implementación
- Versionado de modelos y adaptadores
- Despliegue sombra y canario
- Archivos de modelo fijados para auditoría
- Procedimientos de reversión
Seguridad y Multiinquinancia
- Autenticación y limitación de tasa (rate limiting)
- Aislamiento de inquilinos para indicaciones (prompts) y registros
- Aislamiento de red y control de salida (egress)
- Registro de auditoría de decisiones
Requerimientos
- Experiencia en administración de Linux y contenedores.
- Familiaridad con servidores de inferencia de modelos y gestión de GPUs.
- Comprensión básica de APIs REST, balanceo de carga y monitoreo.
Público Objetivo
- Ingenieros de MLOps y de plataforma que gestionan infraestructura de inferencia
- Equipos SRE que brindan soporte a servicios de IA
- Ingenieros de IA que despliegan modelos de decisión en las instalaciones
- Arquitectos que diseñan despliegues de IA aislados o regulados
