Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Fundamentos de Tencent Hunyuan en Producción
- Descripción general de los escenarios de servicio de modelos Tencent Hunyuan.
- Características de producción de modelos grandes y MoE.
- Cuellos de botella comunes de latencia, rendimiento (throughput) y costos.
- Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia.
Arquitectura de despliegue y flujo de servicio
- Componentes principales de una pila de inferencia en producción.
- Elegir entre modelos de despliegue con contenedores, local o en la nube.
- Fundamentos de carga de modelo, enrutamiento de solicitudes y asignación de GPU.
- Diseño para confiabilidad y simplicidad operativa.
Optimización de latencia en la práctica
- Uso de motores de inferencia optimizados como TensorRT, donde sea aplicable.
- Conceptos de KV-cache y ajuste práctico del caché.
- Reducción de la sobrecarga de inicio, calentamiento (warmup) y respuesta.
- Medición del tiempo hasta el primer token y la velocidad de generación de tokens.
Rendimiento, Agrupamiento y Eficiencia de GPU
- Estrategias de agrupamiento continuo y agrupamiento por solicitudes.
- Gestión de concurrencia y comportamiento de la cola.
- Mejora del aprovechamiento de las GPU sin perjudicar la experiencia del usuario.
- Gestión de solicitudes de contexto largo y cargas de trabajo mixtas.
Cuantización y Control de Costos
- Por qué es importante la cuantización para el servicio en producción.
- Compensaciones prácticas entre FP16, INT8 y otras opciones de precisión comunes.
- Equilibrio entre calidad del modelo, latencia y costos de infraestructura.
- Construcción de una lista de verificación simple para la optimización de costos.
Operaciones, Monitoreo y Revisión de Preparación
- Activadores de autoscaling para servicios de inferencia.
- Monitoreo de latencia, rendimiento (throughput), uso de caché y salud de las GPU.
- Fundamentos de registro de eventos (logging), alertas y respuesta a incidentes.
- Revisión de un despliegue de referencia y creación de un plan de mejora.
Requerimientos
- Comprensión básica de los flujos de trabajo de despliegue e inferencia de modelos de lenguaje grande (LLM).
- Experiencia con contenedores, infraestructura en la nube o local, y servicios basados en API.
- Conocimiento práctico de Python o tareas de ingeniería de sistemas.
Público objetivo
- Ingenieros de ML que despliegan LLMs en producción.
- Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
- Arquitectos de soluciones que diseñan plataformas de servicio de IA escalables.
