Flujos de trabajo de LLM multimodales en Vertex AI

Introducción a los LLM multimodales en Vertex AI

• Resumen de las capacidades multimodales en Vertex AI
• Modelos Gemini y modalidades compatibles
• Casos de uso en el sector empresarial y la investigación

Configuración del Entorno de Desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales
• Trabajo con conjuntos de datos entre modalidades
• Laboratorio práctico: configuración del entorno y preparación de conjuntos de datos

Ventanas de Contexto Extensos y Razonamiento Avanzado

• Comprensión de los flujos de trabajo de contexto extenso
• Casos de uso en la planificación y toma de decisiones
• Laboratorio práctico: implementación de análisis de contexto extenso

Diseño de Flujos de Trabajo Intermodales

• Combinación del análisis de texto, audio e imágenes
• Encadenamiento de pasos multimodales en canalizaciones
• Laboratorio práctico: diseño de una canalización multimodal

Trabajo con Parámetros de la API de Gemini

• Configuración de entradas y salidas multimodales
• Optimización de la inferencia y la eficiencia
• Laboratorio práctico: ajuste de parámetros de la API de Gemini

Aplicaciones Avanzadas e Integraciones

• Agentes y asistentes multimodales interactivos
• Integración de APIs y herramientas externas
• Laboratorio práctico: construcción de una aplicación multimodal

Evaluación e Iteración

• Pruebas de rendimiento multimodal
• Métricas de precisión, alineación y deriva
• Laboratorio práctico: evaluación de flujos de trabajo multimodales

Resumen y Próximos Pasos