Fine-tuning mediante Refuerzo por Aprendizaje a partir de Retroalimentación Humana (RLHF)
El Refuerzo por Aprendizaje a partir de Retroalimentación Humana (RLHF) es un método de vanguardia utilizado para el ajuste fino (fine-tuning) de modelos como ChatGPT y otros sistemas de IA de primera clase.
Esta capacitación en vivo con instructor (en línea o presencial) está dirigida a ingenieros de machine learning e investigadores de IA de nivel avanzado que desean aplicar RLHF para afinar modelos de IA grandes, logrando un rendimiento, seguridad y alineación superiores.
Al finalizar esta capacitación, los participantes serán capaces de:
- Comprender los fundamentos teóricos de RLHF y por qué es esencial en el desarrollo moderno de IA.
- Implementar modelos de recompensa basados en retroalimentación humana para guiar los procesos de aprendizaje por refuerzo.
- Afinar modelos de lenguaje grandes utilizando técnicas de RLHF para alinear las salidas con las preferencias humanas.
- Aplicar mejores prácticas para escalar flujos de trabajo de RLHF para sistemas de IA de grado de producción.
Formato del Curso
- Conferencia interactiva y discusión.
- Abundantes ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar una capacitación personalizada para este curso, contáctenos para hacer la gestión.
Temario del curso
Introducción al Refuerzo por Aprendizaje a partir de Retroalimentación Humana (RLHF)
- ¿Qué es RLHF y por qué es importante?
- Comparación con métodos de ajuste fino supervisado.
- Aplicaciones de RLHF en sistemas de IA modernos.
Modelado de Recompensas con Retroalimentación Humana
- Recopilación y estructuración de la retroalimentación humana.
- Construcción y entrenamiento de modelos de recompensa.
- Evaluación de la efectividad de los modelos de recompensa.
Entrenamiento con Optimización de Política Proximal (PPO)
- Resumen de los algoritmos de PPO para RLHF.
- Implementación de PPO con modelos de recompensa.
- Afinación iterativa y segura de modelos.
Ajuste Fino Práctico de Modelos de Lenguaje
- Preparación de conjuntos de datos para flujos de trabajo de RLHF.
- Ajuste fino práctico de un LLM pequeño utilizando RLHF.
- Desafíos y estrategias de mitigación.
Escala de RLHF a Sistemas de Producción
- Consideraciones de infraestructura y cómputo.
- Garantía de calidad y bucles de retroalimentación continua.
- Mejores prácticas para implementación y mantenimiento.
Consideraciones Éticas y Mitigación de Sesgos
- Abordaje de riesgos éticos en la retroalimentación humana.
- Estrategias de detección y corrección de sesgos.
- Garantizar la alineación y salidas seguras.
Estudios de Caso y Ejemplos del Mundo Real
- Estudio de caso: Ajuste fino de ChatGPT con RLHF.
- Otros despliegues exitosos de RLHF.
- Lecciones aprendidas e insights de la industria.
Requerimientos
- Comprensión de los fundamentos del aprendizaje supervisado y del aprendizaje por refuerzo.
- Experiencia en el ajuste fino de modelos y arquitecturas de redes neuronales.
- Conocimiento de programación en Python y marcos de aprendizaje profundo (p. ej., TensorFlow, PyTorch).
Audiencia
- Ingenieros de machine learning.
- Investigadores de IA.
Los cursos públicos requieren más de 5 participantes.
Fine-tuning mediante Refuerzo por Aprendizaje a partir de Retroalimentación Humana (RLHF) - Reserva
Fine-tuning mediante Refuerzo por Aprendizaje a partir de Retroalimentación Humana (RLHF) - Consulta
Fine-tuning mediante Refuerzo por Aprendizaje a partir de Retroalimentación Humana (RLHF) - Solicitud de consultoría
Próximos cursos
Cursos Relacionados
Ajuste fino avanzado y gestión de prompts en Vertex AI
14 HorasEsta capacitación dirigida por un instructor en México cubre el ajuste fino avanzado y la gestión de prompts en Vertex AI, ayudando a los profesionales de nivel intermedio y avanzado a optimizar los modelos Gemini, implementar flujos de trabajo de evaluación rigurosos y desplegar soluciones de IA generativa confiables para entornos empresariales del mundo real.
Técnicas avanzadas en el aprendizaje por transferencia
14 HorasEsta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a profesionales avanzados en aprendizaje automático que deseen dominar las técnicas de vanguardia en aprendizaje por transferencia y aplicarlas a problemas complejos del mundo real.
Al finalizar esta formación, los participantes podrán:
- Comprender los conceptos y metodologías avanzadas del aprendizaje por transferencia.
- Implementar técnicas de adaptación específica del dominio para modelos preentrenados.
- Aplicar el aprendizaje continuo para gestionar tareas y conjuntos de datos en evolución.
- Dominar el ajuste fino multitarea para mejorar el rendimiento del modelo en diversas tareas.
Estrategias de Aprendizaje Continuo y Actualización de Modelos para Modelos Ajustados Finalemente
14 HorasEsta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a ingenieros de mantenimiento de IA de nivel avanzado y profesionales de MLOps que deseen implementar pipelines robustos de aprendizaje continuo y estrategias de actualización efectivas para modelos implementados y ajustados finalemente.
Al finalizar esta formación, los participantes serán capaces de:
- Diseñar e implementar flujos de trabajo de aprendizaje continuo para modelos implementados.
- Mitigar el olvido catastrófico mediante una gestión adecuada del entrenamiento y la memoria.
- Automatizar las monitorizaciones y los disparadores de actualización basados en la deriva del modelo o cambios en los datos.
- Integrar estrategias de actualización de modelos en pipelines existentes de CI/CD y MLOps.
Despliegue de Modelos Afinados en Producción
21 HorasEsta formación, impartida por un instructor y disponible en vivo México (en línea o presencial), está dirigida a profesionales de nivel avanzado que deseen desplegar modelos afinados de manera fiable y eficiente.
Al finalizar esta formación, los participantes serán capaces de:
- Comprender los desafíos asociados al despliegue de modelos afinados en producción.
- Contenerizar y desplegar modelos utilizando herramientas como Docker y Kubernetes.
- Implementar supervisión y registro (logging) para los modelos desplegados.
- Optimizar los modelos en cuanto a latencia y escalabilidad en escenarios del mundo real.
Ajuste fino específico del dominio para finanzas
21 HorasEsta capacitación en vivo impartida por un instructor en México (en línea o en persona) está dirigida a profesionales de nivel intermedio que desean adquirir habilidades prácticas para personalizar modelos de IA para tareas financieras críticas.
Al finalizar esta capacitación, los participantes podrán:
- Comprender los fundamentos del ajuste fino para aplicaciones financieras.
- Explotar modelos preentrenados para tareas específicas del dominio financiero.
- Aplicar técnicas para la detección de fraudes, la evaluación de riesgos y la generación de asesoría financiera.
- Garantizar el cumplimiento de regulaciones financieras como el RGPD y SOX.
- Implementar prácticas de seguridad de datos y de IA ética en aplicaciones financieras.
Afinamiento de modelos y grandes modelos de lenguaje (LLMs)
14 HorasEsta capacitación en vivo con instrucción directa en México (en línea o presencial) está dirigida a profesionales de nivel intermedio a avanzado que deseen personalizar modelos preentrenados para tareas y conjuntos de datos específicos.
Al finalizar esta capacitación, los participantes serán capaces de:
- Comprender los principios del afinamiento y sus aplicaciones.
- Preparar conjuntos de datos para el afinamiento de modelos preentrenados.
- Afinar grandes modelos de lenguaje (LLMs) para tareas de PLN (Procesamiento de Lenguaje Natural).
- Optimizar el rendimiento del modelo y abordar desafíos comunes.
Ajuste fino eficiente con Adaptación de Bajo Rango (LoRA)
14 HorasEsta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a desarrolladores y profesionales de la IA de nivel intermedio que deseen implementar estrategias de ajuste fino para modelos grandes sin necesidad de recursos computacionales extensos.
Al finalizar esta formación, los participantes podrán:
- Comprender los principios de la Adaptación de Bajo Rango (LoRA).
- Implementar LoRA para un ajuste fino eficiente de modelos grandes.
- Optimizar el ajuste fino en entornos con recursos limitados.
- Evaluar y desplegar modelos ajustados con LoRA para aplicaciones prácticas.
Afinamiento de Modelos Multimodales
28 HorasEsta capacitación en vivo dirigida por un instructor en México (en línea o presencial) está orientada a profesionales de nivel avanzado que desean dominar el afinamiento de modelos multimodales para soluciones de IA innovadoras.
Al finalizar esta capacitación, los participantes serán capaces de:
- Comprender la arquitectura de modelos multimodales como CLIP y Flamingo.
- Preparar y preprocesar conjuntos de datos multimodales de manera efectiva.
- Afinar modelos multimodales para tareas específicas.
- Optimizar los modelos para aplicaciones del mundo real y rendimiento.
Ajuste fino para Procesamiento del Lenguaje Natural (NLP)
21 HorasEsta capacitación en vivo con instructores en México (en línea o presencial) está dirigida a profesionales de nivel intermedio que desean mejorar sus proyectos de NLP mediante el ajuste efectivo de modelos lingüísticos preentrenados.
Al finalizar esta capacitación, los participantes podrán:
- Comprender los fundamentos del ajuste fino para tareas de NLP.
- Realizar el ajuste fino de modelos preentrenados como GPT, BERT y T5 para aplicaciones específicas de NLP.
- Optimizar hiperparámetros para mejorar el rendimiento del modelo.
- Evaluar e implementar modelos ajustados en escenarios del mundo real.
Ajuste Fino de IA para Servicios Financieros: Predicción de Riesgos y Detección de Fraude
14 HorasEsta capacitación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a científicos de datos e ingenieros de IA de nivel avanzado en el sector financiero que desean realizar ajustes finos a modelos para aplicaciones como la evaluación de crédito, la detección de fraude y la modelización de riesgos, utilizando datos financieros propios del dominio.
Al finalizar esta capacitación, los participantes serán capaces de:
- Realizar ajustes finos a modelos de IA en conjuntos de datos financieros para mejorar la predicción de fraudes y riesgos.
- Aplicar técnicas como el aprendizaje por transferencia, LoRA y la regularización para aumentar la eficiencia del modelo.
- Integrar consideraciones de cumplimiento financiero en el flujo de trabajo de modelización con IA.
- Implementar modelos ajustados fino en entornos de producción en plataformas de servicios financieros.
Ajuste fino de IA para la atención médica: Diagnóstico médico y análisis predictivo
14 HorasEsta formación en vivo impartida por instructores en México (en línea o presencial) está dirigida a desarrolladores de IA médica y científicos de datos de nivel intermedio a avanzado que deseen realizar ajustes finos en modelos para el diagnóstico clínico, la predicción de enfermedades y la previsión de resultados en pacientes, utilizando datos médicos estructurados y no estructurados.
Al finalizar esta formación, los participantes serán capaces de:
- Realizar ajustes finos a modelos de IA con conjuntos de datos de atención médica que incluyen Historias Clínicas Electrónicas (HCE), imágenes y datos de series temporales.
- Aplicar el aprendizaje por transferencia, la adaptación al dominio y la compresión de modelos en contextos médicos.
- Abordar cuestiones de privacidad, sesgo y cumplimiento normativo en el desarrollo de modelos.
- Desplegar y monitorear modelos ajustados en entornos reales de atención médica.
Ajuste fino (fine-tuning) de DeepSeek LLM para modelos de IA personalizados
21 HorasEsta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a investigadores avanzados de IA, ingenieros de aprendizaje automático y desarrolladores que desean realizar ajuste fino de modelos DeepSeek LLM para crear aplicaciones de IA especializadas adaptadas a industrias, dominios o necesidades empresariales específicas.
Al finalizar esta formación, los participantes serán capaces de:
- Comprender la arquitectura y las capacidades de los modelos DeepSeek, incluyendo DeepSeek-R1 y DeepSeek-V3.
- Preparar conjuntos de datos y preprocesar datos para el ajuste fino.
- Realizar ajuste fino de DeepSeek LLM para aplicaciones específicas del dominio.
- Optimizar e implementar los modelos ajustados de manera eficiente.
Ajuste fino de la IA de defensa para sistemas autónomos y vigilancia
14 HorasEsta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a ingenieros avanzados de IA de defensa y desarrolladores de tecnología militar que deseen realizar un ajuste fino de modelos de aprendizaje profundo para su uso en vehículos autónomos, drones y sistemas de vigilancia, cumpliendo con estrictos estándares de seguridad y confiabilidad.
Al finalizar esta formación, los participantes podrán:
- Realizar un ajuste fino de modelos de visión por computadora y fusión de sensores para tareas de vigilancia y puntería.
- Adaptar sistemas de IA autónoma a entornos y perfiles de misión en cambio.
- Implementar mecanismos robustos de validación y seguridad (fail-safe) en los flujos de trabajo de los modelos.
- Garantizar el cumplimiento de las normativas específicas de defensa relacionadas con la conformidad, la seguridad y la protección de datos.
Ajuste fino de modelos de IA para el sector legal: Revisión de contratos e investigación jurídica
14 HorasEsta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a ingenieros de tecnología jurídica y desarrolladores de IA de nivel intermedio que desean aplicar ajuste fino a modelos de lenguaje para tareas como el análisis de contratos, la extracción de cláusulas y la investigación legal automatizada en entornos de servicios jurídicos.
Al finalizar esta formación, los participantes serán capaces de:
- Preparar y limpiar documentos legales para el ajuste fino de modelos de PLN.
- Aplicar estrategias de ajuste fino para mejorar la precisión del modelo en tareas jurídicas.
- Implementar los modelos para apoyar la revisión, clasificación e investigación de contratos.
- Garantizar el cumplimiento normativo, la auditoría y la trazabilidad de las salidas de IA en contextos legales.
Ajuste fino de Modelos de Lenguaje Grande usando QLoRA
14 HorasEsta formación en vivo dirigida por un instructor en México (en línea o presencial) está dirigida a ingenieros de aprendizaje automático de nivel intermedio a avanzado, desarrolladores de IA y científicos de datos que deseen aprender a utilizar QLoRA para ajustar finamente grandes modelos de manera eficiente para tareas específicas y personalizaciones.
Al finalizar esta formación, los participantes serán capaces de:
- Comprender la teoría detrás de QLoRA y las técnicas de cuantificación para LLMs.
- Implementar QLoRA en el ajuste fino de modelos de lenguaje grande para aplicaciones específicas de un dominio.
- Optimizar el rendimiento del ajuste fino con recursos computacionales limitados mediante la cuantificación.
- Desplegar y evaluar modelos ajustados finamente en aplicaciones del mundo real de manera eficiente.