Afinamiento de modelos y grandes modelos de lenguaje (LLMs)

Introducción al afinamiento

• ¿Qué es el afinamiento?
• Casos de uso y beneficios del afinamiento.
• Descripción general de modelos preentrenados y aprendizaje por transferencia.

Preparación para el afinamiento

• Recopilación y limpieza de conjuntos de datos.
• Comprensión de los requisitos de datos específicos de la tarea.
• Análisis exploratorio de datos y preprocesamiento.

Técnicas de afinamiento

• Aprendizaje por transferencia y extracción de características.
• Afinamiento de transformadores con Hugging Face.
• Afinamiento para tareas supervisadas frente a no supervisadas.

Afinamiento de grandes modelos de lenguaje (LLMs)

• Adaptación de LLMs para tareas de PLN (clasificación de texto, resumen, etc.).
• Entrenamiento de LLMs con conjuntos de datos personalizados.
• Control del comportamiento de los LLMs mediante ingeniería de instrucciones (prompt engineering).

Optimización y evaluación

• Ajuste de hiperparámetros.
• Evaluación del rendimiento del modelo.
• Abordaje del sobreajuste (overfitting) y el subajuste (underfitting).

Escalado de esfuerzos de afinamiento

• Afinamiento en sistemas distribuidos.
• Aprovechamiento de soluciones basadas en la nube para la escalabilidad.
• Casos de estudio: proyectos de afinamiento a gran escala.

Mejores prácticas y desafíos

• Mejores prácticas para el éxito del afinamiento.
• Desafíos comunes y resolución de problemas.
• Consideraciones éticas en el afinamiento de modelos de IA.

Tópicos avanzados (opcionales)

• Afinamiento de modelos multimodales.
• Aprendizaje cero muestras (zero-shot) y pocas muestras (few-shot).
• Exploración de técnicas LoRA (Adaptación de Bajo Rango).

Resumen y siguientes pasos