Taller de Migración con Databricks: De Procedimientos Almacenados al Lakehouse (Intensivo de 5 Días)

Introducción, Objetivos y Estrategia de Migración

• Metas del curso, alineación con el perfil del participante y criterios de éxito
• Enfoques de migración de alto nivel y consideraciones de riesgo
• Configuración de espacios de trabajo, repositorios y datasets para el laboratorio

Día 1 — Fundamentos de la Migración y Arquitectura

• Conceptos Lakehouse, panorama general de Delta Lake y arquitectura de Databricks
• Diferencias e implicaciones entre SMP (Shared-Processing) y MPP (Parallel Processing) para la migración
• Diseño Medallón (Bronce→Plata→Oro) y panorama general de Unity Catalog

Laboratorio del Día 1 — Traducir un Procedimiento Almacenado

• Migración práctica de un procedimiento almacenado de ejemplo a un Notebook
• Mapeo de tablas temporales y cursores a transformaciones de DataFrame
• Validación y comparación con el resultado original

Día 2 — Delta Lake Avanzado y Carga Incremental

• Transacciones ACID, registros de confirmación (commit logs), versionado y viaje en el tiempo (time travel)
• Auto Loader, patrones MERGE INTO, actualizaciones combinadas (upserts) y evolución del esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionamiento y ajuste de almacenamiento

Laboratorio del Día 2 — Ingesta Incremental y Optimización

• Implementación de ingesta con Auto Loader y flujos de trabajo MERGE
• Aplicación de OPTIMIZE, Z-ORDER y VACUUM; validación de resultados
• Medición de mejoras en el rendimiento de lectura/escritura

Día 3 — SQL en Databricks, Rendimiento y Depuración

• Funcionalidades SQL analíticas: funciones de ventana, funciones de orden superior y manejo de JSON/arrays
• Interpretación de Spark UI, DAGs, shuffles, etapas (stages), tareas y diagnóstico de cuellos de botella
• Patrones de ajuste de consultas: joins por emisión (broadcast joins), hints, almacenamiento en caché y reducción de derrames (spilling)

Laboratorio del Día 3 — Reingeniería de SQL y Ajuste de Rendimiento

• Reingeniería de un proceso SQL pesado en Spark SQL optimizado
• Uso de trazas de Spark UI para identificar y corregir desequilibrios (skew) y problemas de shuffle
• Benchmark antes/después y documentación de los pasos de ajuste

Día 4 — PySpark Táctico: Reemplazo de Lógica Procedimental

• Modelo de ejecución de Spark: driver, ejecutores, evaluación diferida (lazy evaluation) y estrategias de particionamiento
• Transformación de bucles y cursores en operaciones vectorizadas de DataFrame
• Modularización, UDFs/pandas UDFs, widgets y bibliotecas reutilizables

Laboratorio del Día 4 — Reingeniería de Scripts Procedimentales

• Reingeniería de un script ETL procedimental en Notebooks PySpark modulares
• Introducción de parametrización, pruebas unitarias y funciones reutilizables
• Revisión del código y aplicación de lista de verificación de mejores prácticas

Día 5 — Orquestación, Pipeline de Extremo a Extremo y Mejores Prácticas

• Databricks Workflows: diseño de trabajos, dependencias de tareas, activadores (triggers) y manejo de errores
• Diseño de pipelines Medallón incrementales con reglas de calidad y validación de esquemas
• Integración con Git (GitHub/Azure DevOps), CI y estrategias de pruebas para lógica PySpark

Laboratorio del Día 5 — Construir un Pipeline Completo de Extremo a Extremo

• Ensamblaje del pipeline Bronce→Plata→Oro orquestado con Workflows
• Implementación de registro (logging), auditoría, reintentos y validaciones automatizadas
• Ejecución del pipeline completo, validación de salidas y preparación de notas de implementación

Operacionalización, Gobernanza y Preparación para Producción

• Mejores prácticas de gobernanza con Unity Catalog, linaje y controles de acceso
• Costos, tamaño de clústeres, escalado automático (autoscaling) y patrones de concurrencia de trabajos
• Listas de verificación de implementación, estrategias de retroceso (rollback) y creación de manuales de operación

Revisión Final, Transferencia de Conocimiento y Próximos Pasos

• Presentaciones de los participantes sobre el trabajo de migración y lecciones aprendidas
• Análisis de brechas, actividades recomendadas de seguimiento y entrega de materiales de capacitación
• Referencias, rutas de aprendizaje adicionales y opciones de soporte