Cursos de PySpark en Lèon

En esta capacitación en vivo guiada por un instructor en Lèon, los participantes aprenderán a utilizar Python y Spark juntos para analizar Big Data, mientras realizan ejercicios prácticos.

Al finalizar esta capacitación, los participantes podrán:

• Aprender a usar Spark con Python para analizar Big Data.
• Trabajar en ejercicios que simulan casos del mundo real.
• Utilizar diferentes herramientas y técnicas para el análisis de Big Data con PySpark.

Esta capacitación en vivo impartida por un instructor (en línea o presencial) está dirigida a ingenieros de datos, analistas de datos y profesionales del sector que deseen utilizar Databricks y PySpark para construir pipelines de datos escalables y migrar flujos de trabajo SQL existentes.

Esta capacitación proporciona una introducción práctica para construir flujos de trabajo escalables de procesamiento de datos y aprendizaje automático utilizando PySpark. Los participantes aprenderán cómo Apache Spark opera dentro de ecosistemas modernos de Big Data y cómo procesar eficientemente grandes conjuntos de datos aplicando principios de computación distribuida.

Este curso práctico de tres días se centra en la construcción y optimización de cargas de trabajo de procesamiento de datos eficientes utilizando PySpark, Pandas y Polars en entornos basados en Kubernetes.

Los participantes desarrollarán una comprensión práctica de cómo se ejecutan las aplicaciones de Spark en Kubernetes y cómo las decisiones de configuración a nivel de aplicación influyen en el rendimiento, la escalabilidad, el consumo de recursos y los costos. El curso cubre áreas clave de optimización, incluida la dimensión de ejecutores, la asignación de memoria, la asignación dinámica, las estrategias de particionado, el comportamiento de shuffle, los problemas de archivos pequeños y el procesamiento eficiente de Parquet.

El curso también aborda los desafíos comunes al trabajar con Pandas, como las limitaciones de memoria y los fallos por falta de memoria, e introduce Polars como una alternativa de alto rendimiento para cargas de trabajo de procesamiento de datos seleccionadas. A través de ejercicios prácticos, los participantes diagnosticarán problemas de rendimiento y memoria, compararán diferentes estrategias de configuración y aplicarán técnicas de optimización a escenarios realistas de ETL y aprendizaje automático.

El énfasis durante todo el curso recae en la tomada de decisiones práctica: comprender cómo identificar cuellos de botella, seleccionar la herramienta adecuada, configurar Spark de manera eficiente y equilibrar el rendimiento con el consumo de recursos de infraestructura y los costos.