Programa del Curso
Introducción
Comprensión Big Data
Descripción general de Spark
Descripción general de Python
Descripción general de PySpark
- Distribución de datos mediante el marco de conjuntos de datos distribuidos resistentes
- Distribución del cálculo mediante operadores de API de Spark
Configuración Python con Spark
Configuración PySpark
Uso de instancias EC2 de Amazon Web Services (AWS) para Spark
Configuración Databricks
Configuración del clúster de AWS EMR
Aprender los conceptos básicos de Python programación
- Primeros pasos con Python
- Uso de Jupyter Notebook
- Uso de variables y tipos de datos simples
- Trabajar con listas
- Uso de instrucciones if
- Uso de entradas de usuario
- Trabajar con bucles while
- Funciones de implementación
- Trabajar con clases
- Trabajar con archivos y excepciones
- Trabajar con proyectos, datos y API
Aprendizaje de los conceptos básicos de Spark DataFrame
- Introducción a Spark DataFrames
- Implementación de operaciones básicas con Spark
- Uso de operaciones Groupby y Aggregate
- Trabajar con marcas de tiempo y fechas
Trabajar en un ejercicio de proyecto de Spark DataFrame
Descripción Machine Learning de MLlib
Trabajar con MLlib, Spark y Python para Machine Learning
Descripción de las regresiones
- Aprendizaje de la teoría de la regresión lineal
- Implementación de un código de evaluación de regresión
- Trabajar en un ejemplo de ejercicio de regresión lineal
- Aprendizaje de la teoría de la regresión logística
- Implementación de un código de regresión logística
- Trabajar en un ejercicio de regresión logística de muestra
Comprensión de los Random Forests y los árboles de decisión
- Teoría de los Métodos del Árbol de Aprendizaje
- Árboles de decisión de implementación y Random Forest códigos
- Trabajar en un ejemplo Random Forest de ejercicio de clasificación
Trabajar con K-means Clustering
- Comprensión de la teoría de agrupamiento de K-medias
- Implementación de un código de agrupación en clústeres K-means
- Trabajar en un ejercicio de agrupación en clústeres de muestra
Trabajar con sistemas de recomendación
Implementación del procesamiento del lenguaje natural
- Comprensión Natural Language Processing (NLP)
- Descripción general de las herramientas de PNL
- Trabajando en un ejemplo de ejercicio de PNL
Transmisión con Spark activado Python
- Información general Streaming con Spark
- Ejemplo Spark Streaming Ejercicio
Palabras finales
Requerimientos
- Conocimientos generales de programación
Audiencia
- Desarrolladores
- Profesionales de TI
- Científicos de datos
Testimonios (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
The course was about a series of very complex related topics & Pablo has in-depth expertise of each of them. Sometimes nuances were lost in communication and/or due to time pressures and possibly expectations were not quite met due to this. Also there were some UHG/Azure Databricks setup issues however Pablo / UHG resolved these quickly once they became apparent - this to me showed a high level of understanding and professionalism between UHG & Pablo,
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Individual attention.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Hands on Training..
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
The lessons were taught in a Jupyter notebook. The topics were structured with a logical sequence and naturally helped develop the session from the easier parts to the more complex. I'm already an advanced user of Python with background in Machine Learning, so found the course easier to follow than, possibly, some of my classmates that took the training course. I appreciate that some of the most elementary concepts were skipped and that he focused on the most substantial matters.