Almacén de Datos: Conceptos, Diseño e Implementación

Esta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a profesionales de los datos de nivel avanzado que desean optimizar sus flujos de trabajo de procesamiento de datos, garantizar la integridad de los mismos e implementar soluciones robustas de lago de datos tipo lakehouse capaces de manejar las complejidades de las aplicaciones modernas de big data.

Al finalizar esta formación, los participantes serán capaces de:

• Comprender en profundidad la arquitectura de Iceberg, incluida la gestión de metadatos y el diseño de archivos.
• Configurar Iceberg para un rendimiento óptimo en distintos entornos e integrarlo con múltiples motores de procesamiento de datos.
• Gestionar tablas Iceberg a gran escala, realizar cambios complejos en el esquema y manejar la evolución de las particiones.
• Dominar técnicas para optimizar el rendimiento de las consultas y la eficiencia del escaneo de datos en conjuntos de datos grandes.
• Implementar mecanismos que garanticen la consistencia de los datos, administrar garantías transaccionales y manejar fallos en entornos distribuidos.

Esta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a profesionales de datos principiantes que desean adquirir los conocimientos y habilidades necesarios para utilizar eficazmente Apache Iceberg en la gestión de conjuntos de datos a gran escala, garantizar la integridad de los datos y optimizar los flujos de procesamiento de datos.

Al finalizar esta formación, los participantes serán capaces de:

• Comprender en profundidad la arquitectura, las características y los beneficios de Apache Iceberg.
• Conocer los formatos de tabla, el particionamiento, la evolución del esquema y las capacidades de viaje en el tiempo (time travel).
• Instalar y configurar Apache Iceberg en diferentes entornos.
• Crear, gestionar y manipular tablas Iceberg.
• Comprender el proceso de migración de datos desde otros formatos de tabla a Iceberg.

Esta formación en vivo dirigida por instructores en <ubic> (en línea o presencial) está orientada a científicos de datos e ingenieros de nivel intermedio que desean utilizar Google Colab y Apache Spark para el procesamiento y análisis de big data.

Al finalizar esta formación, los participantes podrán:

• Configurar un entorno de big data utilizando Google Colab y Spark.
• Procesar y analizar grandes conjuntos de datos de forma eficiente con Apache Spark.
• Visualizar big data en un entorno colaborativo.
• Integrar Apache Spark con herramientas basadas en la nube.

Los avances tecnológicos y el aumento exponencial de la información están transformando la forma en que se llevan a cabo los negocios en muchas industrias, incluido el sector gubernamental. Las tasas de generación de datos archivado digital por parte del gobierno están en aumento debido al rápido crecimiento de los dispositivos móviles y las aplicaciones, los sensores y dispositivos inteligentes, las soluciones de computación en la nube y los portales orientados a los ciudadanos. A medida que la información digital se expande y se vuelve más compleja, la gestión, el procesamiento, el almacenamiento, la seguridad y la disposición también se vuelven más complejos. Nuevas herramientas de captura, búsqueda, descubrimiento y análisis están ayudando a las organizaciones a obtener información valiosa a partir de sus datos no estructurados. El mercado gubernamental está en un punto de inflexión, comprendiendo que la información es un activo estratégico y que el gobierno necesita proteger, aprovechar y analizar tanto la información estructurada como la no estructurada para atender mejor y cumplir con los requisitos de su misión. Mientras los líderes gubernamentales se esfuerzan por evolucionar hacia organizaciones impulsadas por datos para lograr exitosamente sus objetivos misionales, están sentando las bases para correlacionar dependencias entre eventos, personas, procesos e información.

Las soluciones de alto valor en el sector gubernamental se crearán mediante la combinación de las tecnologías más disruptivas:

• Dispositivos y aplicaciones móviles
• Servicios en la nube
• Tecnologías de negocios sociales y redes
• Big Data y análisis

El Big Data es una de las soluciones inteligentes de la industria y permite al gobierno tomar mejores decisiones actuando sobre patrones revelados mediante el análisis de grandes volúmenes de datos relacionados y no relacionados, estructurados y no estructurados.

Pero lograr estos hazañas requiere mucho más que simplemente acumular enormes cantidades de datos. "Dar sentido a estos grandes volúmenes de Big Data requiere herramientas y tecnologías de vanguardia que puedan analizar y extraer conocimiento útil de vastas y diversas corrientes de información", escribieron Tom Kalil y Fen Zhao de la Oficina de Política de Ciencia y Tecnología de la Casa Blanca en una publicación del blog OSTP.

La Casa Blanca dio un paso hacia ayudar a las agencias a encontrar estas tecnologías al establecer la Iniciativa Nacional de Investigación y Desarrollo de Big Data en 2012. La iniciativa incluyó más de $200 millones para aprovechar al máximo la explosión del Big Data y las herramientas necesarias para analizarlo.

Los desafíos que plantea el Big Data son tan desalentadores como su promesa es alentadora. Almacenar datos de manera eficiente es uno de estos desafíos. Como siempre, los presupuestos son ajustados, por lo que las agencias deben minimizar el costo por megabyte del almacenamiento y mantener los datos fácilmente accesibles para que los usuarios puedan obtenerlos cuando los necesiten y como lo requieran. Respaldo grandes cantidades de datos intensifica este desafío.

Analizar los datos de manera efectiva es otro gran desafío. Muchas agencias emplean herramientas comerciales que les permiten cribar las montañas de datos, detectando tendencias que pueden ayudarles a operar con mayor eficiencia. (Un estudio reciente de MeriTalk encontró que los ejecutivos de TI federales creen que el Big Data podría ayudar a las agencias a ahorrar más de $500 mil millones mientras también cumplen sus objetivos misionales).).

Las herramientas personalizadas de Big Data también están permitiendo a las agencias abordar la necesidad de analizar sus datos. Por ejemplo, el Grupo de Análisis de Datos Computacionales del Laboratorio Nacional Oak Ridge ha puesto su sistema de análisis de datos Piranha disponible para otras agencias. El sistema ha ayudado a los investigadores médicos a encontrar un vínculo que pueda alertar a los médicos sobre aneurismas aórticos antes de que ocurran. También se utiliza para tareas más rutinarias, como cribar currículos para conectar candidatos con gerentes de contratación.

Los participantes que completen esta capacitación en vivo con instructores en México obtendrán una comprensión práctica y del mundo real sobre Big Data, así como de sus tecnologías, metodologías y herramientas relacionadas.

Los participantes tendrán la oportunidad de aplicar estos conocimientos mediante ejercicios prácticos. La interacción grupal y la retroalimentación del instructor son componentes fundamentales de esta clase.

El curso comienza con una introducción a los conceptos elementales de Big Data, avanza hacia los lenguajes de programación y las metodologías utilizadas para realizar análisis de datos y, finalmente, aborda las herramientas e infraestructura que permiten el almacenamiento de Big Data, el procesamiento distribuido y la escalabilidad.

Esta capacitación en vivo impartida por un instructor (en línea o presencial) está dirigida a ingenieros de datos, analistas de datos y profesionales del sector que deseen utilizar Databricks y PySpark para construir pipelines de datos escalables y migrar flujos de trabajo SQL existentes.

Apache NiFi es una plataforma de integración de datos y procesamiento de eventos de código abierto basada en flujos. Permite el enrutamiento, la transformación y la mediación de sistemas entre diferentes entornos de forma automatizada y en tiempo real, cuenta con una interfaz de usuario web y ofrece un control detallado.

Esta formación en vivo impartida por un instructor (presencial o remota) está dirigida a administradores e ingenieros de nivel intermedio que deseen implementar, gestionar, asegurar y optimizar flujos de datos de NiFi en entornos de producción.

Al finalizar esta formación, los participantes serán capaces de:

• Instalar, configurar y mantener clústeres de Apache NiFi.
• Diseñar y gestionar flujos de datos desde diversas fuentes y destinos.
• Implementar lógica de automatización, enrutamiento y transformación de flujos.
• Optimizar el rendimiento, monitorear las operaciones y solucionar problemas.

Formato del curso

• Conferencia interactiva con discusión sobre arquitecturas del mundo real.
• Prácticas hands-on: construcción, implementación y gestión de flujos.
• Ejercicios basados en escenarios en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, contáctenos para coordinar los detalles.

Esta capacitación proporciona una introducción práctica para construir flujos de trabajo escalables de procesamiento de datos y aprendizaje automático utilizando PySpark. Los participantes aprenderán cómo Apache Spark opera dentro de ecosistemas modernos de Big Data y cómo procesar eficientemente grandes conjuntos de datos aplicando principios de computación distribuida.

Esta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a ingenieros que deseen configurar e implementar un sistema Apache Spark para procesar grandes volúmenes de datos.

Al finalizar esta formación, los participantes podrán:

• Instalar y configurar Apache Spark.
• Procesar y analizar conjuntos de datos muy grandes con rapidez.
• Comprender las diferencias entre Apache Spark y Hadoop MapReduce, así como conocer cuándo usar cada uno.
• Integrar Apache Spark con otras herramientas de aprendizaje automático.

Esta capacitación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a administradores de sistemas de nivel principiante e intermedio que desean implementar, mantener y optimizar clústeres de Spark.

Al finalizar esta capacitación, los participantes serán capaces de:

• Instalar y configurar Apache Spark en diversos entornos.
• Gestionar los recursos del clúster y supervisar las aplicaciones de Spark.
• Optimizar el rendimiento de los clústeres de Spark.
• Implementar medidas de seguridad y garantizar alta disponibilidad.
• Depurar y resolver problemas comunes de Spark.

La curva de aprendizaje de Apache Spark es lenta al principio y requiere gran esfuerzo para obtener los primeros resultados. Este curso tiene como objetivo ayudarte a superar esa etapa inicial difícil. Al finalizarlo, los participantes comprenderán los fundamentos de Apache Spark, sabrán diferenciar claramente entre RDD y DataFrame, aprenderán la API de Python y Scala, entenderán los conceptos de executores (ejecutores) y tareas, etc. Además, siguiendo las mejores prácticas, el curso se enfoca fuertemente en el despliegue en la nube, Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los servicios más recientes de Spark ofrecidos por AWS.

PÚBLICO OBJETIVO:

Ingenieros de Datos, DevOps, Científicos de Datos

En esta formación en vivo e impartida por un instructor en México, los participantes aprenderán cómo utilizar Python y Spark conjuntamente para analizar grandes cantidades de datos mientras realizan ejercicios prácticos.

Al finalizar este curso, los participantes serán capaces de:

• Aprender a usar Spark con Python para analizar Big Data.
• Realizar ejercicios que imitan casos del mundo real.
• Utilizar diferentes herramientas y técnicas para el análisis de grandes datos usando PySpark.

Esta formación en vivo impartida por un instructor en México (en línea o presencial) está dirigida a desarrolladores que desean utilizar e integrar Spark, Hadoop y Python para procesar, analizar y transformar conjuntos de datos grandes y complejos.

Al finalizar esta capacitación, los participantes serán capaces de:

• Configurar el entorno necesario para comenzar a trabajar con big data mediante Spark, Hadoop y Python.
• Comprender las características, componentes principales y arquitectura de Spark y Hadoop.
• Aprender cómo integrar Spark, Hadoop y Python para el procesamiento de grandes datos.
• Explorar las herramientas del ecosistema de Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka y Flume).
• Construir sistemas de recomendación mediante filtrado colaborativo similares a los de Netflix, YouTube, Amazon, Spotify y Google.
• Utilizar Apache Mahout para escalar algoritmos de aprendizaje automático.

Stratio es una plataforma centrada en los datos que integra big data, inteligencia artificial y gobernanza en una única solución. Sus módulos Rocket e Intelligence permiten explorar, transformar y analizar datos avanzados de manera rápida en entornos empresariales.

Esta formación en vivo con instructor (en línea o presencial) está dirigida a profesionales de datos de nivel intermedio que deseen utilizar eficazmente los módulos Rocket e Intelligence de Stratio con PySpark, centrándose en estructuras de bucles, funciones definidas por el usuario y lógica avanzada de datos.

Al finalizar esta formación, los participantes podrán:

• Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
• Aplicar PySpark en el contexto de ingestión, transformación y análisis de datos.
• Utilizar bucles y lógica condicional para controlar flujos de trabajo y tareas de ingeniería de características.
• Crear y gestionar funciones definidas por el usuario (UDF) para operaciones de datos reutilizables en PySpark.

Formato del curso

• Lecciones interactivas y debates.
• Numerosos ejercicios y prácticas.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para coordinar los detalles.