Kafka para administradores

Fundamentos de la administración de Kafka

• El lugar que ocupa Kafka en una plataforma de datos moderna y las responsabilidades típicas en producción
• Conceptos clave para operadores: brokers, temas (topics), particiones, desplazamientos (offsets), grupos de consumidores
• Fundamentos de la replicación: líderes y seguidores, réplicas en sincronía, compensaciones en disponibilidad
• Aspectos destacados de la operación de Kafka y terminología común utilizada en los manuales de ejecución (runbooks)

Modo KRaft y diseño del clúster

• Conceptos básicos de KRaft: controladores, cuórum de metadatos, elecciones y por qué es importante operativamente
• Planificación del despliegue: dimensionamiento para capacidad de procesamiento (throughput), particiones, retención y crecimiento
• Roles y diseños de nodos: controladores combinados versus dedicados, consideraciones sobre dominios de falla
• Laboratorio: inspeccionar metadatos de KRaft, validar la salud del cuórum e interpretar los registros del controlador

Instalación, configuración y operaciones diarias

• Enfoques de instalación (paquetes, tarball, contenedores) y qué estandarizar en entornos empresariales
• Configuración central del broker que impacta la confiabilidad: listeners, replicación, directorios de registros, retención
• Operaciones seguras del servicio: orden de inicio, apagado controlado y comprobaciones de validación
• Laboratorio: implementar un clúster multi-nodo, verificar el registro del broker y confirmar la producción y consumo base

Gestión de temas, particiones y ubicación de datos

• Ciclo de vida de los temas utilizando la CLI de Kafka: crear, describir, actualizar configuraciones, eliminar
• Elección del número de particiones y factores de replicación para cargas de trabajo reales, incluyendo patrones anti-recomendados comunes
• Reasignaciones y equilibrado: cuándo mover particiones y cómo verificar el progreso de forma segura
• Laboratorio: crear temas, desencadenar una reasignación de particiones, simular un fallo de broker y confirmar la recuperación

Seguridad de Kafka para producción

• TLS para tráfico entre clientes e inter-broker: certificados, cadenas de confianza y pasos de validación
• Autenticación con SASL: selección de mecanismos comunes y evitar configuraciones erróneas
• Autorización con ACLs: patrones de privilegio mínimo para administradores, productores y consumidores
• Laboratorio: habilitar TLS y SASL, validar la conectividad del cliente y aplicar ACLs para roles de aplicaciones

Observabilidad, confiabilidad y resolución de problemas

• Aspectos esenciales de monitoreo: salud del controlador, particiones sub-replicadas, latencia de solicitudes, saturación de disco y red
• Registros y métricas: lectura de registros de brokers y exposición de métricas mediante JMX exporter a pilas de observabilidad comunes
• Manuales operativos (playbooks): reinicios progresivos, cambios seguros de configuración, manejo de discos llenos e problemas de ISR
• Laboratorio: construir un conjunto mínimo de alertas, diagnosticar un clúster degradado y restaurar la replicación saludable

Actualizaciones y preparación para recuperación ante desastres

• Planificación de actualizaciones de Kafka: comprobaciones de compatibilidad, etapas de prueba y enfoque de reversión
• Expectativas de copias de seguridad y recuperación: qué se puede respaldar, qué no, y conceptos básicos de recuperación de configuración
• Descripción general de la replicación entre clústeres y cuándo utilizar MirrorMaker 2 para recuperación ante desastres (DR) y migraciones
• Cierre: lista de verificación operativa, artefactos de entrega y próximos pasos para el despliegue en producción