EXO: Implementación de Clústeres de IA Local de Extremo a Extremo

Introducción a EXO y el Agrupamiento de IA Local

• Visión general del marco EXO y el ecosistema exo-explore
• Comparación entre la inferencia centralizada en la nube y la inferencia local distribuida
• Arquitectura: descubrimiento de dispositivos con libp2p, backend MLX, panel de control y capas de API
• Requisitos de hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, almacenamiento compartido

Instalación de EXO en macOS

• Configuración de Xcode, Metal ToolChain y prerequisitos de macOS
• Instalación de uv, Node.js y toolchain nightly de Rust
• Instalación de la bifurcación fija de macmon para la supervisión de Apple Silicon
• Clonar el repositorio y compilar el panel de control con npm
• Ejecutar EXO desde el código fuente y verificar el panel de control en localhost:52415

Instalación de EXO en Linux

• Instalación de dependencias vía apt o Homebrew en Linux
• Configuración de uv, Node.js 18+ y Rust nightly
• Compilación del panel de control y ejecución de EXO en modo solo CPU
• Estructura de directorios: rutas XDG Base Directory para configuración, datos, caché y registros

Descubrimiento Automático de Dispositivos y Formación del Clúster

• Comprensión del auto-descubrimiento basado en libp2p a través de redes locales
• Configuración de namespaces personalizados con EXO_LIBP2P_NAMESPACE para el aislamiento del clúster
• Verificación de la membresía de los nodos en la vista de clúster del panel de control
• Gestión de fallos de descubrimiento y problemas de segmentación de red

Habilitación de RDMA sobre Thunderbolt 5

• Arquitectura de RDMA y la afirmación de reducción del 99% en la latencia
• Habilitar RDMA en el modo de Recuperación de macOS con rdma_ctl
• Requisitos de cableado y restricciones de topología de puertos en Mac Studio
• Alineación de las versiones de macOS en todos los nodos del clúster
• Solución de problemas de descubrimiento de RDMA y configuración de DHCP

Implementación de Modelos de Vanguardia

• Uso del panel de control para cargar y fragmentar modelos DeepSeek v3.1, Qwen3-235B y la familia Llama
• Vista previa de la distribución de instancias con el punto de acceso /instance/previews de la API
• Creación de instancias de modelo con fragmentación por tubería o paralelismo de tensor
• Configuración de tarjetas de modelos personalizados desde HuggingFace hub

Supervisión y Solución de Problemas

• Lectura de registros de EXO y comprensión del rastreo distribuido
• Interpretación de la salud del clúster en la vista de clúster del panel de control
• Diagnóstico de fallos de nodos trabajadores y comportamiento de reconexión
• Uso de EXO_TRACING_ENABLED para el análisis de cuellos de botella de rendimiento

Mantenimiento y Actualización del Clúster

• Actualización de los binarios de EXO y procedimientos de reconstrucción del panel de control
• Migración de cachés de modelos y gestión de modelos pre-descargados vía NFS
• Eliminación ordenada de nodos y reequilibrio de cargas de trabajo