Dominio: Infraestructura de Modelos de Lenguaje y GPU Computing
Experiencia: +3 años. Experto en técnicas de cuantización (GGUF/EXL2), Fine-tuning (LoRA, DLoRA, QLoRA) y alineación de modelos mediante DPO (Direct Preference Optimization).
Tareas Principales:
Desplegar y gestionar el clúster de GPUs con vLLM y LoRAX para permitir la ejecución paralela de múltiples adaptadores DLoRA (uno por Experto Digital).
Configurar el servidor de inferencia (TensorRT-LLM o Triton) para optimizar la latencia de respuesta del Nodo A.
Gestionar el pipeline de entrenamiento y fine-tuning junto al Ingeniero de Algoritmos.
Configurar y mantener los entornos de ejecución aislada (gVisor) del sandbox Python (Nodo B - Sandbox Matemático).
Implementar CI/CD de Modelos (automatización de despliegue de nuevas versiones de DLoRA sin...