GuíaAvanzado

Fine-Tuning y Destilación de LLMs

Afinar un modelo es cambiar sus pesos con tus propios ejemplos para que haga una tarea de una forma fija sin necesitar un prompt largo. A veces es la mejor decisión del proyecto y a veces es un gasto que nadie va a mantener. Esta guía te enseña a saber cuál de las dos es la tuya, con números, y a hacerlo bien cuando sí conviene: decidir frente a prompting y RAG, preparar los datos, evaluar antes y después, entender LoRA y QLoRA por dentro, entrenar con pesos abiertos en la nube o en una Mac, usar el fine-tuning de los proveedores sabiendo lo que arriesgas, ir más allá del SFT con preferencias y refuerzo, y destilar un modelo grande en uno chico. Lo aprendes con **Halyard Energy**, una empresa eléctrica ficticia que clasifica 1.5 millones de mensajes de clientes al mes en una etiqueta JSON con intención, prioridad y tres campos extraídos. Hoy lo hace un modelo grande con un prompt de 653 tokens. Vas a construir todo lo que decide si un modelo chico afinado puede reemplazarlo: un dataset limpio y sin fugas a partir de un export sucio, un golden set con etiquetas auditadas, la evaluación con slices, clases raras, intervalos y regresiones fuera de la tarea, el cálculo de parámetros y memoria de un modelo real desde su `config.json`, las configuraciones de entrenamiento con TRL + PEFT y con mlx-lm y su preflight, los requests de los proveedores validados sin enviarlos, los pares de preferencia, un grader que no se deja engañar y el dataset etiquetado por el modelo maestro. El laboratorio corre en cualquier laptop, sin GPU, sin descargar modelos y sin llaves de API. LoRA y la destilación se entrenan de verdad sobre toys de numpy que caben en segundos; las respuestas de los modelos que se evalúan son simuladas con perfiles de error fijos y se rotulan así en cada lección, y lo real es el código que las evalúa. Todo dato de proveedor, precio y versión está verificado en la documentación oficial a octubre de 2026, incluido lo que más cambió: varios proveedores cerraron o están cerrando su fine-tuning, y la guía te dice cuáles.