GuíaIntermedio

Modelos locales para ingenieros: de GGUF a producción

Ya sabes levantar un modelo en tu máquina y llamarlo por API. Esta guía empieza ahí y te da lo que falta para usarlo en serio: el porqué técnico y los casos de ingeniería. Vas a entender qué ocupa memoria cuando corre un modelo (los pesos, la cuantización, el KV cache que crece con cada palabra de la conversación) y qué limita su velocidad, para calcular antes de descargar nada si un modelo cabe en tu hardware y qué tan rápido va a ir. Vas a elegir modelo con mediciones propias de velocidad y calidad, no con rankings; a escoger entre llama.cpp, Ollama (con su motor MLX en Apple Silicon), LM Studio sin interfaz, mlx-lm y vLLM según el caso; y a escribir un solo cliente que funciona igual contra un modelo local, uno en la nube o ambos con respaldo, con un candado que impide por diseño que un dato sensible salga a internet. Después vienen los casos que más fallan en local: la salida estructurada y el tool calling, con sus límites reales y medidos; un RAG que funciona con la red apagada, con el retrieval evaluado y citas verificables; y los agentes de código con modelo local, con la configuración que los hace usables y una forma de medirlos en tu propio repositorio. La guía cierra con privacidad verificada (qué sale de la máquina y cómo comprobarlo), las licencias de los modelos abiertos y el proyecto final: un asistente privado de documentos empaquetado en Docker, que responde con citas y no tiene salida a internet. Todo ocurre en un mismo caso: la Clínica Altamira, una red de tres clínicas que necesita un asistente para su personal con una condición que no se negocia: ningún documento sale del edificio.