LLM local para tu negocio: IA que corre en tu propia computadora

Imagina un despacho contable en Puebla con doce personas. Cada mes les llegan cientos de contratos, estados de cuenta y correos de clientes. Alguien del equipo ya probó pegar un contrato en un chatbot para que se lo resumiera, y funcionó bastante bien. El problema es que el socio director se enteró y la reacción fue inmediata: "¿Le acabas de mandar el contrato de un cliente a quién sabe qué servidor?"

Esa conversación la hemos escuchado, con variaciones, muchas veces. Y casi siempre termina en la misma pregunta: ¿se puede tener algo así, pero que no salga de la oficina?

Sí se puede. Se llama correr un LLM local.

Qué significa "local" en la práctica

Un LLM (modelo de lenguaje grande) es el motor detrás de herramientas como ChatGPT o Claude. Normalmente ese motor vive en los servidores del proveedor: tú mandas el texto por internet, ellos lo procesan y te regresan la respuesta. Un LLM local es lo mismo, pero el modelo está descargado en una computadora o servidor tuyo. El texto entra, se procesa ahí mismo y la respuesta sale ahí mismo.

Lo que hace esto posible es que varias empresas publican modelos de "pesos abiertos": te dejan descargar el modelo completo y correrlo donde quieras, bajo una licencia que hay que leer (más adelante vemos cuáles). No es una versión pirata ni un experimento de laboratorio. Son modelos serios, aunque más chicos que los que corren en la nube.

Por qué a un negocio le puede interesar

La razón número uno es la privacidad. Si el modelo corre en tu red, los datos no salen de tu red. No hay un tercero recibiendo los contratos, ni una política de retención que revisar, ni la duda de dónde quedó guardado el archivo. Para despachos legales, contables, clínicas o cualquiera que maneje datos personales de clientes, eso pesa mucho. En México la ley de datos personales te obliga a tener medidas de seguridad proporcionales a la sensibilidad de lo que manejas; de eso hablamos con más calma en la comparación entre LLM local e IA en la nube.

La segunda es el costo predecible. Con una API en la nube pagas por cada pedazo de texto que procesas. Con un modelo local pagas el equipo una vez, más la luz y el tiempo de quien lo mantiene. Si tu volumen es alto y constante, la cuenta puede salir a tu favor. Si es bajo, probablemente no.

La tercera, que se subestima: funciona sin internet. Una bodega en una zona con conexión inestable, una planta, un consultorio donde el internet se cae cada tercer día. El modelo sigue respondiendo.

Y hay una cuarta más sutil, el control. Tú decides qué versión del modelo usas y cuándo la cambias. En la nube, el proveedor puede retirar un modelo o cambiar su comportamiento y tu proceso se mueve con él, te guste o no.

El hardware: aquí es donde la gente se asusta (sin razón)

Lo que manda es la memoria. Un modelo tiene que caber en la RAM de la tarjeta de video (VRAM) o, en las Mac con chip Apple Silicon, en la memoria unificada que comparten el procesador y la gráfica. Entre más grande el modelo, más memoria pide.

Para darte una idea: la página oficial de Mistral Small 3.2, un modelo de 24 mil millones de parámetros, dice que en su formato original necesita alrededor de 55 GB de memoria de GPU. Eso es mucho. Por eso existe la cuantización, que básicamente es guardar los números del modelo con menos precisión para que ocupe menos. llama.cpp, por ejemplo, soporta cuantizaciones de 1.5 a 8 bits. Pierdes un poco de calidad, a veces casi nada, y el modelo cabe en equipos mucho más modestos.

Un ejemplo concreto: OpenAI publicó gpt-oss-20b con licencia Apache 2.0, y según su propio anuncio corre con 16 GB de memoria. En el catálogo de Ollama la descarga pesa alrededor de 14 GB. Su hermano mayor, gpt-oss-120b, ya pide una sola GPU de 80 GB, que es equipo de centro de datos.

¿GPU de NVIDIA o Mac? Las dos funcionan. llama.cpp trata a Apple Silicon como plataforma prioritaria y también soporta CUDA (NVIDIA), AMD y otras. Nuestra opinión: para una oficina chica que quiere empezar, una Mac con bastante memoria unificada es la forma menos complicada de arrancar. Para algo que va a atender a muchas personas al mismo tiempo, un servidor con GPU dedicada escala mejor. No hay respuesta universal; depende de cuántas personas lo van a usar y para qué.

Las herramientas que más se usan

Ollama es probablemente la puerta de entrada más sencilla. Es gratuito, con licencia MIT, corre en Windows, macOS y Linux, y con un comando descargas y ejecutas un modelo. Además levanta una API en tu propia máquina, así que otros programas de tu red le pueden hacer preguntas. Eso es lo que permite conectarlo a tus sistemas en lugar de usarlo solo como chat.

llama.cpp es el motor que está debajo de muchas de estas herramientas. Es más técnico, también MIT, y trae su propio servidor compatible con el formato de la API de OpenAI. Si tienes a alguien de sistemas que se siente cómodo en la terminal, es una gran opción.

LM Studio es la opción con interfaz gráfica: buscas el modelo, lo descargas y platicas con él como si fuera cualquier app de escritorio. Desde julio de 2025 su uso en el trabajo es gratuito, sin pedir licencia comercial aparte. Sus requisitos publicados recomiendan 16 GB de RAM o más, y en Mac solo funciona con chips Apple Silicon.

¿Qué modelo uso?

Aquí es donde más hay que leer letra chiquita, porque "abierto" no siempre quiere decir lo mismo. Estas son algunas familias que hoy se usan mucho para correr en local, con su licencia según la página oficial de cada modelo:

• gpt-oss (OpenAI): Apache 2.0, en tamaños de 20 mil y 120 mil millones de parámetros.
• Qwen3 (Alibaba): el modelo de 8 mil millones de parámetros se publica con Apache 2.0.
• Gemma 4 (Google): Apache 2.0, con versiones desde muy chicas hasta 31 mil millones de parámetros. Ojo, las versiones anteriores de Gemma usan los términos de uso propios de Google, no Apache.
• Mistral Small 3.2 (Mistral AI): Apache 2.0, 24 mil millones de parámetros.
• Llama 3.3 (Meta): licencia comunitaria propia. Permite uso comercial, pero exige mostrar "Built with Llama" si distribuyes un producto que lo incluya, y tiene condiciones especiales para empresas con más de 700 millones de usuarios mensuales.

Para un negocio mediano en México la cláusula de los 700 millones no aplica, claro. Pero el requisito de atribución sí puede aplicar si vas a vender un producto construido sobre Llama. Apache 2.0 es la licencia más tranquila de las que aparecen arriba.

Usos que sí tienen sentido

Pongamos tres casos hipotéticos, todos con un patrón en común: tareas repetitivas sobre texto que no quieres mandar fuera.

Resumir contratos. El despacho de Puebla del inicio podría tener una carpeta compartida donde caen los contratos nuevos; el modelo local genera un resumen de una página con partes, plazos, montos y cláusulas de penalización, y una persona lo revisa. El modelo no firma nada ni decide nada. Ahorra la primera lectura.

Buscar en manuales internos. Piensa en una empresa de mantenimiento industrial con cientos de PDFs de equipos. En vez de que el técnico busque en carpetas, le pregunta al sistema "¿cuál es el torque del tornillo de la bomba X?" y la respuesta viene con la página del manual de donde salió. Esto requiere más que el modelo solo: hay que indexar los documentos y conectarlos (lo explicamos en cómo usar IA con la información de tu empresa).

Clasificar correos. Una tienda que recibe cientos de correos al día puede etiquetarlos solos: queja, cotización, factura, spam. Para clasificar no necesitas un modelo gigante. Un modelo chico, bien instruido, lo hace bastante bien.

Los límites, dichos sin rodeos

La neta, un modelo que cabe en una computadora de oficina no va a razonar igual que los modelos más grandes de la nube. Para resumir, extraer datos y clasificar, la diferencia suele ser pequeña. Para análisis complejos, redacción delicada o problemas de varios pasos, se nota.

Luego está el mantenimiento. Alguien tiene que actualizar el software, cambiar de modelo cuando salga uno mejor, vigilar que el equipo no se caliente ni se llene el disco, y controlar quién tiene acceso. Si nadie en tu empresa tiene ese rol, el proyecto se va a quedar abandonado en tres meses. Lo hemos visto pasar con servidores de todo tipo, no solo de IA.

Y la velocidad. Un equipo modesto atendiendo a una persona va bien. El mismo equipo atendiendo a veinte personas al mismo tiempo se va a poner lento. Hay que dimensionar con base en el uso real, no en el demo.

Por todo esto, muchas veces lo que recomendamos no es "todo local" ni "todo nube", sino una mezcla: lo sensible en casa y lo pesado afuera.

Cómo aterrizarlo sin tirar dinero

Empieza por un solo proceso, uno donde hoy alguien pierde horas leyendo o copiando texto. Prueba con un modelo chico en una máquina existente. Mide: ¿cuántas respuestas fueron útiles de cada diez? Si el número es bueno, entonces sí, piensa en hardware dedicado y en conectarlo a tus sistemas.

La parte que más trabajo lleva casi nunca es el modelo. Es la integración: que lea de tu carpeta, de tu ERP o de tu correo, que guarde el resultado donde lo necesitas y que no rompa nada cuando falle. Ahí es donde un agente a la medida hace la diferencia entre un juguete y una herramienta que tu equipo usa todos los días.

Si tienes un proceso en mente y quieres saber si un modelo local alcanza, platícanos el caso. A veces la respuesta honesta es que no te conviene, y también está bien saberlo antes de gastar.