- Implementa la generación de texto por difusión discreta, procesando bloques de 256 tokens en paralelo para disparar la velocidad de inferencia.
- Basado en la arquitectura MoE de Gemma 4, optimiza el uso de VRAM permitiendo la ejecución local en GPUs de consumo con 18 GB.
- Capacidad multimodal nativa que procesa texto, imágenes y vídeo, manteniendo un enfoque en la baja latencia para usuarios individuales.
- Licencia abierta Apache 2.0 que facilita la integración en proyectos comerciales y la investigación en flujos de trabajo no lineales.
Google ha soltado la bomba sin hacer demasiado ruido con la llegada de DiffusionGemma, un modelo de pesos abiertos que rompe con la tradición de cómo escribimos con la inteligencia artificial. Mientras que la mayoría de los LLM se comportan como una máquina de escribir lenta, este sistema apuesta por la velocidad pura en hardware local, aceptando que puede haber una ligera bajada en la precisión comparado con sus hermanos mayores para ganar una agilidad pasmosa.
Este movimiento de DeepMind no es casualidad; se siente más como una respuesta al empuje de los modelos abiertos provenientes de China, como DeepSeek o Qwen, que en una pelea directa contra los gigantes cerrados como GPT o Claude. Para quienes montamos nuestras propias estaciones de trabajo con GPUs potentes, DiffusionGemma llega para demostrar que el procesamiento paralelo puede cambiar las reglas del juego en la IA local.
¿En qué consiste realmente la generación por difusión de texto?
Si quieres entender la diferencia, piensa en la generación tradicional como alguien que escribe una palabra, la lee y luego decide cuál es la siguiente. DiffusionGemma hace algo totalmente distinto: utiliza la difusión discreta. Básicamente, el modelo crea un lienzo de 256 tokens llenos de ruido aleatorio y, mediante varias pasadas, va limpiando y refinando ese bloque hasta que aparece un texto coherente.
Esta técnica, que ya conocemos bien por generadores de imágenes como Midjourney o DALL-E, permite que la IA evalúe el bloque completo en tiempo real. Gracias a la atención bidireccional, cada token puede tener en cuenta lo que hay delante y detrás, lo que es una maravilla para tareas no lineales como corregir código, manejar grafos matemáticos o editar secuencias biológicas de aminoácidos.
En términos prácticos, esto es como pasar de una vieja máquina de escribir a una imprenta industrial masiva. En lugar de ir token por token, el sistema escupe bloques cerrados, optimizando la capacidad de procesamiento de la GPU al máximo y evitando que el hardware se quede esperando la siguiente instrucción.
Arquitectura técnica y el poder del Mixture-of-Experts (MoE)
Bajo el capó, DiffusionGemma se apoya en la robusta arquitectura de Gemma 4 26B A4B. Utiliza un diseño de Mezcla de Expertos (MoE) donde, aunque el modelo tiene un total de 25,2 mil millones de parámetros, solo activa 3,8 mil millones durante la inferencia. Esto es fundamental porque permite tener la inteligencia de un modelo grande pero con un consumo de memoria muy reducido.
El sistema está optimizado para reducir la carga de memoria mediante el uso de cuantización NVFP4 y formato BF16. Esto hace que el modelo pueda encajar cómodamente en entornos de 18 GB de VRAM, lo que significa que cualquier persona con una RTX 4090 o una 5090 puede ejecutarlo en su casa sin necesidad de alquilar servidores en la nube.
Además, el modelo cuenta con un soporte de contexto de hasta 256K tokens, lo que le permite procesar documentos larguísimos sin perder el hilo. Su estructura de codificador-decodificador permite procesar la instrucción inicial y guardar el contexto en una caché (KV cache), mientras el decodificador se encarga de eliminar el ruido del lienzo de generación.
Rendimiento bruto y comparativas reales
Cuando hablamos de velocidad, los números son sencillamente brutales. Google afirma que DiffusionGemma puede alcanzar más de 1.000 tokens por segundo en una NVIDIA H100 y superar los 700 tokens por segundo en una RTX 5090. Comparado con los 250 tokens que suele dar Gemma 4 en el mismo entorno, estamos hablando de un salto de rendimiento de 4 veces.
Ahora bien, no todo es color de rosa. Google ha sido honesto al admitir que existe una regresión en la calidad. Si miramos los benchmarks, Gemma 4 sigue ganando en pruebas críticas como MMLU Pro, AIME o GPQA Diamond. DiffusionGemma no busca ser el cerebro más brillante de la habitación, sino el más rápido y eficiente para despliegues locales.
El rendimiento es dinámico gracias al Cálculo Adaptativo. Si la tarea es sencilla, como escribir un trozo de código estructurado, el modelo requiere menos pasos de reducción de ruido y vuela aún más rápido. Si la tarea es compleja, se toma más tiempo para refinar la respuesta, ajustando la velocidad según la dificultad de la consulta.
Capacidades multimodales y modo de razonamiento
A pesar de ser un modelo experimental, DiffusionGemma no se queda solo en el texto. Es un modelo multimodal nativo que puede procesar imágenes y vídeos (tratados como secuencias de fotogramas) para generar respuestas textuales. Puede hacer desde OCR multilingüe y análisis de PDFs hasta detectar objetos en una pantalla o reconocer escritura a mano.
Una de las joyas de la corona es su modo de pensamiento (Reasoning). Al activar el token específico de pensamiento en la instrucción del sistema, la IA no responde a la primera, sino que genera un razonamiento interno paso a paso antes de emitir la respuesta final. Esto ayuda a estructurar mejor la lógica, aunque se puede desactivar si solo buscas una respuesta directa y veloz.
Para los desarrolladores, la flexibilidad es total. Al distribuirse bajo la licencia Apache 2.0, se puede modificar y comercializar sin problemas. Además, es compatible con vLLM, MLX para Mac y Hugging Face, y se espera que la integración con llama.cpp llegue muy pronto para optimizar aún más el uso de CPU y GPUs modestas.
Configuración recomendada para exprimir el modelo
Para que el modelo no se vuelva loco y mantenga un equilibrio entre calidad y velocidad, Google sugiere unos parámetros muy concretos. Se recomienda un máximo de 48 pasos de reducción de ruido, aunque gracias a la detención adaptativa, la mayoría de las tareas se cierran entre los 12 y 16 pasos.
En cuanto a la temperatura, lo ideal es un decaimiento lineal de 0.8 a 0.4. Esto permite que el modelo explore ideas creativas al principio y luego se concentre en bloquear los tokens finales para que la respuesta sea coherente. También es vital configurar el límite de entropía en 0.1 para asegurar que solo se seleccionen los tokens donde el modelo tiene una confianza alta.
Si vas a usar imágenes, el truco es colocar el contenido visual antes que el texto en la instrucción. Además, puedes jugar con el presupuesto de tokens visuales: usa presupuestos bajos (70-140 tokens) para clasificar imágenes rápido y presupuestos altos (hasta 1,120) si necesitas que la IA lea texto pequeño en un documento con total precisión.
Este nuevo modelo de Google DeepMind se posiciona como una herramienta disruptiva que prioriza la agilidad extrema en hardware local frente a la perfección absoluta de los modelos cerrados. Al combinar la arquitectura MoE con un innovador sistema de difusión de texto, logra que las GPUs de consumo se sientan como supercomputadoras, abriendo la puerta a asistentes interactivos instantáneos que, aunque tengan algún pequeño desliz en calidad, ofrecen una experiencia de uso fluida y sin esperas.