IA multimodal: qué hace con imágenes, audio y vídeo

IA multimodal: qué puede hacer con imágenes, audio y vídeo y dónde falla

Hacer una foto a una factura arrugada o a un tablero de ajedrez y preguntar a la IA qué hay en ella se ha convertido en una práctica cotidiana. Con la factura, el modelo tiene a su favor que leer y resumir documentos es uno de sus usos más consolidados. Con el tablero, la propia OpenAI advierte en su documentación de que sus modelos tienen problemas con la localización espacial precisa, y cita ese ejemplo exacto: identificar la posición de las piezas. La IA multimodal amplía de forma notable lo que se puede pedir a un asistente, pero también expone límites que conviene conocer antes de confiar en sus respuestas.

Qué significa que una IA sea multimodal

Un modelo multimodal es una inteligencia artificial que acepta como entrada algo más que texto —imágenes, audio, vídeo o documentos— y responde sobre ese contenido. Google describe en su documentación de comprensión de imágenes modelos multimodales desde su diseño, capaces de describir imágenes, clasificarlas o responder preguntas sobre ellas sin entrenar un sistema especializado para cada tarea.

La diferencia práctica es sustancial. Antes hacía falta un programa para leer el texto de una foto, otro para transcribir audio y otro para etiquetar objetos. Ahora se le pasa el archivo al chatbot y se le pregunta en lenguaje natural.

Conviene evitar una confusión habitual: entender una imagen no es lo mismo que crearla. Claude, por ejemplo, solo interpreta imágenes. Su guía de visión aclara que no puede generar, editar ni manipular imágenes. Lo multimodal se refiere a lo que el modelo puede leer; lo que puede producir depende de cada producto.

El coste invisible: tokens y memoria limitada

Todo lo que entra cuesta. Las imágenes, el audio y el vídeo se convierten en unidades de cómputo igual que el texto. En Gemini, una imagen pequeña equivale a 258 tokens y un minuto de audio a 1.920 tokens. Por eso un vídeo largo llena enseguida lo que el modelo puede retener, el mismo motivo por el que la IA se olvida de lo que se le dijo al principio de una conversación extensa.

Esa mecánica explica por qué conviene dividir las tareas largas en fragmentos y por qué el resultado mejora cuando se selecciona qué parte del material se entrega al modelo.

Qué acepta cada modelo: imágenes, audio y vídeo

Los límites cambian con cada versión, de modo que lo que sigue es una foto fija de la documentación para desarrolladores de cada empresa a octubre de 2026. En las aplicaciones de consumo los topes suelen ser más bajos.

En audio, la documentación de Gemini es la más detallada: además de transcribir, traducir y poner marcas de tiempo, distingue quién habla y reconoce sonidos que no son voz, como pájaros o sirenas. Un detalle técnico con consecuencias: el audio se reduce a 16 kbps, así que la calidad de la grabación original importa menos de lo que parece, pero el ruido de fondo sigue ahí.

Para qué sirve en el día a día

Los usos que más rinden son poco espectaculares. Leer y resumir un documento fotografiado, extraer los datos de un tique, describir un gráfico, transcribir una reunión grabada o localizar en qué minuto de un vídeo se habla de un tema. En la aplicación de Gemini, además, se puede compartir la cámara o la pantalla en Gemini Live; su aviso de privacidad indica que, por defecto, esas grabaciones de audio y vídeo no se usan para mejorar los servicios de Google.

Dónde se equivoca: contar, leer letra pequeña y situar cosas

Los errores aparecen en tareas visuales sencillas para una persona: contar objetos pequeños, leer texto diminuto o determinar qué está a la izquierda de qué. Lo reconocen las propias empresas.

La guía de visión de OpenAI enumera sus límites: los recuentos de objetos son aproximados, el texto pequeño hay que ampliarlo, el texto girado o invertido se malinterpreta, los gráficos con líneas discontinuas o colores variables le cuestan, las imágenes panorámicas y de ojo de pez le dan problemas y rinde peor con alfabetos no latinos como el japonés o el coreano. Anthropic coincide en lo esencial: Claude da recuentos aproximados, sobre todo con muchos objetos pequeños, se equivoca más con imágenes de baja calidad, giradas o de menos de 200 píxeles, y sus coordenadas son aproximadas.

La investigación independiente apunta en la misma dirección. El estudio Vision language models are blind, publicado en julio de 2024 y revisado en marzo de 2025, planteó siete pruebas triviales para una persona, como decir si dos círculos se tocan o cuántas veces se cruzan dos líneas. Los cuatro modelos punteros de entonces acertaron de media un 58,07 %; el mejor llegó al 77,84 %. Los autores comprobaron que la información visual estaba en el sistema, pero el modelo no conseguía traducirla en una respuesta correcta.

Tres límites adicionales que conviene conocer

• Diagnóstico médico. Tanto OpenAI como Anthropic advierten de que sus modelos no sirven para interpretar escáneres especializados como un TAC.

• Detectar imágenes falsas. Anthropic avisa de que Claude no puede saber si una imagen está generada por IA y puede equivocarse si se le pregunta.

• Vídeo rápido. Gemini analiza por defecto un fotograma por segundo, y Google reconoce que en escenas de acción rápida se pierde detalle.

Para vídeos largos, Gemini ofrece un modo en el que el modelo navega por la transcripción y carga solo los fragmentos que necesita, con hasta un 88 % menos de tokens según Google. Funciona con razonamiento interno, la misma lógica de los modelos de razonamiento: en clips cortos puede tardar más y gastar más.

Preguntas frecuentes sobre la IA multimodal

¿Qué es un modelo de IA multimodal?

Es una inteligencia artificial que acepta como entrada varios tipos de información —texto, imágenes, audio, vídeo o documentos— y responde sobre ese contenido combinándolos en una misma respuesta, sin necesidad de sistemas especializados para cada tarea.

¿Entender una imagen es lo mismo que generarla?

No. Lo multimodal se refiere a lo que el modelo puede leer o interpretar. La capacidad de generar o editar imágenes depende de cada producto. Claude, por ejemplo, solo interpreta imágenes y no puede generarlas ni manipularlas.

¿Por qué la IA se olvida de lo que le dije al principio de una conversación?

Porque las imágenes, el audio y el vídeo se convierten en tokens, las unidades de cómputo que el modelo puede procesar. Un vídeo largo o una conversación extensa consumen esa capacidad y desplazan la información inicial.

¿En qué tareas conviene desconfiar de una IA multimodal?

En las que dependen de un detalle pequeño, una cifra exacta o la posición espacial de los objetos. Contar objetos, leer texto diminuto, interpretar gráficos complejos o localizar piezas en un tablero son tareas donde los errores son frecuentes y conviene verificar.

¿Puede una IA multimodal detectar si una imagen está generada por IA?

No de forma fiable. Anthropic advierte de que Claude no puede saber si una imagen está generada por IA y puede equivocarse si se le pregunta, un problema similar al de los detectores de texto generado.

¿Qué usos rinden más en el día a día?

Leer y resumir documentos fotografiados, extraer datos de un tique, describir gráficos, transcribir reuniones o localizar un tema en un vídeo. Para describir, resumir y transcribir, la herramienta es excelente; para contar o leer matrículas lejanas, no tanto.

Recuerde que…

Lo multimodal ha cambiado de verdad lo que se puede hacer con un móvil y un chatbot, pero la fluidez de las respuestas engaña. Una respuesta segura sobre una foto suena igual cuando acierta que cuando cuenta mal. La documentación de las propias empresas ofrece una regla útil: cuanto más dependa la respuesta de un detalle pequeño, de una cifra exacta o de dónde está cada cosa, más motivos hay para comprobarla. Para describir, resumir y transcribir, estas herramientas son valiosas; para contar pastillas o leer una matrícula lejana, conviene mirarlo por cuenta propia. Pueden leer más contenido en https://fernandojuca.com así como videotutoriales y podcast en https://youtube.com/fernandojucamaldonado.