Los chatbots premium también mienten: estudio revela más del 60% de errores en sus respuestas

📉 ¿Estamos confiando demasiado en los chatbots?

Si tu empresa está invirtiendo fuerte en IA conversacional pensando que resolverá todos los problemas, es momento de pausar. Un estudio del Columbia Journalism Review ha desvelado algo preocupante: más del 60% de las respuestas ofrecidas por los chatbots son erróneas, y lo peor… se entregan con la seguridad de un experto.

Este tipo de errores no son anecdóticos. Estamos hablando de respuestas inventadas, enlaces falsos, fuentes mal citadas y, en algunos casos, hasta contenido robado. ¿Lo más irónico? Los modelos premium (sí, los de pago) fallan más que las versiones gratuitas.

📊 El estudio: metodología y resultados

Las investigadoras Klaudia Jaźwińska y Aisvarya Chandrasekar llevaron a cabo una evaluación meticulosa:

• Analizaron 1.600 consultas a ocho motores de IA

• Extrajeron fragmentos de 200 artículos reales

• Evaluaron tres aspectos clave:

  • ¿Identificó el artículo correcto?

  • ¿Cito bien la editorial?

  • ¿Proporcionó la URL real?

Resultados:

❗ Lo más llamativo: los chatbots premium ofrecían respuestas más seguras… pero también más equivocadas.

🤥 La seguridad con la que mienten

Una de las conclusiones más inquietantes es que los modelos de IA mienten con firmeza. No utilizan frases como “no estoy seguro” o “esto podría no ser exacto”. Simplemente lo afirman como si fuera la verdad absoluta. Esto los hace peligrosamente persuasivos.

Además, muchos de ellos:

• Ignoran directrices como robots.txt (que limita el acceso a contenido protegido)

• Saltan muros de pago (como los de Time o LA Times)

• Ofrecen enlaces rotos o inventados

🧠 Pensamiento crítico vs. IA segura (spoiler: aún no llega)

Este estudio deja en evidencia que los chatbots todavía están lejos de ser confiables para tareas informativas o de análisis serio. Copian, inventan, mezclan fuentes… y todo con una voz tan confiada que muchos caen en la trampa.

Incluso en colaboraciones formales con medios como San Francisco Chronicle, los errores eran frecuentes. La IA no distingue bien lo verificado de lo inventado.

🚨 ¿Quién es el más problemático?

🟥 Grok 3 (la IA de Elon Musk)

• Fue la peor en precisión.

• 94% de error.

• Presenta respuestas seguras, aunque delirantes.

• Resultados completamente inventados en muchos casos.

🟠 Perplexity Pro

• 37% de error, y mayor que su versión gratuita.

• Saltó muros de pago sin permiso.

• Citó mal, incluso con contenido público.

🟢 Claude y Gemini

• Menor presencia de errores, pero limitaciones notables.

• Gemini suele decir “no puedo responder” en muchas ocasiones.

• Claude brilla, pero no está integrado en ecosistemas amplios.

🤯 Entonces, ¿vale la pena pagar por IA?

En teoría, pagar por una herramienta premium debería garantizar mejores resultados. Pero en la práctica:

• Las versiones de pago mienten más, porque no muestran dudas.

• No hay garantía de precisión por más caro que sea el servicio.

• Las integraciones con medios y licencias no aseguran fidelidad ni rigor.

Es decir: pagar no resuelve el problema, solo lo maquilla con más confianza en la mentira.

🛡️ ¿Y Apple en todo esto?

Apple está avanzando más lento, sí… pero tal vez con más precaución. Mientras empresas como Google y OpenAI compiten por lanzar lo más rápido posible, Apple ha decidido esperar y evaluar riesgos.

Como señala Applesfera, Apple aún no ha lanzado su IA conversacional a gran escala, y eso podría ser una ventaja. Las otras IAs están sirviendo un plato a medio cocinar… y con ingredientes dudosos.

💡 Lecciones importantes (para empresas y usuarios)

• No confíes ciegamente en una IA, aunque pagues por ella

• Siempre verifica la información con fuentes confiables

• No tomes una respuesta como un hecho solo porque suena convincente

• Educa a tu equipo en pensamiento crítico y en habilidades para contrastar información

🙋 FAQ – Preguntas Frecuentes

¿Qué significa que un chatbot «miente»?

No es que lo haga con intención, sino que genera respuestas incorrectas o inventadas y las presenta como si fueran verdad.

¿Qué chatbot fue el más confiable en el estudio?

Ninguno fue perfecto, pero los modelos más modestos (gratuitos) fueron menos peligrosos que los premium porque no aseguraban tanto lo que decían.

¿Es legal que un chatbot acceda a contenido protegido?

En muchos casos no lo es. Ignorar directrices como robots.txt puede violar políticas de uso y derechos de autor.

¿Qué hacer si mi empresa ya usa chatbots?

Capacita a tu equipo para no depender exclusivamente de ellos. Verifica cada respuesta antes de tomar decisiones importantes.

🔚 Entonces

Estamos en una fase donde la tecnología promete más de lo que realmente entrega. Los chatbots pueden ser útiles, pero están muy lejos de ser confiables para tareas críticas o informativas.

La moraleja: no confundas confianza con veracidad. Una IA segura de sí misma no es sinónimo de que tenga razón.

Fernando Juca Maldonado

Ingeniero en Sistemas de Información y docente universitario en el área de tecnología. Especialista en el desarrollo de sitios web, plataformas e-commerce y entornos virtuales de aprendizaje basados en Moodle. Experiencia en soluciones tecnológicas aplicadas a la educación y a la transformación digital de organizaciones.

Publicaciones relacionadas:

¿Puede una IA entender tus emociones mejor que una persona?🧠 Investigación profunda con IA: Comparativa entre Claude, Gemini y ChatGPT Claude introduce conversaciones de voz y memoria mejorada: el futuro de la IA 🔊 Cómo funciona la IA en los buscadores y qué modelo ético hay detrás de cada respuesta