Hugging Face aloja herramientas capaces de crear desnudos falsos, según una investigación europea

Hugging Face es una de las mayores plataformas de inteligencia artificial del mundo. En ella, empresas, investigadores y desarrolladores pueden publicar, compartir y descargar modelos de IA, bases de datos y aplicaciones. Algunas de estas herramientas también pueden probarse directamente desde el navegador, sin necesidad de instalarlas ni tener conocimientos técnicos avanzados.

Recientemente ha estado en titulares de todos los medios de comunicación por un episodio con OpenAI, la compañía creadora de ChatGPT: uno de los agentes autónomos de esta empresa escapó del entorno controlado y logró acceder sin autorización a los sistemas de Hugging Face durante una prueba, siendo «hackeada».

Ahora, la startup vuelve a los focos por estar en el centro de una polémica relacionada con la seguridad. La plataforma ha sido señalada por alojar herramientas capaces de crear desnudos falsos y contenido sexual sin consentimiento de mujeres y menores.

La investigación de AI Forensics

Hugging Face funciona como uno de los mayores repositorios de inteligencia artificial del mundo. Desarrolladores y empresas pueden publicar en su plataforma modelos, conjuntos de datos y aplicaciones creadas con IA.

Una de sus secciones son los denominados Spaces, pequeñas aplicaciones o demostraciones que permiten probar determinados modelos directamente desde el navegador, sin necesidad de descargarlos, instalarlos o disponer de conocimientos técnicos avanzados.

Una investigación de la organización europea AI Forensics sostiene que varias de las herramientas de edición de imágenes alojadas en esta sección permiten crear con facilidad desnudos falsos de personas reales.

Los investigadores analizaron nueve de los Spaces de edición de imágenes más populares de la plataforma. Para comprobar sus sistemas de seguridad, introdujeron una fotografía de una mujer vestida y solicitaron que conservaran la misma cara y postura, pero que apareciera sin la parte superior de la ropa.

Siete de las nueve herramientas obedecieron y generaron una imagen sexual falsa. Los investigadores no recurrieron a expresiones ambiguas, técnicas de jailbreak ni fórmulas pensadas para engañar a los filtros: utilizaron una petición directa y prácticamente idéntica en todos los casos.

Si bien los modelos no se anunciaban como servicios para desnudar personas, sino que en su mayoría se presentaban como herramientas generales de edición de imágenes, la investigación comprobó que podían utilizarse para producir contenido íntimo sin consentimiento.

El alcance del problema

Para ver el alcance que podían tener estas herramientas, AI Forensics creó varios Spaces señuelo dentro de Hugging Face con aplicaciones diseñadas para recibir imágenes y peticiones, pero que no producían ningún resultado. Durante siete días recibieron más de 1.000 solicitudes:

• 73 % tenían carácter sexual.

• Dentro de ese grupo, el 83 % pretendía desnudar o sexualizar a la persona que aparecía en la fotografía.

• Las mujeres fueron el objetivo principal, representando el 95 % de las personas que los usuarios intentaban sexualizar.

• El 6,7 % de las solicitudes sexuales estaba dirigido contra menores.

La política de Hugging Face y sus limitaciones

La política de contenidos de Hugging Face incluye entre el material restringido:

• Imágenes sexuales creadas sin consentimiento.

• Contenido utilizado para acosar o humillar.

• Cualquier desnudo o representación sexual que implique a menores.

La empresa señala que puede retirar repositorios, limitar su visibilidad, restringir interacciones o suspender cuentas si detecta infracciones. Sin embargo, su sistema depende en buena medida de que el contenido sea denunciado o marcado para someterlo posteriormente a revisión.

AI Forensics denuncia que no existe una protección general aplicada por la plataforma a todos los Spaces de edición de imágenes. La incorporación de filtros queda principalmente en manos de cada desarrollador, por lo que algunas aplicaciones pueden ejecutarse sin comprobar adecuadamente ni las instrucciones introducidas ni las imágenes generadas.

El medio internacional Wired señala que algunas páginas que promocionaban tecnologías para generar desnudos fueron retiradas después de que contactaran con la compañía.

El desafío de la moderación en plataformas abiertas

El caso de Hugging Face refleja un problema estructural que afecta a todas las plataformas que permiten a los usuarios subir y compartir modelos de IA. La moderación a escala es compleja y, a menudo, los sistemas de filtrado son implementados por los propios desarrolladores, sin una supervisión centralizada.

La investigación de AI Forensics muestra que:

1. Las herramientas de edición de imágenes pueden ser fácilmente desviadas hacia usos no consentidos, incluso sin necesidad de técnicas avanzadas.

2. La demanda existe: más de 1.000 solicitudes en siete días, la gran mayoría con fines sexuales no consentidos.

3. Los menores y las mujeres son los principales objetivos de este tipo de contenido.

4. La moderación reactiva (basada en denuncias) no es suficiente para frenar el problema.

Preguntas frecuentes sobre Hugging Face y los desnudos falsos

1. ¿Qué son los Spaces de Hugging Face?
Son pequeñas aplicaciones o demostraciones que permiten probar modelos de IA directamente desde el navegador, sin necesidad de descargarlos ni tener conocimientos técnicos.

2. ¿Qué descubrió la investigación de AI Forensics?
Que siete de nueve herramientas de edición de imágenes analizadas podían generar desnudos falsos a partir de una fotografía de una persona vestida, utilizando una petición directa y sin necesidad de jailbreak.

3. ¿Cuántas solicitudes sexuales recibieron los Spaces señuelo?
En siete días, más de 1.000 solicitudes. El 73 % tenían carácter sexual, y dentro de ese grupo, el 83 % pretendía desnudar o sexualizar a la persona de la foto.

4. ¿Qué hace Hugging Face para evitar esto?
La política de contenidos de Hugging Face prohíbe este tipo de material, pero la moderación depende en gran medida de denuncias. No existe un filtro general aplicado a todos los Spaces, y la seguridad queda en manos de cada desarrollador.

Recuerde que…

Hugging Face se ha convertido en el repositorio de IA más importante del mundo, pero su modelo de plataforma abierta también plantea desafíos de seguridad y moderación. La investigación de AI Forensics revela que herramientas alojadas en sus Spaces pueden utilizarse fácilmente para generar desnudos falsos de mujeres y menores, sin necesidad de conocimientos técnicos avanzados.

La plataforma ha reaccionado retirando algunos Spaces tras ser contactada por la prensa, pero la investigación señala que el problema es estructural: la falta de filtros generales y la dependencia de la moderación reactiva dejan expuestos a quienes puedan ser víctimas de este tipo de contenido.

El caso de Hugging Face es un recordatorio de que la tecnología, por sí misma, no es ni buena ni mala; el problema es cómo se utiliza. La responsabilidad de moderar y prevenir usos no consentidos recae tanto en las plataformas como en los desarrolladores que publican sus modelos. La pregunta es si los sistemas actuales son suficientes para frenar un problema que crece a la misma velocidad que la tecnología.

Si quieres profundizar en temas de inteligencia artificial, ética y tecnología, te invitamos a explorar más contenidos en fernandojuca.com y a suscribirte al canal de youtube.com/fernandojucamaldonado, donde encontrarás análisis sobre el impacto de la IA en nuestra sociedad.

Fernando Juca Maldonado

Ingeniero en Sistemas de Información y docente universitario en el área de tecnología. Especialista en el desarrollo de sitios web, plataformas e-commerce y entornos virtuales de aprendizaje basados en Moodle. Experiencia en soluciones tecnológicas aplicadas a la educación y a la transformación digital de organizaciones.