Otro de los "ataques" con respecto a los modelos de aprendizaje computacional es el denominado envenenamiento de datos.

Muy posiblemente a este punto de tu vida ya conozcas uno o varios de los modelos de IA generativa de imágenes a través de texto como lo es DALL-E, Midjourney y Stable Diffusion. Los ataques no siempre tiene un trasfondo maligno o para hacer daño para un fin económico, y este es el caso que vamos a revisar a continuación.

Al principio de esta ola de IA las primeras personas que fueron fuertemente golpeadas fueron los artistas porque se mencionaba que los modelos de aprendizaje computacional estaban llegando a un punto en donde esta profesión estaría por desaparecer, increíblemente en este punto de nuestra historia las profesiones con más años y de especialización son las que corren mas peligro de acuerdo a un estudio publicado por la empresa OpenAI como se muestra en la siguiente imagen.

Pero volviendo al tema, si los artistas van a caer, lo van hacer pero dando pelea, la herramienta Nightshade desordena los datos de entrenamiento para causar graves daños a los modelos de IA generadores de imágenes, y es una herramienta que ha estado ganando terreno. Una de las quejas que se ha tenido la comunidad de artistitas digitales es que se sabe que este tipo de IA ocupan gran cantidad de imágenes para poder entrenar sus modelos, acá es donde viene la controversia porque algunas de esas imágenes no son solicitadas al autor y se ocupan sin su consentimiento, uno de los principios que se siguen en esto del aprendizaje computacional es que la calidad de tus modelos depende enteramente de de la calidad de tus datos.

¿Cómo funcionan realmente este tipo de infección?, explota uno de los elementos de seguridad que a su vez el núcleo de este tipo de modelos el ocupar un conjunto grande de imágenes para entrena, los artistas que quieran ocupar la herramienta lo que hace es manipular las imágenes para que representen otra cosa totalmente diferente. En el caso de que los artistas quieran publicar su contenido en internet pueden ocupar Glaze que enmascara el estilo al original.

Los datos envenenados tiene la capacidad de generar un mal funcionamiento de la IA, para que aprendan de una cierta manera y el resultado sea totalmente diferente al esperado, se le puede hacer creer que una bolsa es una tostadora o un perro es un gato.

Los datos envenenados son muy difíciles de detectar y mucho mas de eliminar, se aprovecha de que los modelos son muy buenos relacionando palabras, es por ello que no solo afectan por ejemplo a perro sino también a cosas relacionados con él por ejemplo cachorro, gran danés, peludo, etc.

Otra cuestión interesante es que con una cantidad significativa de imágenes (como se muestra en la imagen anterior), el resultado puede empezar a cambiar considerablemente, a tal punto de que el resultado final puede ser otra cosa totalmente distinta a la que se tenia pensando en un principio.

El uso de este tipo de herramientas podría ser un parte aguas para lo que actualmente se esta haciendo en IA, ya que las grandes empresas no quisieran que sus modelos empezaran a dejar de funcionar si se meten con las personas equivocadas, lo que arruinaría no solo años de investigación y millones de dólares tirados a la basura.