El objetivo principal del trabajo es explorar cómo los LLMs, que tradicionalmente procesan texto, pueden aplicarse a tareas de visión por computadora. La clave de este enfoque es convertir imágenes en formato raster (JPEG, PNG) a formato SVG, lo que permite a los LLMs manejar descripciones textuales de imágenes. Esta conversión facilita el procesamiento de imágenes sin necesidad de componentes visuales adicionales.

SVGs como Representación de Imágenes: Los gráficos vectoriales escalables describen imágenes utilizando elementos de texto (XML). Esto permite que los LLMs procesen las imágenes directamente, interpretando formas, colores y relaciones entre elementos visuales.

Proceso de Conversión: El método comienza convirtiendo imágenes rasterizadas en descripciones SVG. Este proceso implica identificar y describir las características visuales de la imagen en términos de SVG, lo que incluye formas básicas, colores y posiciones.
Clasificación de Imágenes

Clasificación de Imágenes: Utilizando descripciones SVG, los LLMs pueden realizar tareas de clasificación de imágenes. Las pruebas demostraron que este enfoque es robusto frente a cambios en la distribución de datos y mejora el rendimiento mediante aprendizaje en contexto.

Robustez y Flexibilidad: Al usar SVGs, los modelos pueden manejar variaciones en las imágenes de manera más efectiva que con imágenes rasterizadas, gracias a la estructura descriptiva y menos dependiente de la resolución.
Generación y Edición de Imágenes

Generación de Imágenes: Los LLMs pueden generar nuevas imágenes SVG a partir de descripciones textuales, creando gráficos vectoriales que representan las descripciones dadas.

Edición Interactiva: Los usuarios pueden interactuar con los modelos para refinar y editar imágenes. Los LLMs responden a la retroalimentación en tiempo real, ajustando las representaciones SVG para cumplir con las expectativas humanas.
Resultados y Contribuciones

Rendimiento de Clasificación: En tareas de clasificación, los LLMs basados en SVG superaron significativamente el rendimiento de aprendizaje en cero (zero-shot). El aprendizaje en contexto permitió a los modelos mejorar su precisión en la clasificación de imágenes.

Robustez ante Cambios: Las representaciones SVG demostraron ser más robustas ante cambios en la distribución de datos, manteniendo un buen rendimiento incluso cuando las imágenes variaban significativamente de las vistas durante el entrenamiento.

Generación y Edición de Imágenes: Los LLMs mostraron capacidad para generar y editar imágenes SVG basadas en la retroalimentación del usuario, demostrando un potencial considerable para aplicaciones interactivas y creativas.
Limitaciones y Desafíos

Detalle en SVGs: Los SVG estándar pueden no ser ideales para representar contenido fotográfico detallado debido a la pérdida de finos detalles. La conversión de imágenes muy detalladas puede generar SVGs muy largos y complejos.

Secuencias Largas: La incorporación de demasiados detalles en SVGs puede resultar en secuencias de texto muy largas para los LLMs basados en Transformadores, lo que puede afectar el rendimiento del modelo.

Conclusión

Este estudio presenta un enfoque innovador que combina LLMs y SVGs para la comprensión y manipulación de imágenes. Los resultados obtenidos muestran que esta integración no solo es viable sino también ventajosa en términos de robustez y flexibilidad en varias tareas visuales. Este enfoque abre nuevas posibilidades para el uso de modelos de lenguaje grandes en el dominio de la visión por computadora, ofreciendo un nuevo paradigma para la interacción con imágenes a través de descripciones textuales.

Estudio completo: https://arxiv.org/pdf/2306.06094
Post enriquecido con IA.