OpenAI, el reconocido laboratorio de inteligencia artificial (IA), ha ganado notoriedad en los últimos años por sus avances en el campo de los modelos generativos de lenguaje. Un producto de su arduo trabajo es la serie de modelos de Procesamiento Generativo de Texto, o GPT (por sus siglas en inglés). El modelo más conocido de esta serie es el ChatGPT, que ha sido adoptado por desarrolladores en todo el mundo para impulsar aplicaciones que dependen del procesamiento del lenguaje natural.

En un esfuerzo constante por mejorar las capacidades de estos modelos, OpenAI ha introducido una variante ampliada de ChatGPT, denominada "GPT3.5-Turbo-16K". Este nuevo modelo representa un paso significativo en la expansión de la capacidad de memoria de los modelos de lenguaje.
¿Qué es GPT3.5-Turbo-16K?

Para aquellos que han utilizado la API de OpenAI para integrar ChatGPT en sus aplicaciones, el término "GPT3.5-Turbo" será familiar. Sin embargo, recientemente, OpenAI ha introducido "GPT3.5-Turbo-16K" en sus interfaces de programación de aplicaciones (APIs).

Es importante aclarar que este nuevo modelo, en esencia, es similar al modelo 3.5 "normal". Sin embargo, la principal diferencia radica en su ventana de contexto, que se ha expandido a 16.000 tokens. Esta expansión multiplica por ocho la capacidad de retención de memoria de ChatGPT, lo que le permite mantener el contexto de las interacciones a lo largo de un texto más extenso.

Para poner en perspectiva la relevancia de este avance, consideremos el siguiente hecho: de manera aproximada, ChatGPT solo puede recordar poco más de 2 páginas escritas. Más allá de este punto, comienza a perder la memoria de la conversación. Con esta actualización, ChatGPT puede recordar alrededor de 20 páginas, un incremento significativo.

Aunque impresionante, todavía se encuentra lejos del GPT-4 en su mejor versión y de Claude de Anthropic, que actualmente ostenta el récord con una ventana de contexto de 100k tokens.
Mitos y realidades

Una de las suposiciones más comunes de los usuarios es que una ventana de contexto mayor podría resultar en respuestas más largas del modelo. Sin embargo, la longitud de las respuestas en la versión GPT3.5-Turbo-16K se mantiene similar a la de su predecesor. Lo que sí se ha incrementado es su capacidad para mantener la coherencia en respuestas largas, que son proporcionadas a través de varias peticiones.

La introducción del GPT3.5-Turbo-16K es un hito importante en el desarrollo de los modelos de IA. La expansión de la ventana de contexto ofrece nuevas posibilidades para el desarrollo de aplicaciones de IA más complejas y coherentes. Sin duda, será interesante ver cómo esta innovación influirá en el futuro de la inteligencia artificial conversacional.