Google ha creado un nuevo modelo de lenguaje con el que multiplicar su capacidad gracias a la evolución de la inteligencia artificial, una tecnología con la que acaba de marcar un hito gracias a la implementación de PaLM, que utiliza 540.000 millones de parámetros, muy por encima del sistema anterior.
Qué es Google PaLM
Google PaLM es el nuevo lenguaje ideado por la compañía norteamericana que surge después de un entrenamiento en el que se ha utilizado una combinación de palabras y mensajes en inglés con un conjunto de datos multilingües. En ellos se incluyen contenidos de diferentes tipos, como libros, artículos de Wikipedia, conversaciones o código de la plataforma GitHub.
Es por tanto una revolución en la que se ha puesto el énfasis en utilizar un vocabulario en el que se conservan los espacios en blanco para código y está dividido en caracteres Unicode que no se pueden encontrar en el lenguaje en bytes.
Según informa la compañía en su propio blog especializado en Inteligencia Artificial, esta innovación combina 6.144 TPU v4 chips en Pathways, lo que supone «la mayor configuración de TPU» utilizada de la historia. De esta forma, PaLM alcanza una eficiencia en el entrenamiento del 57,8% en el uso de flops en ‘hardware’, «la más alta alcanzada hasta ahora para los modelos de lenguaje a esta escala». Supera así con creces el modelo de lenguaje GPT-3 de OpenAI, considerado el pionero de Google.
Esta capacidad para analizar y responder a millones de posibilidades se materializa en que la IA es capaz de resolver problemas matemáticos, distinguir entre causa y efecto o comprender las combinaciones conceptuales en contextos apropiados.
Fuente: blog de Google
Pathways IA, la nueva arquitectura de IA de Google
El modelo de IA Pathways de Google es la nueva fórmula creada por la compañía mediante Inteligencia Artificial, que es capaz de abordar y superar un importante número de debilidades de sistemas anteriores.
Esta tecnología genera miles o millones de procesos con un solo modelo, mientras que los sistemas anteriores estaban entrenados solo para hacer uno. Por otra parte, esta IA permite un aprendizaje constante pero también partiendo de lo ya explorado, por lo que no tiene que empezar de cero en cada ocasión.
Además, establece modelos multimodales que abarcan la vista, el oído y la comprensión del lenguaje simultáneamente. Esto se materializa en la capacidad para conectar una palabra con un sonido, una imagen y un vídeo sobre el mismo concepto, con lo que el sistema es más seguro evita los errores y los sesgos.
Por otra parte, Pathways es un modelo que evita el problema de la densidad, es decir, que hasta el momento los sistemas funcionaban con toda su capacidad para la realización de una tarea. Ahora, solo una parte de esta IA se activa para resolver un problema, tal y como sucede en el cerebro humano, que utiliza solo la parte más necesaria para un proceso cognitivo o sensorial y no todo su conjunto, mejorando así su eficiencia.
Qué podemos esperar de Google PaLM
La creación de este nuevo modelo de lenguaje de Google va a permitir incrementar la capacidad de escalar el sistema Pathways a miles de chips aceleradores en dos pods de TPU v4. Entrenar un modelo de 540.000 millones de parámetros de manera eficiente con una fórmula estudiada y establecida permite este notable avance.
Por otra parte, la implantación de Google PaLM va a permitir extender el rendimiento eficiente con menos esfuerzo, independientemente de que se le exija una importante variedad de código, razonamiento y procesamiento del lenguaje natural.
Todo ello se traduce para el usuario final en una mejor experiencia en la comunicación con la plataforma. Esta nueva tecnología entiende mucho mejor la comunicación real y puede realizar tareas de razonamiento que necesitan aritmética de varios pasos o incluso sentido común. Por ejemplo, uno de las pruebas que pasó PaLM fue el adivinar una película a través de cuatro emoijs (robot, insecto, planta y la Tierra), para ello se le daba cuatro posibles opciones, la tecnología escogió la correcta: Wall-E.
Google PaLM posibilita la generación de explicaciones explícitas para escenarios que requieren una combinación compleja lógica, pero también de conocimiento del mundo y comprensión profunda del lenguaje. Esto se materializa en la facilidad para realizar operaciones que parecen solo propias de seres humanos, como explicar chistes o bromas.
Otro aspecto a tener en cuenta, sobre todo para desarrolladores, es que puede generar y escribir código, además de partir de lenguaje natural para su creación, traducirlo de un idioma a otro e incluso corregir errores de compilación.
