Publicado 17/01/2020 16:55:11 +01:00CET

Portaltic.-El nuevo modelo de IA de Google es capaz de manejar ventanas de contexto de hasta 1 millón de palabras

El nuevo modelo de IA de Google es capaz de manejar ventanas de contexto de hast
El nuevo modelo de IA de Google es capaz de manejar ventanas de contexto de hast - PIXABAY - Archivo

   MADRID, 17 Ene. (Portaltic/EP) -

   Google ha presentado su nuevo modelo de Inteligencia Artificial (IA), Reformer, capaz de comprender el contexto de contenidos de hasta un millón de palabras utilizando tan solo un acelerador y 16 GB de memoria, y de procesar novelas enteras.

   Para poder entender los datos secuenciales, como el lenguaje, la música o los vídeos, es importante conocer el contexto que lo rodea. El principal problema con el que se encontraba Transformer, la red neuronal de comprensión de lenguaje de Google, que no era eficaz con textos largos y hacía que no fuera práctico extenderlo a ventanas de contexto más grandes.

   Esto se debe a que Transformer tiene que considerar todos los pares de palabras posibles dentro de la ventana de contexto para ser capaz de comprender las conexiones entre ellos. Por ello como ha explicado Google desde su blog, han desarrollado Reformer.

   Reformer es un modelo que utiliza la IA para manejar ventanas de contexto de hasta un millón de palabras. Este modelo, que solo usa un acelerador y 16 GB de memoria, combina dos técnicas para resolver los problemas de atención y asignación de memoria que afectan al modelo Transformer.

   Para solucionar esto, Reformer utiliza 'hashing' sensible a la localidad (LSH) con el fin de reducir la complejidad de asistir a secuencias largas. Para conseguirlo LSH utiliza una función hash- función que se puede utilizar para asignar datos de tamaño arbitrario a valores de tamaño fijo- que coincide con vectores similares.

   Cada vector correspondiente a la misma palabra en diferente idioma puede obtener el mismo 'hash'. Cada 'hash' tiene asignado un color que reúne palabras similares. Una vez se asigna el 'hash', la secuencia se reorganiza para reunir elementos que tengan el mismo 'hash'. Posteriormente, el modelo aplica la atención en fragmentos más cortos para facilitar el trabajo.

   Para resolver el problema de memoria, Reformer vuelve a calcular la entrada de cada capa bajo demanda durante la retropropagación en vez de almacenarla en la memoria como hacía el anterior modelo. Para ello utiliza capas reversibles que recuperan las activaciones de cualquier capa intermedia.

   Los investigadores probaron este modelo para la generación de imágenes, comprobaron que a partir de fragmentos de imágenes Reformer era capaz de crear fotogramas completos, píxel por píxel. Pero donde destaca es en la comprensión de textos, llegando a procesar novelas completas.

Lo más leído

  1. 1

    Coronavirus.- México destaca que el 60 por ciento de los pacientes de la COVID-19 han logrado recuperarse

  2. 2

    Venezuela.- La UE impone sanciones contra Luis Parra y otros diez altos cargos del Gobierno de Maduro

  3. 3

    Desmintiendo mitos de la esclerosis múltiple: no es hereditaria y tampoco es terminal

  4. 4

    Coronavirus.- Perú supera los 280.000 casos y avisa de que la posibilidad de volver a la cuarentena "no está cerrada"

  5. 5

    La Clínica Universidad de Navarra trata con protonterapia a una niña de seis años que sufría un tumor cerebral