PaLM 2 de Google utiliza casi cinco veces más datos de texto que su predecesor

El nuevo modelo de lenguaje principal de Google, que la compañía anunció la semana pasada, utiliza casi cinco veces más datos de entrenamiento que su predecesor para 2022, lo que le permite realizar tareas más avanzadas de codificación, matemáticas y escritura creativa, según pudo saber CNBC:

PaLM 2, el nuevo modelo a gran escala (LLM) de propósito general de la compañía presentado en Google I/O, se está capacitando en 3,6 billones de tokens, según documentos internos vistos por CNBC. Los tokens, que son cadenas de palabras, son un componente importante para el entrenamiento de los LLM porque le enseñan al modelo a predecir la siguiente palabra que aparecerá en una secuencia.

La versión anterior de PaLM de Google, que significa Pathways Language Model, se lanzó en 2022 y se entrenó en 780 mil millones de caracteres.

Si bien Google estaba ansioso por mostrar el poder de su tecnología de inteligencia artificial y cómo podría incorporarse a la búsqueda, el correo electrónico en correos electrónicos, procesadores de texto y hojas de cálculo, la empresa no quiere revelar el tamaño u otros detalles de sus datos de entrenamiento. OpenAI, el creador de ChatGPT respaldado por Microsoft, también ha mantenido en secreto las características de su último LLM, llamado GPT-4.

La razón de la ausencia, dicen las empresas, es la naturaleza competitiva del negocio. Google y OpenAI se apresuran a atraer usuarios que deseen buscar información a través de chatbots conversacionales en lugar de los motores de búsqueda tradicionales.

Pero a medida que la carrera armamentista de la IA se intensifica, la comunidad investigadora exige una mayor transparencia.

Desde que reveló el PaLM 2, Google ha dicho que el nuevo modelo es más pequeño que los LLM anteriores, lo cual es significativo porque significa que la tecnología de la empresa se está volviendo más eficiente al manejar tareas más complejas. PaLM 2, según documentación interna, fue entrenado en 340 mil millones de parámetros, lo que indica la complejidad del modelo. El PaLM original fue entrenado con 540 mil millones de parámetros.

Google no hizo ningún comentario inmediato para esta historia.

Google: dicho En una publicación de blog sobre PaLM 2, el modelo utiliza una «nueva técnica» llamada «escalado óptimo computacional». Eso hace que LLM sea «más eficiente con un mejor rendimiento general, incluida una inferencia más rápida, menos parámetros de mantenimiento y un menor costo de mantenimiento».

Al anunciar PaLM 2, Google confirmó un informe anterior de CNBC de que el modelo ha sido entrenado en 100 idiomas y realiza una amplia gama de tareas. Ya se utiliza para potenciar 25 funciones y productos, incluido el chatbot experimental de la empresa, Bard. Está disponible en cuatro tamaños, del más pequeño al más grande: Gecko, Otter, Bison y Unicorn.

PaLM 2 es más poderoso que cualquier modelo existente basado en exposiciones públicas. LLM de Facebook llamado LLaMA, que Anunciado formación sobre 1,4 billones de tokens en febrero. La última vez que OpenAI compartió el tamaño del entrenamiento de ChatGPT con GPT-3, la compañía anunció que había entrenado con 300 mil millones de tokens en ese momento. OpenAI lanzó GPT-4 en marzo y dijo que mostró un «rendimiento a nivel humano» en muchas pruebas profesionales.

LaMDA, un LLM conversacional que se busca en Google presentado Promocionado junto a Bard hace dos años y en febrero, entrenó con 1,5 billones de tokens, según documentos recientes vistos por CNBC.

A medida que las nuevas aplicaciones de inteligencia artificial ingresan rápidamente a la corriente principal, la controversia sobre la tecnología subyacente se vuelve cada vez más intensa.

El Mahdi El Mhamdi, científico sénior de Google Research, renunció en febrero debido a la falta de transparencia de la empresa. El CEO de OpenAI, Sam Altman, testificó en una audiencia del Subcomité Judicial del Senado sobre Privacidad y Tecnología el martes y estuvo de acuerdo con los legisladores en que se necesita un nuevo sistema para tratar con la IA.

«Para una tecnología muy nueva, necesitamos un nuevo marco», dijo Altman. «Ciertamente, las empresas como la nuestra tienen una gran responsabilidad por las herramientas que ofrecemos al mundo».

— Jordan Novette de CNBC contribuyó a este informe.

MIRAR: El CEO de OpenAI, Sam Altman, pide controlar la IA