Meta propone un nuevo método de autoalineación para modelos de generación de lenguaje

Investigadores de Meta AI proponen un nuevo método de autoalineación para modelos de lenguaje llamado “Retrotraducción de Instrucciones”. Esta técnica innovadora permite que los sistemas de IA mejoren su comprensión del lenguaje natural de forma autónoma. En este artículo analizamos en detalle la publicación científica, que representa un avance significativo en el entrenamiento y escalabilidad de los modelos de lenguaje de gran tamaño.

¿Qué es la alineación de modelos de lenguaje?

La alineación de los modelos de lenguaje es un aspecto fundamental en el desarrollo y la implementación de la Inteligencia Artificial (IA). Se refiere a la capacidad de un modelo para comprender y responder a instrucciones en lenguaje natural de manera que esté en consonancia con las intenciones y expectativas humanas. La alineación asegura que el modelo interprete las instrucciones de la misma manera que lo haría un ser humano, generando respuestas coherentes y relevantes. Sin una alineación adecuada, los modelos de lenguaje pueden producir resultados inesperados o incorrectos, lo que puede llevar a malentendidos y errores en aplicaciones críticas. En campos como la atención médica, la finanza y la automoción, donde la precisión y la fiabilidad son vitales, la alineación de los modelos de lenguaje es esencial para garantizar que las máquinas comprendan y ejecuten las tareas de manera segura y eficiente.

Los procesos de alineación de Large Language Models (LLMs) se realizan habitualmente mediante la afinación fina del modelo en diversas funciones, utilizando indicaciones y retroalimentación anotadas por humanos o mediante el ajuste supervisado con conjuntos de datos y benchmarks públicos, lo que puede ser un proceso costoso y difícil de escalar.

¿En qué consiste la autoalineación de LLM?

La autoalineación en los modelos de generación de lenguaje es una técnica que se refiere a la capacidad de un modelo de lenguaje para mejorar y alinear su respuesta con comportamientos y objetivos deseados. En lugar de depender únicamente de la retroalimentación y la supervisión humana, la autoalineación permite que el modelo aprenda y se ajuste de manera autónoma, utilizando su propia generación de texto como guía. Esta técnica es especialmente importante en la era actual de los modelos de lenguaje grandes y complejos, ya que ofrece una forma más eficiente y escalable de entrenamiento y ajuste fino.

La idea es que el modelo sea capaz de retroalimentarse y mejorar su rendimiento a partir de su propia generación de texto.

Esta técnica es lo que Meta ha implementado en su nuevo método, denominado ‘Autoalineación con Retrotraducción de Instrucciones’.

Autoalineación con Retrotraducción de Instrucciones

Los investigadores de Meta AI han propuesto un enfoque novedoso llamado “Autoalineación con Retrotraducción de Instrucciones” (Self Alignment with Instruction Backtranslation). Este enfoque se basa en la idea de utilizar el propio modelo para mejorar su rendimiento y alinear sus respuestas con los comportamientos deseados, como la retroalimentación generada por el modelo, la crítica y las explicaciones.

El objetivo principal de la autoalineación con retrotraducción de instrucciones es etiquetar automáticamente el texto web con las instrucciones correspondientes mediante un modelo de lenguaje de gran escala. Este enfoque se basa en un proceso de autoentrenamiento que asume el acceso a un modelo de lenguaje base, un conjunto de ejemplos no etiquetados, como un corpus web, y una pequeña cantidad de datos de inicio.

El proceso de retrotraducción de instrucciones se puede desglosar en los siguientes pasos:

• Auto-ampliación: generar “buenas instrucciones” para los datos no etiquetados, es decir, el corpus web, con el fin de producir datos de entrenamiento de pares (instrucción, salida) para el ajuste de instrucciones utilizando el modelo de lenguaje de Meta AI (LLaMA).
• Auto-creación: evaluar los datos generados utilizando LLaMA.

Posteriormente, se procede a ajustar finamente LLaMA con los datos y a iterar el procedimiento utilizando el modelo mejorado.

Ventajas y desafíos del nuevo método de Meta

El modelo resultante de esta técnica, llamado “Humpback” (debido a la gran escala de las ballenas en comparación con los camellos), superó a todos los modelos no destilados existentes en el Alpaca Leaderboard.

Si bien este enfoque de autoalineación con retrotraducción de instrucciones tiene numerosas ventajas, también presenta algunas limitaciones. Por un lado, la mejora de los datos se deriva de un corpus web, lo que significa que el modelo ajustado puede acentuar los sesgos presentes en los datos web. Sin embargo, esta metodología garantiza que nunca nos quedaremos sin datos de entrenamiento, estableciendo así un enfoque sólido y escalable para ajustar finamente los grandes modelos de lenguaje para seguir instrucciones.

En cuanto a los desafíos, la calidad de los datos de anotación humana sigue siendo un tema importante en este campo de investigación. Además, existe la necesidad de considerar la escalabilidad de este método mediante la incorporación de corpus no etiquetados más grandes, lo que podría generar mayores beneficios y avances.

Para saber más

Para obtener más información sobre el método de autoalineación de Meta para los modelos de generación de lenguaje, te invitamos a consultar el artículo y el código fuente disponibles online.