8 cosas potencialmente sorprendentes que debe saber sobre los modelos de lenguaje grande LLM

En los últimos meses se ha visto un aumento del interés y la actividad de defensores, políticos y académicos de diversas disciplinas debido a la amplia implementación pública de modelos de lenguaje extenso (LLM). Si bien este enfoque está justificado a la luz de las preocupaciones apremiantes que trae la nueva tecnología, también puede pasar por alto algunos factores cruciales.

Recientemente, ha habido mucho interés por parte de periodistas, legisladores y académicos de todas las disciplinas en modelos de lenguajes grandes y productos creados a partir de ellos, como ChatGPT. Sin embargo, debido a que esta tecnología sorprende de muchas maneras, es fácil que las explicaciones concisas pasen por alto los detalles clave.

Hay ocho aspectos inesperados en esto:

1. Las capacidades de los LLM aumentarán de manera predecible con más inversión, incluso en ausencia de una innovación deliberada.

El aumento reciente en la investigación y la inversión en LLM puede atribuirse en gran medida a los resultados de las leyes de escala. Cuando los investigadores aumentan la cantidad de datos introducidos en modelos futuros, el tamaño de esos modelos (en términos de parámetros) y la cantidad de computación utilizada para entrenarlos, las leyes de escala les permiten anticipar con precisión algunas métricas toscas pero relevantes de cuán capaces son esos modelos. serán los modelos (medido en FLOP). Como resultado, pueden tomar algunas decisiones de diseño cruciales, como el mejor tamaño para un modelo dentro de un presupuesto específico, sin tener que realizar muchos experimentos costosos.

El nivel de precisión al hacer predicciones no tiene precedentes, incluso en el contexto de los estudios de inteligencia artificial contemporáneos. Dado que permite a los equipos de I+D ofrecer iniciativas multimillonarias de formación de modelos con cierta seguridad de que los proyectos tendrán éxito en el desarrollo de sistemas económicamente beneficiosos, también es un potente instrumento para impulsar la inversión.

Aunque los métodos de capacitación para LLM de vanguardia aún no se han hecho públicos, los informes detallados recientes implican que la arquitectura subyacente de estos sistemas ha cambiado poco o nada.

1. A medida que se vierten recursos en LLM, a menudo surgen comportamientos cruciales inesperados.

En la mayoría de los casos, la capacidad de un modelo para anticipar correctamente la continuación de un texto sin terminar, medida por su pérdida de prueba previa al entrenamiento, solo puede predecirse mediante una regla de escala.

Aunque esta métrica se correlaciona con la utilidad de un modelo en muchas actividades prácticas en promedio, no es fácil pronosticar cuándo un modelo comenzará a demostrar talentos particulares o será capaz de realizar tareas específicas.

Más específicamente, la capacidad de GPT-3 para realizar un aprendizaje de pocos intentos, es decir, aprender una nueva tarea a partir de una pequeña cantidad de ejemplos en una sola interacción, y razonamiento de cadena de pensamiento, es decir, escribir su razón en tareas desafiantes. cuando se le solicite, como lo haría un estudiante en un examen de matemáticas, y demostrar un rendimiento mejorado, destáquelo como el primer LLM moderno.

Los futuros LLM pueden desarrollar las funciones que sean necesarias, y hay pocos límites generalmente aceptados.

Sin embargo, el progreso realizado con los LLM a veces ha sido menos anticipado por los expertos de lo que realmente ha ocurrido.

1. Los LLM con frecuencia adquieren y emplean representaciones del mundo externo.

Cada vez más evidencia sugiere que los LLM construyen representaciones internas del mundo, lo que les permite razonar en un nivel abstracto insensible a la forma específica del lenguaje del texto. La evidencia de este fenómeno es más fuerte en los modelos más grandes y más recientes, por lo que se debe anticipar que se volverá más sólido cuando los sistemas se amplíen más. Sin embargo, los LLM actuales deben hacer esto de manera más efectiva y efectiva.

Los siguientes hallazgos, basados ​​en una amplia variedad de técnicas experimentales y modelos teóricos, respaldan esta afirmación.

• Las representaciones de color internas de los modelos son muy consistentes con los hallazgos empíricos sobre cómo los humanos perciben el color.
• Los modelos pueden concluir el conocimiento y las creencias del autor para predecir el curso futuro del documento.
• Las historias se utilizan para informar a los modelos, que luego cambian sus representaciones internas de las características y ubicaciones de los objetos representados en las historias.
• A veces, los modelos pueden proporcionar información sobre cómo representar cosas extrañas en papel.
• Muchas pruebas de razonamiento de sentido común son aprobadas por modelos, incluso algunos como el Winograd Schema Challenge, que están hechos para no tener pistas textuales para la respuesta.

Estos hallazgos contradicen la sabiduría convencional de que los LLM son simplemente predictores estadísticos de la siguiente palabra y no pueden generalizar su aprendizaje o razonamiento más allá del texto.

1. No existen métodos efectivos para influir en las acciones de los LLM.

La creación de un LLM basado en el lenguaje es costosa debido al tiempo y el esfuerzo necesarios para entrenar una red neuronal para predecir el futuro de muestras aleatorias de texto escrito por humanos. Sin embargo, un sistema de este tipo generalmente necesita ser modificado o guiado para ser utilizado con fines distintos a la predicción de continuación por parte de sus creadores. Esta modificación es necesaria incluso cuando se crea un modelo genérico para seguir instrucciones sin intentar una especialización de tareas.

El modelo de lenguaje sencillo de las indicaciones implica la construcción de una frase sin terminar.

Los investigadores están entrenando un modelo para imitar las demostraciones humanas de la habilidad a nivel de expertos mientras están supervisados. Con el aprendizaje por refuerzo, uno puede alterar gradualmente la fuerza de las acciones de un modelo en función de las opiniones de los probadores y usuarios humanos.

1. Los expertos aún deben comprender completamente el funcionamiento interno de los LLM.

Para funcionar, los LLM de última generación se basan en redes neuronales artificiales, que imitan a las neuronas humanas solo vagamente y cuyos componentes internos se activan con números.

En este sentido, los métodos neurocientíficos actuales para estudiar dichos sistemas siguen siendo inadecuados: aunque los investigadores tienen algunas técnicas rudimentarias para determinar si los modelos representan con precisión ciertos tipos de datos (como los resultados de color discutidos en la Sección 3), a principios de 2023, carecen de un método que permitiría describir adecuadamente la información, el razonamiento y los objetivos que entran en la salida de un modelo.

Tanto las explicaciones generadas por modelos como las que estimulan el razonamiento en lenguaje natural pueden ser consistentemente inexactas, a pesar de su aparente promesa.

1. El desempeño de LLM no está limitado por el desempeño humano en una tarea determinada.

Incluso si a los LLM se les enseña a imitar la actividad de escritura humana, eventualmente pueden superar a los humanos en muchas áreas. Dos factores explican esto: Primero, tienen considerablemente más información para aprender, memorizar y potencialmente sintetizar porque están capacitados en muchos más datos de los que nadie ve. Además, antes de ser desplegados, a menudo se les entrena con aprendizaje por refuerzo, que les enseña a generar respuestas que los humanos encuentran beneficiosas sin necesidad de que los humanos muestren tal comportamiento. Esto es comparable a los métodos utilizados para alcanzar niveles de habilidad sobrehumanos en juegos como Go.

Por ejemplo, parece que los LLM son significativamente más precisos que los humanos en su tarea de preentrenamiento de predecir qué palabra es más probable que ocurra después de un texto inicial. Además, los humanos pueden enseñar a los LLM a realizar tareas con mayor precisión que ellos mismos.

1. Los LLM no están obligados a reflejar los valores de sus autores o los transmitidos en el contenido en línea.

El resultado de un LLM preentrenado simple será muy similar al texto de entrada. Esto implica una congruencia en los valores del texto: los comentarios explícitos de un modelo sobre temas cargados de valores y los sesgos implícitos detrás de su escritura reflejan sus datos de entrenamiento. Sin embargo, estas configuraciones están en su mayoría bajo las manos de los desarrolladores, especialmente una vez que se han aplicado indicaciones y capacitación adicionales al LLM preentrenado simple para que esté listo para el producto. Los valores de un LLM implementado no tienen que ser un promedio ponderado de los valores utilizados en sus datos de entrenamiento. Como resultado, los valores transmitidos en estos modelos no necesitan coincidir con la importancia de las personas y organizaciones específicas que los construyen, y pueden estar sujetos a aportes y escrutinio externos.

1. Los encuentros breves con LLM suelen ser engañosos.

Muchos LLM en uso hoy en día generalmente se pueden instruir, aunque esta capacidad debe integrarse en el modelo en lugar de injertarse con herramientas deficientes. La habilidad cada vez mayor de la ingeniería rápida se basa en la observación de que muchos modelos inicialmente no logran cumplir con una tarea cuando se les solicita, pero luego tienen éxito una vez que la solicitud se reformula o se reformula ligeramente. Esta es en parte la razón por la cual los modelos pueden responder de manera única a los detalles de su documentación.

Estas fallas accidentales muestran que ordenar modelos de lenguaje para ejecutar comandos no es infalible. Cuando se solicita correctamente a un modelo que realice una tarea, a menudo se desempeña bien en varios escenarios de prueba. Sin embargo, no es una evidencia concluyente de que un Individuo carezca del conocimiento o las habilidades para realizar el trabajo debido a un solo caso de falla.

Incluso si uno sabe que un LLM no puede completar una tarea determinada, ese hecho por sí solo no prueba que ningún otro LLM pueda hacer lo mismo.

Sin embargo, más que ver a un LLM completar una tarea con éxito una vez es prueba suficiente de que puede hacerlo de manera consistente, especialmente si la instancia se seleccionó al azar por el bien de la demostración.

Los LLM pueden memorizar ciertos ejemplos o estrategias para resolver tareas a partir de sus datos de capacitación sin internalizar el proceso de razonamiento que les permitiría realizar tales tareas de manera sólida.

Limitaciones

• La falla principal en los sistemas actuales es la alucinación, el problema de los LLM que producen declaraciones falsas plausibles. Esto restringe severamente la forma en que se pueden utilizar de manera responsable.
• Como resultado de las nuevas estrategias que aprovechan el hecho de que los modelos a menudo pueden reconocer estos malos comportamientos cuando se les pregunta, el sesgo explícito y la toxicidad en los resultados del modelo se han reducido drásticamente. Si bien es probable que estas medidas de seguridad no sean infalibles, deberían reducir la frecuencia y la importancia de estos hábitos indeseables con el tiempo.
• A medida que los LLM mejoren sus modelos internos del mundo y su capacidad para aplicar esos modelos a problemas prácticos, estarán mejor posicionados para asumir actividades cada vez más variadas, como desarrollar e implementar estrategias creativas para maximizar los resultados en el mundo real.
• Es probable que las predicciones sobre las capacidades futuras de los LLM basadas en las motivaciones económicas, los valores o las personalidades de sus desarrolladores fracasen debido a la naturaleza emergente e impredecible de muchas capacidades importantes de LLM.
• Numerosos estudios científicos creíbles han demostrado que los LLM recientes no pueden completar las pruebas de lenguaje y pensamiento de sentido común, incluso cuando se les presentan pruebas comparativamente fáciles.

Características clave:

• Más potente sin coste adicional
• No hay medios confiables de
• Aprendizaje de modelos globales
• Sobresale en más cosas que los humanos.
• No existe un método confiable para influir en las acciones de las personas.
• Puede surgir un comportamiento impredecible.
• Las conversaciones cortas pueden ser engañosas.

Revisar la Papel. Todo el crédito de esta investigación es para los investigadores de este proyecto. Además, no olvides unirte nuestro SubReddit de 17k+ ML, Canal de discordiay Boletín electrónicodonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.