Los modelos de idiomas grandes (LLM) como ChatGPT y Bard, por nombrar solo dos de los muchos que ya existen, han estado y continúan ganando terreno con furia. Estos son ejemplos del conjunto más grande de las llamadas herramientas de IA «generativas» que proporcionan resultados basados en una solicitud de entrada.
En particular, el motor de marketing de OpenAI está haciendo bien su trabajo al intentar convencer a los usuarios de las fortalezas del sistema: Nos han dicho que ChatGPT pasa el examen de la barra; sobresale en la Olimpiada de Biología; y puede escribir, mejorar y probar código en Python para errores y fallas. Las implementaciones de LLM para el aprendizaje en aplicaciones de aprendizaje conocidas como Duolingo y Khan Academy, por ejemplo, parecen ser puntos de prueba adicionales en sí mismos.
La pregunta de «¿Qué valor real tienen estos modelos para el aprendizaje en el lugar de trabajo y sus alrededores?» parece casi injustificado, dadas todas las buenas noticias y casos de uso que se presentan a los profesionales de L&D y al público en general, que abarca a nuestros alumnos. En este artículo, nuestro objetivo es profundizar en esta pregunta, explorando las oportunidades, así como las limitaciones y preocupaciones, de los LLM para el aprendizaje.
El funcionamiento interno de los LLM y los chatbots
Si bien los LLM o los llamados chatbots sobresalen como motores de comunicación, y sobresalen mucho en este departamento, son tan buenos como el motor de conocimiento que los impulsa. Hemos cubierto esto previamente, en Cómo ChatGPT3 impacta el futuro de L&D en un mundo de IA. Cuanto mejor esté capacitado el sistema sobre un tema, mejor responderá a las indicaciones y preguntas sobre ese tema. Además, cuanto más correctos sean los datos para el entrenamiento, mayor confianza podremos tener en su respuesta. Con Internet como campo de entrenamiento, podemos ver cómo estos chatbots pueden funcionar muy bien en algunos temas y dónde podrían estar las limitaciones de Internet como campo de entrenamiento.
Para comprender las limitaciones de los LLM, primero debemos comprender cómo funcionan. Como motores de lenguaje, «entienden» cómo funcionan el lenguaje y el texto. No entienden el mundo que describe el lenguaje; simplemente entienden cómo se ha utilizado el lenguaje en el conjunto de entrenamiento, en el motor de conocimiento, para describir ese mundo.
En resumen, usan su entrenamiento para hacer una mejor suposición de cuál es el siguiente paso correcto, en función de su capacidad para analizar el lenguaje. Lo hacen mediante el uso de información que está en su base de conocimientos. Si bien sus habilidades lingüísticas están bien desarrolladas, la calidad de sus respuestas depende en gran medida de la validez de la base de conocimientos utilizada.
La IA no es sensible
A pesar de lo que parecen implicar las interacciones con los chatbots (!), las herramientas de IA no tienen concepto de conocimiento, ni concepto de verdad, ni concepto de lógica. Al igual que un niño que ha escuchado a sus padres discutir un tema y recuerda lo que se dijo, la herramienta de IA podrá repetir ideas y conceptos. Si bien estas respuestas pueden implicar «comprensión», en realidad sabemos que el niño (o la IA) no comprendió lo que estaban diciendo, aunque el intercambio podría proporcionar una gran diversión, o vergüenza, para todos los adultos presentes.
Por lo tanto, el problema real que está resolviendo el LLM es: ¿Cómo podría sonar una respuesta a este mensaje/pregunta?
Esto es bastante diferente de: ¿Cuál es la respuesta a esta pregunta/indicación?
Muy a menudo, donde la capacitación ha sido extensa y donde el motor ha tenido acceso a una buena base de conocimientos, la respuesta que brinda el LLM puede ser, por supuesto, muy buena y útil.
Con esto en mente, podemos entender por qué, ante un aviso determinado, el motor de lenguaje regresa con un “trabajo de investigación”, con un título bien formulado y una larga lista de autores, que en realidad no existe. Esto no es un error. El motor ha hecho exactamente para lo que fue diseñado: ha respondido a la pregunta «¿Cómo sonaría una respuesta a este aviso/pregunta?»
Lo que nos lleva de vuelta a la estrategia de marketing de OpenAI, como un ejemplo de LLM en general.
Lo que nos ‘vende’ OpenAI
Entonces, puede preguntarse cómo puede ser que ChatGPT4 sea tan bueno en la Olimpiada de Biología, cómo puede lograr una calificación aprobatoria en el examen de grado y por qué es tan bueno en lenguajes de programación como Python.
La respuesta es convincentemente simple. El examen de la barra se basa en el idioma: el idioma de la ley y el idioma de los casos y precedentes. Internet está lleno de estos, y todos estos casos y precedentes están bien explicados, por lo que existe un buen motor de conocimiento. Incluso para casos nuevos o ficticios, el motor sabe cómo podría o debería ser una respuesta. Lo mismo ocurre con la Olimpiada de Biología, que se basa principalmente en conocimientos y conceptos existentes.
La otra cara de esto es por qué ChatGPT no es excelente en las Olimpiadas de Física, Química y Matemáticas: todas se centran en ideas que consisten en construir modelos de conceptos y luego trabajar con ellos lógicamente, ninguno de los cuales es un motor de lenguaje. puede hacer.
No tan inteligente después de todo, ¿eh?
Del mismo modo, ¿qué pasa con la programación de Python? Claramente, eso es lógico y funciona con modelos de construcción, ¿correcto? Bueno no. Python es un lenguaje, y el motor de conocimiento, Internet, ofrece una gran cantidad de ejemplos de su uso. Al escribir o corregir el código de Python, ChatGPT4 realmente no hace nada diferente a si le pide que traduzca del inglés al alemán. ¡Tenga en cuenta que el código no siempre se ejecuta la primera vez!
Esta comprensión es fundamental para refutar la creencia generalizada e incorrecta de que comprender las indicaciones es la clave para aprovechar al máximo los LLM y los chatbots. También es crucial poder evaluar las respuestas con sensatez y ser consciente de las limitaciones y posibles «errores» del sistema.
Limitaciones de los LLM para el aprendizaje
Equipados con la comprensión antes mencionada, identificamos cuatro limitaciones fundamentales de los LLM cuando se trata de aprendizaje y aplicaciones en L&D y apoyo al desempeño.
1. Los LLM no pueden usar imágenes
Primero viene el más obvio, que los modelos de lenguaje no pueden, al menos todavía, utilizar imágenes. Sin la capacidad de utilizar imágenes para el aprendizaje, no puede, por ejemplo, resaltar una parte específica de un circuito eléctrico al explicar esa parte de la placa de circuito.
Sin embargo, a partir de la bien investigada teoría cognitiva del aprendizaje multimedia, sabemos cuán importante es la uso combinado de palabras e imágenes es para el aprendizaje, junto con la contigüidad espacial y temporal. Si bien algunos sistemas de IA generativa pueden manejar imágenes, están separados de los motores de lenguaje y los dos aún no pueden trabajar juntos.
2. Los LLM revisan el texto
La segunda limitación es que, como es la naturaleza de los modelos de lenguaje, los LLM y los chatbots cambiarán el texto de origen cuando proporcionen respuestas a las preguntas. Si bien estos cambios pueden resultar en respuestas correctas en muchos casos, no se puede descartar que las respuestas de la IA sean incorrectas. Este es un desastre potencial para el aprendizaje, especialmente en áreas donde el riesgo entra en juego, como la salud y la seguridad, la ciberseguridad o el cumplimiento.
3. Los LLM inventan cosas
La tercera limitación fundamental es que los LLM “alucinan”. Esto también se ha denominado el «problema BS», como resultado de la desalineación entre la intención del aviso inicial y la respuesta de un LLM. La llamada alucinación en LLM es el resultado de un conjunto de capacitación insuficiente en un tema o área específica, junto con el hecho de que un LLM no tiene capacidad de lógica. Simplemente está respondiendo a la pregunta «¿Cómo podría sonar una respuesta a este mensaje/pregunta?»
En áreas donde el motor carece de suficiente conocimiento, puede crear una respuesta que suene plausible pero que sea limitada o incorrecta, al igual que un loro proporciona la respuesta que «suena mejor» para el contexto dado. Los LLM no buscan ser correctos o veraces; simplemente proporcionan una respuesta lingüísticamente correcta.
4. Los LLM no logran descubrir las incógnitas desconocidas
Por último, nuestra cuarta limitación: lo que es clave para un aprendizaje eficaz y eficiente es descubrir las «incógnitas desconocidas» y guiar al alumno a través de ellas hasta el dominio, incluida la comprensión contextual y la transferencia de conocimientos, no solo la retención de información y la memoria.
A menos que se le solicite un área muy precisa, el problema aquí con un LLM es uno de «si no preguntó, entonces no obtendrá una respuesta». Es como ese buen amigo que te ha estado ayudando con un tema: Crees que has entendido, te vas, intentas poner en práctica lo que has aprendido, y tropiezas. Te das cuenta de por qué has tropezado, vuelves con tu amigo y le dices: «¿Por qué nunca me dijiste eso?».
A lo que tu amigo responde: “Bueno, no preguntaste”.
Una habilidad clave para un buen maestro, tutor o entrenador es anticipar, descubrir y guiar al alumno a través de las incógnitas desconocidas.
Conclusión
Al explicar un área temática determinada, o pretender ser un mesero en un restaurante de París conversando con el alumno en francés en Duolingo, un chatbot puede ser una herramienta fantástica.
Pero las cuatro limitaciones fundamentales antes mencionadas plantean restricciones de las que debemos ser conscientes cuando se trata de la creación y entrega de aprendizaje y capacitación. Por ejemplo, incluso si tiene un conjunto de datos de alta calidad para los temas que sus alumnos buscan explorar, limitarlos a texto sin imágenes está en total oposición a los principios de aprendizaje multimedia bien investigados.
Todavía se necesita un ser humano para comprender cuándo estas herramientas son útiles como complemento y cuándo no se debe confiar en ellas. Concluimos, una vez más, que no hay atajos para un contenido de aprendizaje bien diseñado y de alta calidad y una entrega eficaz e impactante.
Comprender cómo funcionan los diferentes sistemas de IA, y sus fortalezas y debilidades relativas, proporciona una base para decisiones inteligentes. Estas decisiones pueden socavar o acelerar los viajes de aprendizaje que crea y ofrece a sus alumnos. ¡Elegir sabiamente!