Navegando por el mercado de tecnologías de aprendizaje y encontrar las herramientas adecuadas para satisfacer las necesidades y estrategias específicas de una organización siempre ha sido un desafío. Ahora, con el rápido despliegue de la IA generativa en forma de modelos de lenguaje grandes (LLM), este desafío se ha vuelto más difícil.
Entonces, ¿cómo deberían las organizaciones abordar el proceso de compra y qué preguntas deberían hacer a los proveedores sobre la implementación de IA en sus soluciones? Y más importante aún, ¿qué hacer con las respuestas?
1. ¿Qué tipo de IA se está implementando y cómo agrega valor?
Para ayudarnos a comprender la respuesta, primero debemos poder distinguir entre IA generativa y IA no generativa motores en funcionamiento.
- La IA no generativa se refiere a modelos de IA que no generan contenido nuevo, sino que procesan, analizan o categorizan contenido y datos existentes.
- La IA generativa se refiere a un tipo de inteligencia artificial que puede crear contenido nuevo, “generando” resultados en lugar de simplemente clasificar o categorizar los datos de entrada.
IA no generativa
Ejemplos de IA no generativa son:
- Motores de gestión de contenidos que automatizan o admiten el etiquetado, clasificación y gestión del contenido de aprendizaje existente
- Motores de modelado de trayectorias profesionales que evalúan las habilidades actuales, el desempeño pasado y los objetivos profesionales de un individuo, y luego sugieren posibles trayectorias profesionales y la capacitación necesaria para lograrlas.
- Motores de recomendaciones de aprendizaje que recomiendan cursos, seminarios web o recursos basados en el historial de aprendizaje pasado de un individuo, su función laboral y sus objetivos corporativos.
- Motores de aprendizaje adaptativo que analizan el viaje de aprendizaje de un empleado en tiempo real y adaptan la entrega de piezas individuales de contenido de aprendizaje en consecuencia
- Motores de análisis de aprendizaje que analizan grandes cantidades de datos de aprendizaje, proporcionando información sobre áreas como la efectividad del curso, áreas de mejora y predicción de futuras necesidades de capacitación, tanto para individuos como para grupos.
- Motores de habilidades que construyen y mantienen marcos de habilidades identificando, categorizando y relacionando diversas habilidades y competencias para trabajos, roles y rutas de capacitación.
IA generativa
Ejemplos de IA generativaque tienden a ser motores basados en LLM, son:
- Motores de contenido de cursos personalizados que producen contenido de aprendizaje, es decir, texto, en forma de resúmenes, viñetas, preguntas, tarjetas didácticas y escenarios.
- Motores de actualización de contenido que sugieren actualizaciones o modificaciones al contenido de aprendizaje existente basándose en comentarios, actualizaciones de productos o servicios, o investigaciones, asegurando que los materiales sigan siendo relevantes.
- Motores de chat que brindan apoyo al desempeño y oportunidades de aprendizaje, en el momento de necesidad, sobre una variedad de temas, en estilo conversacional
- Motores de retroalimentación automatizados que generan retroalimentación personalizada para los alumnos en función de su desempeño, destacando áreas de fortaleza y dónde se necesita mejorar.
- Motores de creación de escenarios de formación que crean escenarios de formación realistas, por ejemplo para formación en ventas o atención al cliente.
- Motores de creación de objetos de aprendizaje que producen elementos como vídeos, gráficos o archivos de audio generados.
2. ¿Con qué datos se entrena la IA? ¿A qué datos tiene acceso la IA?
Estas dos preguntas son clave para comprender mejor cómo una tecnología o producto específico utiliza motores de IA generativos o no generativos y la calidad de los resultados que se pueden esperar.
Para motores de IA generativa, es importante saber en qué datos está entrenado el motor. Los LLM son fantásticos motores de comunicación, pero sólo son útiles si están respaldados por una sólida «motor de conocimiento.» Un LLM como GPT, por ejemplo, se formará en gran medida con datos «extraídos» de la web. Una pauta general sobre si esto es suficiente para cumplir las tareas en cuestión es preguntarse si la calidad promedio del contenido de Internet es buena. suficiente para proporcionar una respuesta fiable y útil. En muchos casos generales, esto puede ser suficiente, pero en casos muy específicos puede no ser suficiente en absoluto.
Si se requiere capacitación adicional, por ejemplo sobre información o procesos muy específicos de una organización y sus productos y servicios, entonces es importante considerar dos cosas:
En primer lugar, qué datos, contenidos o información están disponibles para entrenar aún más el motor y comprender cuántos datos y contenidos adicionales se necesitan para obtener resultados suficientemente confiables.
En segundo lugar, cómo se proporcionaría el acceso al motor de conocimiento, por ejemplo, mediante la carga a la nube, o a una instancia de la IA ubicada dentro de la organización, detrás del firewall.
Para los motores de IA no generativa, estas cuestiones sobre datos y alojamiento de datos también son clave, aunque desde un ángulo ligeramente diferente. Dado que el acceso es esencial para que el motor procese y analice los datos, es importante comprender dónde se alojan los datos: ¿en la nube mediante carga o internamente a través de una instancia local y detrás del firewall de la empresa?
Y al igual que en el caso de la IA generativa, también debemos preguntarnos: ¿hay suficientes datos y contenido para que la IA haga un buen trabajo? Para que una IA pueda organizar contenido alineado con las habilidades, por ejemplo, una organización necesita tener acceso a suficiente información sobre trabajos, roles y habilidades para mapear, así como suficiente contenido para mapear en primer lugar.
Con una discusión en profundidad de lo anterior, podemos obtener una comprensión sólida de la base requerida para cada caso de uso y construir un proyecto impulsado por IA que cumpla.
3. ¿Cuáles son los puntos fuertes y cuáles las limitaciones del motor?
Esta pregunta está muy relacionada con la anterior y es un punto de discusión natural cuando se habla de motores de conocimiento, automatización de IA, datos disponibles y calidad de los datos.
Cada motor de IA, ya sea generativo o no generativo, tiene fortalezas y debilidades, como cualquier herramienta. GPT es muy sólido en las preguntas de la Olimpiada de Biología (basadas en conocimientos), pero tiene un rendimiento inferior en las preguntas de la Olimpíada de Física o Química (basadas en modelos mentales).
Una conversación abierta con los proveedores sobre las fortalezas, debilidades y limitaciones es vital para establecer un entendimiento mutuo no solo del caso de uso en general, sino también de los entregables y resultados en particular. Un modelo aparentemente sin fortalezas, debilidades y limitaciones, uno que se promociona como simplemente «entrega» lo que el cliente está buscando, debería ser una señal de alerta en el proceso de compra.
4. ¿Cómo se «protegen» mis datos dentro del motor de IA?
En la segunda pregunta anterior, analizamos instancias de los datos de entrenamiento de IA de una organización, así como los datos o contenidos a los que la IA necesitará acceder en tiempo real para funcionar. En primer lugar, la atención se centró en cómo la IA obtiene esta información.
Aquí, la pregunta es dónde almacena la IA los datos con los que entrena o trabaja. Estos se dividen en dos categorías: global y local instancias.
Instancia global
Un ejemplo de una instancia global es ChatGPT: mientras interactúo con el sistema, el sistema también aprende de mis interacciones (y las de otros) con él.
Por lo tanto, la información compartida con ChatGPT puede almacenarse dentro del LLM y utilizarse como resultado para un usuario diferente en un momento diferente. Por lo tanto, las organizaciones recomiendan a los usuarios que no carguen ninguna información personal o de propiedad exclusiva en estos sistemas. Una instancia global aprende de todos sus usuarios, no sólo de un cliente.
Instancia local
Por el contrario, una instancia local puede entenderse como una «versión» separada de la IA para cada cliente. Esto significa que el proveedor implementaría instancias separadas de su IA para cada cliente, sin superposición ni conexión a algún sistema de IA «centralizado».
Esta pregunta es clave, ya que los proveedores difieren considerablemente en su capacidad para proporcionar instancias locales protegidas que se encuentran detrás del firewall de una organización. Esto puede cambiar rápidamente en los próximos meses, pero es algo a lo que hay que estar atento, dependiendo de las necesidades de su organización.
Por último, el proveedor también puede proporcionar contenido propio, para uso con todos los clientes. ¿Cómo se integraría esto? ¿Y dónde se almacena esto? Son preguntas naturales que siguen esta línea de pensamiento.
5. ¿Quién tendrá acceso o control sobre las herramientas mejoradas por la IA?
Las consideraciones clave aquí incluyen a qué pueden acceder y controlar aquellos dentro de una organización, y qué hay detrás de escena o qué depende completamente de la atención al cliente.
Ahora que, con suerte, hemos obtenido una sólida comprensión y confianza por parte del proveedor sobre qué tipos de IA se están implementando, cómo se entrenan, con qué datos trabajan, cómo se accede a los datos y cómo se protegen los datos, la pregunta final Se trata de la interacción con las funciones de IA.
Por supuesto, esto variará mucho, según el tipo de tecnología o producto y el caso de uso específico. Por lo tanto, sin ser demasiado prescriptivos, pretendemos dar más «una idea» de a qué aspirar en este contexto. Cosas interesantes para determinar son:
- ¿Quién interactúa con la IA y cómo? Para un chatbot, el usuario obviamente interactuará con la IA. Pero, ¿cómo funcionaría el entrenamiento de la herramienta?
- ¿Quién puede ejecutar actualizaciones sobre la capacitación a medida que estén disponibles? Por ejemplo, cuando una organización mejora su oferta o lanza productos y servicios completamente nuevos, ¿cómo se integran en la herramienta?
- ¿Quién controla el conjunto de entrenamiento y cómo?
- ¿Cómo se ejecutan las actualizaciones? ¿Cuanto tiempo tardan?
- ¿Quién tiene acceso a los análisis?
- ¿Cuánto se puede hacer internamente y qué aspectos requieren la participación del servicio al cliente?
A menudo, los proveedores líderes ya tendrán terminologías y perfiles de usuario bien definidos, por ejemplo: alumno, usuario, administrador, superadministrador, etc. Es fundamental solicitarlos y revisarlos para comprender mejor lo que significa implementar la tecnología. luciría para cada perfil, así como la distribución de roles y responsabilidades cuando el sistema esté en funcionamiento, lo que requerirá mantenimiento y ajustes.
Otra área es la del contenido: ¿se utiliza la IA para desarrollar contenido en el catálogo del proveedor? ¿Esas herramientas de creación de contenido son accesibles para los creadores de cursos dentro de su organización? ¿Pueden los creadores o administradores de contenido anular lo que genera la IA? Si es así, ¿cómo se ve esto en la práctica?
Y por último, pero no menos importante: ¿cómo son las pruebas, independientemente de si la solución implementa IA generativa o no generativa?
En resumen
Con la rápida afluencia de herramientas de inteligencia artificial, nunca ha sido más importante ser un comprador informado. Hacer las preguntas correctas ayuda a garantizar que está trabajando con un proveedor con conocimientos y experiencia que tiene una comprensión profunda y clara de la función y los tipos de IA en la solución que ofrece.
Es posible que la primera persona con la que hable en un proveedor no sepa todas las respuestas, lo cual es comprensible. Vale la pena buscar el equipo o las personas adecuadas con quienes hablar en detalle para asegurarse de poder elegir con confianza la tecnología impulsada por IA que mejor se adapte a sus necesidades.
¡Brindemos por conversaciones fructíferas con vendedores y proveedores!
¡Únase a nosotros en el Simposio de aprendizaje e inteligencia artificial!
Para obtener más información sobre la selección y el uso de tecnologías de IA en un contexto de formación y desarrollo, únase al Simposio de aprendizaje e inteligencia artificial el 24 de octubre y Conferencia y exposición DevLearn 2023, del 25 al 27 de octubre en Las Vegas. ¡No te pierdas las sesiones con Markus Bernhardt y otros expertos en IA!