Las incrustaciones de palabras son directamente responsables de muchos de los avances exponenciales que han hecho las tecnologías del lenguaje natural en los últimos años. Son fundamentales para la funcionalidad de los modelos de lenguaje grande populares, como ChatGPT y otras iteraciones de GPT. Estas representaciones matemáticas también tienen implicaciones innegables para las aplicaciones textuales de la IA generativa.
Desde una perspectiva pragmática, las incrustaciones de palabras son fundamentales para desbloquear un tesoro de valor comercial de las aplicaciones contemporáneas de comprensión del lenguaje natural, búsqueda cognitiva y generación de lenguaje natural. Cuando se combinan con la capacidad de IA generativa de algunos de los modelos de lenguaje antes mencionados, aceleran drásticamente el tiempo que lleva hacer todo, desde la administración de datos de back-end hasta las aplicaciones orientadas al cliente.
Según el CTO de Pega, Don Schuerman, los resultados de estos casos de uso práctico para la IA generativa son transformadores. Además, son aplicables horizontalmente en todas las organizaciones e implementaciones, lo que sustenta los cimientos de la gestión del flujo de trabajo y el desarrollo de aplicaciones en general.
«Podemos decir: ‘¿Cuáles son los pasos en un flujo de trabajo para manejar una solicitud de préstamo o incorporar a un nuevo miembro a un plan de salud?'», dijo Schuerman. «La IA generativa dirá, ‘así es como se verían los procesos comunes para esto y aquí está el modelo de datos para eso'».
La capacidad de los modelos de comprensión del lenguaje para comprender correctamente las solicitudes de los usuarios y obtener las respuestas correctas depende de la efectividad de las incrustaciones de palabras.
Vectores matemáticos
Las incrustaciones de palabras son un aspecto del aprendizaje de representaciones y proporcionan la base estadística para muchos modelos contemporáneos de tecnologías de lenguaje natural. Según el director ejecutivo de Franz, Jans Aasman, estas incrustaciones representan palabras como vectores. «Un vector es una matriz de elementos, generalmente números», comentó Aasman. «Por ejemplo, puedes tener un vector de 10 números». Estas representaciones matemáticas incluyen comprensión semántica y, al comparar incrustaciones entre sí en lo que suele ser un espacio de alta dimensión, contexto. Las palabras o frases con significados similares se representan más cerca unas de otras que aquellas con significados diferentes.
Aasman dijo que representar palabras como vectores numéricos permite que los modelos de aprendizaje automático les asignen varios pesos. En un texto específico, que puede incluir un aviso o, en el caso de modelos como ChatGPT, el contenido de Internet mismo, «lo que puede hacer es tomar una ventana de más o menos cinco palabras o, como ChatGPT, más o menos 500 palabras de la palabra que le interesa», reveló Aasman. «Usted crea un peso para cada palabra para ver cuánto afecta a la siguiente palabra».
El efecto de la ingeniería rápida
La aplicabilidad de las incrustaciones de palabras a las indicaciones de ingeniería, los medios por los cuales los usuarios formulan las tareas para las que quieren que los modelos de IA creen texto en respuesta, es fundamental, porque permite que los modelos entiendan lo que preguntan los usuarios. Esto es fundamental para aplicaciones precisas de tecnología de lenguaje natural en respuesta a preguntas, búsqueda inteligente y más. En este contexto, a través de incrustaciones de palabras, «obtienes muchas palabras alrededor de la palabra que te interesa y puedes ver qué tan bien predice las palabras después de tu palabra», señaló Aasman.
Las tareas generativas de IA que requieren de los iniciados en ingeniería son asombrosas. Algunos involucran lo que Gartner llamó datos sintéticos que, por ejemplo, podrían implicar «pedir a la IA generativa que me dé algunos datos de muestra para que pueda probar rápidamente esta aplicación», reveló Schuerman. El mismo concepto se puede extender fácilmente para generar datos de entrenamiento (o anotaciones para esos datos) para modelos de aprendizaje supervisado. “Todo desarrollador conoce la experiencia de compilar una hoja de cálculo con el nombre del perro de su mejor amigo en mente y llenarla con diferentes datos para la prueba”, señaló Schuerman. «Ese tiempo perdido ahora se ha ido». Los usuarios también pueden solicitar IA generativa para escribir código, diseñar modelos de datos y campos dentro de ellos, y crear procedimientos individuales para flujos de trabajo o aplicaciones.
Restricciones del modelo
Las incrustaciones de palabras también afectan la capacidad de personalizar las plantillas de generación de idiomas para seleccionar respuestas de una fuente en particular. Debido a que proporcionan los medios de las plantillas que entienden lo que piden los usuarios, estas incrustaciones son susceptibles de sugerencias que se centran en un corpus o base de conocimientos en particular. “Un patrón común en un caso de uso de GPT es que si desea restringir el modelo o darle al modelo un determinado conjunto de datos, puede ingresarlo en el aviso”, explicó Schuerman. Por ejemplo, si una organización quiere un modelo de lenguaje para usar la documentación del desarrollador para responder preguntas, uno de los primeros pasos es clasificar ese texto en conceptos, palabras, frases o secciones discretos.
Según Schuerman, GPT es útil para proporcionar tales clasificaciones. Estos componentes pasan a formar parte del proceso de incrustación de palabras; depende de los usuarios incluir esas clasificaciones en sus avisos. Esta técnica permite a los usuarios «hacer dos cosas», dijo Schuerman. «Nos permite incluir la información más actualizada en las respuestas, pero también garantiza que estamos limitando GPT para que no vaya a otra fuente en la que no confiamos para obtener esta respuesta». Esta misma metodología puede proporcionar respuestas oportunas a las preguntas para la documentación del servicio al cliente, las mesas de ayuda de TI o la búsqueda de cualquier corpus específico de respuestas conversacionales en tiempo real.
Múltiples técnicas de diseño
A menudo, las incrustaciones de palabras se vectorizan en espacios de alta dimensión. Dependiendo de la enormidad de la dimensionalidad de una incrustación o conjunto de incrustaciones en particular, la gran cantidad de dimensiones puede volverse difícil de manejar, lo que ralentiza los cálculos y retrasa el procesamiento del lenguaje natural. Existen varias técnicas de reducción de dimensionalidad que involucran aprendizaje supervisado y no supervisado que pueden resolver este problema.
Slater Victoroff, CTO de Indico Data, definió las «técnicas de diseño múltiple» como uno de esos enfoques para llevar de manera efectiva una incrustación de un espacio dimensional superior a uno dimensional inferior. El beneficio de hacer esto es que conserva en gran medida la semántica y las relaciones que se encuentran en el espacio anterior para que «no pierda mucho», indicó Aasman. Los múltiples se emplean con frecuencia en aplicaciones contemporáneas de incrustaciones de palabras para reducir la dimensionalidad involucrada, lo que puede estimular los cálculos y resultados de PNL.
Hoy y mañana
Parece que las incrustaciones de palabras serán parte de las aplicaciones estadísticas de las tecnologías del lenguaje natural, incluidas las representaciones textuales de la IA generativa, durante algún tiempo. Ayudan, si no lo permiten, al rápido proceso de ingeniería necesario para obtener respuestas adecuadas y oportunas de los modelos generativos de IA. Son el canal a través del cual la empresa puede obtener muchos de los beneficios que brinda esta forma de IA para crear aplicaciones, interactuar con los clientes y proporcionar una recuperación rápida de la información.
Debido en gran parte a la utilidad de las incrustaciones de palabras, las aplicaciones comerciales de IA generativa en configuraciones de código bajo son “un acelerador y un punto de partida para cualquier proceso; lo que sea», concluyó Schuerman. «Nombra el proceso y podemos darte un punto de partida para ello».
Sobre el Autor
Jelani Harper es consultora editorial al servicio del mercado de la tecnología de la información. Se especializa en aplicaciones basadas en datos centradas en tecnologías semánticas, gobierno de datos y análisis.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW