Comet, una plataforma líder para gestionar, visualizar y optimizar modelos desde ejecuciones de entrenamiento hasta seguimiento de producción, ha anunciado un nuevo conjunto de herramientas diseñado para revolucionar el flujo de trabajo en torno a los modelos de lenguaje grande (LLM). Estas herramientas marcan el comienzo de una nueva categoría de mercado, conocida como LLMops. Con la plataforma MLOps de Comet y las herramientas LLMOps de última generación, las organizaciones pueden administrar sus LLM de manera efectiva y mejorar su rendimiento en una fracción del tiempo.
El nuevo conjunto de herramientas de Comet debuta cuando los científicos de datos de NLP ya no entrenan sus propios modelos; más bien, pasan días trabajando para generar los avisos correctos (por ejemplo, ingeniería de avisos o encadenamiento de avisos donde los científicos de datos crean avisos basados en el resultado de un aviso anterior para resolver problemas más complejos). Sin embargo, los científicos de datos carecen de las herramientas para gestionar y analizar suficientemente el rendimiento de estas indicaciones. La oferta de Comet les permite alcanzar niveles inigualables de productividad y rendimiento. Sus herramientas abordan las necesidades cambiantes de la comunidad ML para crear LLM listos para la producción y llenar un vacío en el mercado que, hasta ahora, se ha pasado por alto.
“Anteriormente, los científicos de datos requerían grandes cantidades de datos, importantes recursos de GPU y meses de trabajo para entrenar un modelo”, dijo Gideon Mendels, director ejecutivo y cofundador de Comet. “Sin embargo, hoy pueden poner sus modelos en producción más rápido que nunca. Pero el nuevo flujo de trabajo de LLM requiere herramientas radicalmente diferentes y las capacidades de LLMOps de Comet se diseñaron para abordar esta necesidad crucial. Con nuestro último lanzamiento, creemos que Comet ofrece una solución integral a los desafíos que han surgido con el uso de modelos de lenguaje grande”.
Herramientas Comet LLMOps en acción
Las herramientas LLMOps de Comet están diseñadas para permitir a los usuarios aprovechar los últimos avances en gestión de avisos y modelos de consulta en Comet para iterar más rápido, identificar cuellos de botella en el rendimiento y ver el estado interno de las cadenas de avisos.
El nuevo conjunto de herramientas realiza tres funciones principales:
- Prompt Playground: Prompt Playground de Comet permite a los ingenieros iterar rápidamente con diferentes plantillas de avisos y comprender su impacto en diferentes contextos.
- Historial de avisos: esta herramienta de depuración realiza un seguimiento de los avisos, respuestas y cadenas para realizar un seguimiento de la experimentación y la toma de decisiones a través de herramientas de visualización de cadenas.
- Rastreador de uso de avisos: los equipos ahora pueden rastrear el uso a nivel de proyecto y experimento para ayudar a comprender el uso de avisos a un nivel muy granular.
Integraciones con las principales plantillas y grandes bibliotecas de idiomas
Comet también anunció integraciones con OpenAI y LangChain, agregando un valor significativo para los usuarios. La integración de Comet con LangChain permite a los usuarios rastrear, visualizar y comparar cadenas para que puedan iterar más rápido. La integración de OpenAI permite a los científicos de datos aprovechar todo el potencial de GPT-3 de OpenAI y capturar datos de uso y avisos/respuestas para que los usuarios nunca pierdan el rastro de sus experimentos anteriores.
“El objetivo de LangChain es hacer que sea lo más fácil posible para los desarrolladores crear aplicaciones de modelado de lenguaje. Uno de los puntos más problemáticos que hemos escuchado es el seguimiento de las indicaciones y la finalización de las mismas «, dijo Harrison Chase, creador de LangChain. «Es por eso que estamos tan entusiasmados con esta integración con Comet, una plataforma para rastrear y monitorear sus experimentos de aprendizaje automático. Con Comet, los usuarios pueden registrar fácilmente sus indicaciones, resultados de LLM y comparar diferentes experimentos para tomar decisiones más rápido. Esta integración permite a los usuarios de LangChain optimizar su flujo de trabajo y aprovechar al máximo su desarrollo de LLM.
Para obtener más información sobre el nuevo conjunto de herramientas e integraciones, visite el sitio web de Comet, comet.com/site/products/llmops
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW