En esta función especial de invitado, Gideon Mendels, director ejecutivo y cofundador de Comet ML, profundiza en por qué tantos proyectos de ML están fallando y qué pueden hacer los profesionales y líderes de ML para corregir, proteger sus inversiones y garantizar el éxito. Gideon es informático, investigador de aprendizaje automático y emprendedor de corazón. Antes de Comet, cofundó GroupWize, donde entrenaron e implementaron modelos NLP que procesan miles de millones de chats. Su viaje con la PNL y los modelos de reconocimiento de voz comenzó en la Universidad de Columbia y Google, donde trabajó en el discurso de odio y la detección del engaño.

Si bien es cierto que la adopción del aprendizaje automático ha aumentado significativamente, todavía existe la cruda realidad de que la mayoría de los proyectos de aprendizaje automático no ven la luz del día. Tal vez no al nivel que esperaba Gartner en 2018, pero los números no están a favor de ML. Dependiendo de a quién le preguntes, las tasas de falla van del 50 % a más del 85 % en Gartner.

Si echamos un vistazo honesto a lo que realmente está sucediendo, no es un problema de madurez de ML, como muchos sugerirían. La tecnología no debe ser vista como un chivo expiatorio. Más bien, varios factores están en juego. Factores que, una vez identificados, pueden abordarse fácilmente para que las organizaciones puedan aprovechar los beneficios únicos del aprendizaje automático de una vez por todas.

Por qué los proyectos de ML están fallando

Hay 3 razones de alto nivel por las que los proyectos de ML están fallando

1. Falta de metas y objetivos comerciales claros.
2. Falta de colaboración con emprendedores y pymes
3. No invertir en las herramientas y procesos adecuados

Falta de metas y objetivos comerciales claros.

A menudo, hay una falta de comprensión del problema comercial que los equipos intentan resolver y cómo se medirá el éxito. Sin objetivos claros, es difícil para los equipos de ML determinar el enfoque, los algoritmos y las métricas correctos a utilizar. Por ejemplo, si el objetivo es construir un modelo que pueda predecir con precisión la rotación de clientes, el equipo de ML debe comprender cómo se define la rotación de clientes para ese problema y qué factores contribuyen a ello. Esto requeriría conocimientos de expertos en el dominio o en la materia. Luego, el equipo de ML deberá determinar qué métricas se utilizarán para medir el rendimiento del modelo. Estas métricas deben definirse al comienzo del proyecto y usarse para impulsar el compromiso del equipo a lo largo del proyecto. E incluso cuando existe la comprensión, no es raro seguir viendo una desalineación de las necesidades comerciales con las capacidades del modelo de aprendizaje automático en desarrollo. ¿El modelo está diseñado para revelar las respuestas que buscan los equipos, o los equipos están tratando de forzar una clavija cuadrada en un agujero redondo?

Falta de colaboración con emprendedores y pymes

Otro problema muy común es que los equipos de ML pueden carecer de suficiente colaboración con líderes empresariales clave, expertos en dominios y partes interesadas que podrían agregar los conocimientos necesarios. Sin una comunicación abierta, hay una falta de comprensión en ambos lados, lo que da como resultado que los modelos no cumplan con las expectativas. Esto es cierto no solo en el proceso de desarrollo inicial, sino también una vez que el modelo entra en producción y la empresa lo utiliza activamente.

No invertir en las herramientas y procesos adecuados

A medida que más empresas invierten en ML, existe una necesidad creciente de pasar de la prueba de concepto (POC) a la producción. Esto requiere invertir en las herramientas y los procesos adecuados para garantizar el éxito. Los proyectos de ML pueden verse obstaculizados si se seleccionan las herramientas incorrectas o si los procesos no son eficientes. Por ejemplo, es posible que los equipos se hayan basado inicialmente en el seguimiento manual de experimentos o en la implementación de modelos ad hoc, lo que podría funcionar para una pequeña cantidad de modelos en un entorno centrado en la investigación. Sin embargo, cuando se trata de crear modelos listos para la producción, es posible que estos métodos ad hoc no cumplan con las expectativas comerciales de colaboración, reproducibilidad, explicabilidad y gobernanza. Lo mismo puede decirse de las empresas que han creado sus propias herramientas MLOps internas. A medida que amplían sus esfuerzos, es posible que descubran que estas herramientas no pueden cumplir con sus requisitos de escalabilidad, especialmente si se basan en soluciones de código abierto.

La importancia de entender

El uso del aprendizaje automático para tomar mejores decisiones que tengan un impacto positivo en los resultados, ya sea a través de una orientación de anuncios más eficiente o una mejor retención de clientes, es un objetivo para muchas empresas. Sin embargo, reunir un equipo de científicos de datos de primer nivel y asignarles la tarea de encontrar esta información por sí mismos puede no ser suficiente.

Para que los proyectos de ML tengan éxito, es fundamental que el equipo no solo comprenda qué información se necesita, sino también el razonamiento detrás de por qué se necesita. Sin una comprensión profunda de cómo funcionan las diferentes líneas de negocios y qué información es importante para los diferentes equipos, es posible que los modelos de ML no brinden la información y los resultados que necesita.

Para superar esto, los líderes de equipo y los tomadores de decisiones deben trabajar en estrecha colaboración con los equipos de ML durante todo el proceso, desde identificar las preguntas correctas para hacer hasta garantizar que el equipo de datos comprenda el razonamiento detrás de lo que la empresa quiere saber. Esta asociación continua es esencial para el éxito y no puede ser eludida solo por el talento.

Estandarice herramientas y mejores prácticas para sus necesidades

Los proyectos de aprendizaje automático son complejos y multifacéticos, ya que dependen no solo del código sino también de datos y modelos. Hay varios pasos que los equipos de ML pueden tomar para estandarizar herramientas y mejores prácticas para garantizar el éxito de sus proyectos de ML:

1. Investigue y evalúe diferentes herramientas y marcos de ML: Hay muchos marcos y herramientas de ML disponibles, y es importante investigarlos y evaluarlos para determinar cuáles son los más adecuados para su proyecto y caso de uso específico. Esto incluye evaluar la facilidad de uso, la escalabilidad y el rendimiento de las herramientas.
2. Establecer mejores prácticas: Una vez que el equipo haya seleccionado las herramientas apropiadas, debe establecer las mejores prácticas para usarlas. Esto incluye pautas para el preprocesamiento de datos, el entrenamiento de modelos y la evaluación. Esto ayuda a garantizar la coherencia y la reproducibilidad entre proyectos.
3. Implementar un sistema de control de versiones: Para garantizar que los cambios en el código, los datos y los modelos se puedan rastrear y revertir fácilmente si es necesario, es importante implementar un sistema de control de versiones como Git. Esto también ayuda a facilitar la colaboración entre los miembros del equipo.
4. Automatice su canalización de ML: Para aumentar la eficiencia y reducir el riesgo de errores, es importante automatizar la canalización de ML tanto como sea posible. Esto incluye la automatización de tareas como el preprocesamiento de datos, el entrenamiento de modelos y la implementación.
5. Invierta en herramientas MLOps: Las herramientas de MLOps pueden ayudar a agilizar el proceso de experimentación, implementación, monitoreo y mantenimiento de modelos de ML durante la capacitación y la producción. Estas herramientas pueden automatizar el proceso de seguimiento de experimentos, gestión de modelos e implementación de actualizaciones.
6. Fomentar la comunicación abierta y la colaboración: Para asegurarse de que el equipo esté alineado y trabaje hacia los mismos objetivos, es importante fomentar la comunicación abierta y la colaboración. Esto incluye reuniones regulares y registros para compartir el progreso, discutir desafíos y obtener comentarios.
7. Evaluar y mejorar continuamente: Finalmente, es importante evaluar continuamente las herramientas y procesos utilizados por el equipo y realizar mejoras según sea necesario. Esto incluye recopilar comentarios de los miembros del equipo y usarlos para identificar áreas de mejora.

Continuar

En el mundo de hoy, es muy fácil descartar ML como simplemente «todavía no está allí», pero para llegar allí, debemos reconocer que no se trata solo de la tecnología y sus capacidades. Los equipos no siempre hacen todo bien, y eso está bien. Es parte del aprendizaje. La conclusión es que la tecnología funciona, es buena y algunas empresas están creciendo significativamente como resultado directo de los resultados del proyecto.

Para llegar allí, las organizaciones deben seguir cinco pasos claros:

1. Asegúrese de que los equipos de ML tengan una comprensión profunda del problema comercial que intentan resolver, incluidos los factores específicos que deben considerarse y cómo jugarán un papel en el resultado. Alternativamente, asigne a alguien del lado comercial al proyecto ML como experto en el dominio.
2. Alinee las necesidades comerciales con las capacidades de ML definiendo claramente las metas y los objetivos del proyecto y seleccionando las herramientas y los procesos apropiados para respaldar esas metas. Cómo se ve el éxito para el negocio y cómo podemos encontrar la métrica «fuera de línea» correcta para optimizarla
3. Promueva la comunicación y la colaboración entre los equipos de ML y los líderes empresariales u otras partes interesadas para garantizar que todas las partes comprendan claramente el problema que se debe resolver y las necesidades de la organización.
4. Implemente herramientas y procesos eficientes, como el seguimiento automatizado de experimentos y la implementación de modelos estandarizados, para optimizar el proceso de desarrollo de ML y aumentar sus posibilidades de éxito.
5. Participar en el aprendizaje perpetuo. Las herramientas de ML se están desarrollando con bastante rapidez. Incorpore tiempo para experimentar para que su equipo se mantenga fresco y con visión de futuro. Y busca integraciones entre herramientas que te hagan la vida más fácil y productiva.

Al seguir estos pasos, puede aumentar considerablemente la probabilidad de éxito del aprendizaje automático. Siguiendo estos pasos, los equipos pueden hacer que suceda la magia.

Regístrese para recibir el boletín gratuito insideBIGDATA.

Únase a nosotros en Twitter: https://twitter.com/InsideBigData1

Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/

Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW