TinyML es, sin duda, uno de los campos de investigación más candentes e importantes en la industria electrónica. TinyML Summit recientemente puso a disposición del público las sesiones de 2023. Después de nuestro artículo de ayer, volvemos con otra historia de TinyML Summit, esta vez centrada en la presentación de NXP titulada «Diseño de interfaces hombre-máquina inteligentes multimodelo con microcontroladores», que fue presentado por Sriram Kalluri, Gerente de Producto, NXP Semiconductors.
Las HMI inteligentes incorporan el aprendizaje automático en las HMI estándar. Imagen utilizada cortesía de NXP
En este artículo, veremos las HMI inteligentes, sus desafíos y el contenido de la presentación de NXP.
¿Qué es una HMI inteligente?
Antes de que pueda comprender la presentación de NXP, es útil comprender primero el concepto de HMI y HMI inteligentes.
Una interfaz hombre-máquina, o HMI, se define mejor como el hardware y el software a través del cual un usuario humano interactúa con una pieza de tecnología. Para la mayoría de los productos de consumo modernos, una HMI constará de gráficos como pantallas LCD, así como tecnología de control de productos como pantallas táctiles, ratones y teclados.
Las HMI inteligentes, por otro lado, buscan aumentar la funcionalidad de las HMI existentes equipándolas con funciones inteligentes. A menudo, las HMI inteligentes funcionarán incorporando modelos de aprendizaje automático en las HMI para agregar funciones como visión por computadora (CV), reconocimiento automático de voz (ASR) o detección de palabras clave. Por ejemplo, una HMI inteligente puede ser un teléfono inteligente que agregue reconocimiento facial como medio para desbloquear el dispositivo.
El reconocimiento facial es un tipo de funcionalidad que puede ser parte de una HMI inteligente basada en ML. Imagen utilizada cortesía de NXP
Como explicó Kalluri en su charla, “Una HMI tradicional puede tener una pantalla gráfica y, por lo tanto, la interacción es básicamente a través de teclas físicas o táctiles. La idea con una HMI inteligente es llevar la HMI más allá incorporando también control de voz, reconocimiento facial y reconocimiento de gestos.
De esta manera, las HMI inteligentes hacen que la interacción hombre-máquina sea más intuitiva y eficiente para el usuario.
Requisitos y desafíos con HMI inteligentes
En general, las HMI inteligentes deben implementarse en dispositivos de consumo alimentados por batería, como teléfonos inteligentes o computadoras portátiles. Por lo tanto, al diseñar HMI inteligentes, los objetivos principales son crear algo que sea a la vez de muy alto rendimiento, baja latencia y rico en funciones, pero también de bajo consumo de energía para prolongar la vida útil de la batería.
Según Kalluri, el principal desafío asociado con el cumplimiento de todos estos requisitos simultáneamente está relacionado con la implementación de modelos de aprendizaje automático. Señala: «Incluso teniendo en cuenta estos requisitos, uno de los principales desafíos de diseño que surge es la implementación e incorporación de modelos de aprendizaje automático (ML). Por lo general, estos requieren una alta inversión inicial y presentan una gran barrera de entrada».
Además, Kalluri señala que el desarrollo de aplicaciones HMI ricas en funciones puede ser muy costoso y complejo. implementar e incorporar modelos ML.
La solución de NXP aprovecha los modelos ML
En su presentación, NXP mostró su solución que consta de funciones que incluyen una pantalla LCD de 5,5 pulgadas, conectividad Wi-Fi 4 + BLE de doble banda 1×1 a través de NXP IW416, un sensor de imagen RGB de 720p y un micrófono digital. La solución utiliza una tubería de software patentada para integrar de manera consistente múltiples modelos de ML en una solución inteligente. Esto incluye la visión por computadora para apoyar la identificación del usuario a través del reconocimiento facial, así como el reconocimiento y control de voz.
Diagrama de bloques de alto nivel de la solución de NXP. Imagen utilizada por cortesía de NXP. (Click en la imagen para agrandar)
Ejecutar todos estos algoritmos localmente y con poca energía requiere una combinación de diseño de software inteligente y hardware eficiente. En cuanto al hardware, la solución se centra en un MCU cruzado NXP i.MX RT117H con un núcleo Arm Cortex-M7 de 1 GHz y un núcleo Arm Cortex-M4 de 400 MHz.
Kalluri explica la configuración del hardware y le dice a la audiencia: “El silicio que estamos usando para nuestro HMI inteligente es silicio de doble núcleo. Ejecutamos los algoritmos de visión y voz en el Cortex M-7, mientras que el Cortex M-4 controla la pantalla y proporciona control del sistema. Es importante destacar que el sistema no requiere DSP o aceleradores dedicados para ejecutar los algoritmos locales.
Simplificando las HMI inteligentes
A través de su presentación, NXP demostró que las HMI inteligentes se pueden construir en el borde con una barrera de entrada relativamente baja. Su solución se ejecuta completamente en la MCU, sin ninguna aceleración de hardware especializada, y habilita completamente una HMI rica en funciones que ofrece reconocimiento facial, reconocimiento de audio, así como control de gráficos y gestos. Con esto, NXP espera hacer que las HMI inteligentes basadas en TinyML sean más accesibles para los diseñadores.