La idea de incorporar una inteligencia artificial (IA) sofisticada en una cámara se ha considerado durante mucho tiempo una proeza de ingeniería costosa y difícil. Con el objetivo de revertir esta tendencia, Hailo anunció hoy su familia de sistemas en chips (SoC) Hailo-15.

Los dispositivos están diseñados para integrarse directamente en cámaras inteligentes para permitir el procesamiento y análisis de video avanzados en el perímetro.

En su paquete FCBGA de 15 mm × 15 mm, el Hailo-15 se puede integrar fácilmente en una cámara inteligente.

En este artículo, analizamos las capacidades y características del Hailo-15 y compartimos las perspectivas de nuestra entrevista con Orr Danon, director ejecutivo de Hailo.

Aprovechando el éxito de Hailo 8

Según Danon, el propósito del SoC Hailo-15 es poder realizar análisis de video avanzados al brindar la capacidad de procesar aplicaciones de aprendizaje profundo más complejas a gran escala y con alta eficiencia.

El Hailo-15 se basa en el producto anterior de la empresa, el Hailo-8. En los últimos dos años, Hailo 8 se ha integrado en una amplia variedad de productos finales, principalmente agregadores de video y puertas de enlace, dice Danon. El Hailo-8 también se ha integrado en muchos productos informáticos de nivel de placa y caja de terceros.

Mientras que Hailo 8 se posicionó como una unidad de procesamiento neuronal (NPU), Hailo-15 se concibió como una unidad de procesamiento de visión (VPU). «Hailo 15 es lo que llamamos AI VPU», dice Danon. «Es una unidad de procesamiento de visión altamente adaptada para realizar extensas tareas de IA».

La familia de VPU Hailo-15 incluye tres variantes: Hailo-15H, Hailo-15M y Hailo-15L, con niveles de rendimiento de 20 TOPS (tera operativa por segundo), 11 TOPS y 7 TOPS respectivamente. Las diferentes versiones permiten a los diseñadores de cámaras inteligentes satisfacer diferentes necesidades de procesamiento y precios.

Es importante destacar que el núcleo de la red neuronal (NN) de Hailo-15 permite procesar en paralelo múltiples modelos avanzados de aprendizaje profundo (DL). Las tres VPU Hailo-15 admiten múltiples flujos de entrada con una resolución de 4K y combinan subsistemas de CPU y DSP con el núcleo de IA de Hailo.

“Los tres núcleos de Hailo-15 son significativamente más capaces que cualquier cosa en un factor de forma de cámara que yo sepa en el mercado”, dice Danon. «Y emparejarlos con nuestra pila de software existente proporciona flexibilidad».

Danon dice que este es un punto muy importante para muchos de sus clientes que tienen implementaciones de cámaras y puertas de enlace que quieren confiar en la misma pila de software. “Mantenemos el mismo paquete de software compatible con Hailo-8 y Hailo-15”, dice.

Una pirámide de tipos de computadoras.

La arquitectura SoC Hailo-15 empaqueta múltiples motores informáticos en un solo dispositivo. El núcleo NN permite un alto FPS (fotogramas por segundo) de aprendizaje profundo para una detección rápida y precisa de múltiples objetos por fotograma. El DSP permite el procesamiento de la visión y la codificación de video de alta calidad.

Mientras tanto, una canalización de la unidad de procesamiento de imágenes (ISP) proporciona características tales como capacidades de poca luz, estabilización de imagen y mejora de imagen. Y un Arm A53 de cuatro núcleos con rendimiento DMIP de 12k hasta 1,3 GHz proporciona control y gestión.

El diagrama de bloques de Hailo-15 muestra varios motores de cómputo.

«La idea general es computación heterogénea», dice Danon. «Aquí tenemos una especie de pirámide de información».

«Primero está la CPU Arm, muy flexible, muy eficiente, por supuesto, pero no tan poderosa. Luego está el DSP/ISP que se encarga de las tareas de middleware. Y luego está la NPU AI para llevar la carga pesada de AI. Proporcionamos el paquete completo de un SoC completo necesario para ejecutar una cámara inteligente.

Análisis avanzado de IA en el borde de la cámara

La capacidad significativa del SoC Hailo-15 es la forma en que permite el procesamiento de análisis de IA directamente dentro de la cámara. Puede ejecutar varias tareas de IA en paralelo, incluida una detección más rápida a resoluciones más altas. Según Danon, esto significa que los objetos más pequeños y distantes se pueden identificar con mayor precisión y menos falsas alarmas.

Dando ejemplos, Danon afirma que el Hailo-15H es capaz de ejecutar el modelo avanzado de detección de objetos YoloV5M6 con alta resolución de entrada (1280 × 1280) y velocidad de sensor en tiempo real. También puede comparar el modelo de clasificación de la industria, ResNet-50, a unos impresionantes 700 FPS.

Ejemplo que ilustra la tecnología de cámara inteligente basada en IA utilizada con fines de seguridad en ciudades inteligentes.

El procesamiento de IA local de alto rendimiento puede habilitar algunos casos de uso poderosos. Como dice la compañía, con Hailo-15, los operadores de ciudades inteligentes pueden detectar y responder a incidentes más rápido. Los fabricantes pueden aumentar la productividad y el tiempo de actividad de las máquinas utilizando análisis de visión sofisticados. Y en el espacio de transporte, las autoridades pueden usar la tecnología de cámaras para todo, desde reconocer a niños perdidos hasta buscar equipaje perdido y prevenir accidentes.

Todas las imágenes utilizadas son cortesía de Hailo.