Lentes equipados con inteligencia artificial pueden descifrar palabras no dichas


Los investigadores han demostrado una interfaz portátil de bajo consumo que requiere solo unos minutos de datos de entrenamiento del usuario para reconocer el habla silenciosa.

Diseño del sistema y perfiles de eco. (ab) Posición final del sensor y caminos de la señal. S1, S2: altavoces; M1, M2: micrófonos. P1-P4: Senderos. Tenga en cuenta que cada ruta consiste en una reflexión y difracción de múltiples rutas que se origina en el altavoz de origen y termina en el micrófono de destino. Las líneas de la figura ilustran únicamente las fuentes y los objetivos. (c) Perfiles de eco para varios enunciados. Crédito: EchoSpeech: Reconocimiento de voz silencioso continuo en gafas mínimamente intrusivas basadas en sensores acústicos (2023).

Las personas que no pueden producir sonidos vocales tienen dificultades para expresarse. Una tecnología que puede restaurar su capacidad de hablar puede beneficiarlos de muchas maneras.

Investigadores de la Universidad de Cornell han desarrollado una interfaz silenciosa de reconocimiento de palabras utilizando inteligencia artificial y detección acústica, reconociendo hasta 31 comandos que no son de voz de los movimientos de los labios y la boca. EchoSpeech es una interfaz portátil de bajo consumo que necesita datos mínimos de capacitación del usuario, se ejecuta en un teléfono inteligente y puede reconocer comandos. EchoSpeech permite la comunicación con teléfonos inteligentes en lugares ruidosos o silenciosos y se puede combinar con un lápiz óptico para software de diseño como CAD, lo que reduce la necesidad de un teclado y un mouse.


Las gafas EchoSpeech utilizan micrófonos y altavoces más pequeños que las gomas de borrar de un lápiz para enviar y recibir ondas de sonido en la cara y detectar los movimientos de la boca. Luego, un algoritmo de aprendizaje profundo analiza estos ecos en tiempo real con una precisión del 95 %. Mejore el rendimiento y la privacidad en tecnología portátil con tamaño pequeño, bajo consumo de energía y sensibilidad a la privacidad, lo cual es fundamental para la implementación en el mundo real.

La mayoría de las tecnologías silenciosas de reconocimiento de voz generalmente se limitan a comandos preestablecidos y requieren que la cámara se apunte o se use, lo cual es poco práctico e inviable. Surgen problemas de privacidad con las cámaras portátiles para el usuario y quienes lo rodean. La tecnología de detección acústica de EchoSpeech elimina la necesidad de cámaras corporales y requiere menos ancho de banda de procesamiento que los datos de imagen o video. Luego se puede reenviar a un teléfono inteligente a través de Bluetooth en tiempo real.

Los investigadores creen que la información sensible a la privacidad siempre permanece bajo control ya que los datos se procesan localmente en el teléfono inteligente en lugar de cargarse en la nube.

Referencia: Conferencia: chi2023.acm.org/ Búsqueda: ruidongzhang.com/files/papers/ … _authors_version.pdf