Cómo controlas Apple Vision Pro con tus ojos y manos
Apple Vision Pro se controla con seguimiento ocular y gestos con las manos, pero ¿cómo exactamente?
En una charla para desarrolladores en WWDC23, los ingenieros de Apple explicaron cómo los ojos y las manos trabajan juntos para controlar el sistema operativo de visión de Vision Pro.
En visionOS, sus ojos son el sistema de señalización, como mover un mouse o deslizar un dedo por una pantalla táctil.
Los elementos de la interfaz de usuario reaccionarán mirándolos para dejar en claro que han sido seleccionados. Además, mirar una barra de menú expandirá esa barra, y mirar un ícono de micrófono activará instantáneamente la entrada de voz.
Pellizcar el dedo índice y el pulgar juntos es el equivalente a hacer clic con el mouse o presionar una pantalla táctil. Esto envía ese «clic» a lo que sea que estén mirando tus ojos.
Es bastante obvio, pero ¿cómo hacer otras tareas críticas como el desplazamiento?
Para desplazarse, mantenga los dedos apretados y mueva la muñeca hacia arriba o hacia abajo. Para acercar o alejar, pellizque con ambas manos juntas y luego muévalas hacia afuera. Para rotar algo, haz lo mismo pero hacia arriba y hacia abajo.
Todos estos gestos se basan en el lugar al que miras, por lo que puedes controlar con precisión la interfaz de usuario sin tener que levantar las manos o usar los controladores de puntero láser.
Es un enfoque notablemente elegante para la interacción AR/VR, posible gracias a la combinación de Vision Pro de un conjunto de sensores de seguimiento manual TrueDepth y seguimiento ocular preciso. En teoría, Quest Pro podría haber adoptado un enfoque similar, pero es posible que el seguimiento de manos basado en la cámara no haya sido lo suficientemente confiable, y es posible que Meta no haya querido pasar el tiempo en un sistema de interacción que no habría funcionado en Quest 2. y 3, los cuales carecen de seguimiento ocular.
Aquellos que probaron el Vision Pro informan que esta combinación de selección de ojos y gestos con las manos hizo que el sistema de interacción fuera más intuitivo que cualquier auricular que hayan probado antes. En nuestro tiempo práctico, «fue muy agradable ver que Apple lo hizo tan bien». Realmente cumple con la filosofía de «solo trabajo» de Apple.
Sin embargo, hay algunas tareas que se pueden realizar mejor con las manos directamente. Por ejemplo, ingrese texto en visionOS usando ambos para escribir en un teclado virtual. Otros escenarios Apple recomienda usar el «toque directo» para incluir la inspección y manipulación de pequeños objetos 3D y la recreación de interacciones del mundo real.
Meta también se está moviendo hacia el contacto directo con su software de sistema Quest. Pero lo está usando para todas las interacciones, imitando una pantalla táctil, en lugar de solo ciertas tareas específicas. Esto no requiere seguimiento ocular, pero sí requiere mantener las manos en alto, lo que se cansa con el tiempo.