Imagen destacada del artículo
Apple Vision Pro involucró mucha neurociencia para desarrollar algunas de sus características clave, según un ex ingeniero de Apple, y se basó en varios trucos para determinar lo que una persona podría estar a punto de hacer en la interfaz.
La interfaz principal de los auriculares Vision Pro de Apple se basa en la navegación mediante seguimiento ocular y gestos, y el sistema necesita determinar lo que el usuario está mirando específicamente lo más rápido posible. en un twitter destino el lunes, se abre el telón para revelar algunas de las primeras ideas que se incluyeron en el proyecto.
Sterling Crispin pasó un tiempo como investigador de prototipos de neurotecnología en el Grupo de Desarrollo de Tecnología de Apple durante más de tres años, el tiempo más largo que «ha trabajado en un solo esfuerzo». Mientras estuvo allí, trabajó en elementos que respaldaron el desarrollo fundamental de los auriculares, incluidas las «experiencias de atención plena» y otras «investigaciones ambiciosas con neurotecnología».
Como ejemplo, Crispin lo comparó con «leer la mente», como predecir en qué haría clic un usuario antes de que lo hiciera.
«Orgulloso de contribuir a la visión inicial» de los auriculares, Crispin estaba en un pequeño equipo que «ayudó a dar luz verde a esa importante categoría de productos», que él cree que podría «tener un impacto global significativo algún día».
Si bien la mayor parte de su trabajo aún está bajo NDA, Crispin aún podría discutir los detalles que se han hecho públicos en las patentes.
Estados mentales
El trabajo de Crispin consistió en detectar el estado mental de los usuarios en función de los datos recopilados «de su cuerpo y cerebro cuando estaban en experiencias inmersivas».
Al utilizar el seguimiento ocular, la actividad eléctrica, los latidos del corazón, la actividad muscular, la presión arterial, la conductancia de la piel y otras métricas, los modelos de IA podrían intentar predecir los pensamientos del usuario. «Los modelos de IA intentan predecir si te sientes curioso, distraído, asustado, prestando atención, recordando una experiencia pasada o algún otro estado cognitivo», escribe Crispin.
Uno de los «resultados más geniales» fue poder predecir cuándo un usuario iba a hacer clic en algo antes de que lo hiciera.
«Tu pupila reacciona antes de que hagas clic en parte porque esperas que suceda algo después de hacer clic», explica Crispin. «Entonces, puede crear biorretroalimentación con el cerebro de un usuario al monitorear su comportamiento ocular y rediseñar la interfaz de usuario en tiempo real para crear más de esta respuesta anticipatoria de la pupila».
Lo compara con una «interfaz de computadora cerebral rudimentaria a través de los ojos», que se haría cargo de la «cirugía cerebral invasiva cualquier día».
Influir en el usuario
En otro truco para determinar un estado, a los usuarios se les pueden mostrar imágenes o reproducir sonidos de una manera que no perciben, y luego medir la reacción a ese estímulo.
Otra patente explicó cómo el aprendizaje automático y las señales corporales podrían usarse para predecir el enfoque de un usuario, si está relajado o para determinar qué tan bien está aprendiendo. Utilizando esta información y estado, el sistema podría adaptar el entorno virtual para mejorar el estado requerido.
Crispin agrega que hay «un montón de otras cosas en las que estuve involucrado» que no han aparecido en las patentes, y espera que surjan más en el futuro.
Si bien en general está contento con el impacto de Vision Pro, todavía hay una advertencia de que «todavía está un paso adelante en el camino hacia la realidad virtual» y que la industria podría tardar una década más en ponerse al día por completo.