DeepFocus es el procesador basado en la inteligencia artificial de Facebook que se dice que produce un desenfoque natural en tiempo real, algo que está preparado para ir de la mano con las presentaciones varifocales del mañana. Hoy, Facebook anunció que DeepFocus va a ser de código abierto; Si bien el prototipo de campo amplio de visión (FOV) «Half Dome» de la compañía puede ser propietario, su herramienta de aprendizaje profundo será «independiente del hardware».

Cuando levantas la mano frente a ti, tus ojos convergen y se acomodan de manera natural, enfocando la mano. Sin embargo, la experiencia de esto no es la misma en los visores de realidad virtual de hoy en día, ya que la luz proviene de una fuente fija, lo que hace que sus ojos se desvíen para resolver imágenes de campo cercano. Aquí es donde aparecen las pantallas varifocales y el seguimiento ocular, ya que una vez que la distancia focal fija se convierte en variable para que coincida con tus ojos, dependiendo de dónde estés mirando en cualquier momento.

Esencialmente, te permitirá enfocarte en los objetos independientemente de la distancia que tengas, lo que hará que la experiencia en general sea más cómoda e inmersiva. Pero la pieza faltante del rompecabezas aquí es la capacidad de los visores para replicar también el desenfoque ,desenfoque de aspecto natural, algo que sucede cuando te miras la mano y el fondo se ve borroso.

En un trabajo de investigación presentado en SIGGRAPH Asia 2018, la compañía dice que DeepFocus está inspirado en «la evidencia creciente del importante papel que juega el desenfoque de la retina en la conducción de respuestas acomodativas, así como la percepción de la profundidad y el realismo físico».

A diferencia de los sistemas de inteligencia artificial más tradicionales que se utilizan para el análisis de imágenes basado en el aprendizaje profundo, se dice que DeepFocus procesa los elementos visuales al tiempo que mantiene las resoluciones de imagen ultra definidas necesarias para VR de alta calidad.

Eye-tracking es un cambiador de juegos para la realidad virtual que va mucho más allá del renderizado de Foveated
Eso significa que no solo las cosas se verán más realistas en los visores VR varifocales e incluso en los visores AR con pantallas de campo de luz, sino que también mitigarán la fatiga visual asociada con el conflicto por la convergencia.

«Se ha demostrado que esta red sintetiza con precisión el desenfoque de desenfoque, las pilas focales, las descomposiciones de múltiples capas y las imágenes de múltiples vistas utilizando solo las imágenes RGB-D comúnmente disponibles, lo que permite representaciones casi correctas en tiempo real del desenfoque retiniano con un amplio conjunto de HMD compatibles con alojamiento «, Dicen los investigadores de Facebook.

Facebook publicará hoy la fuente y los datos de entrenamiento de la red neuronal «para ingenieros que desarrollan nuevos sistemas de realidad virtual, científicos de la visión y otros investigadores que estudian la percepción», dice la compañía en una publicación del blog.

Al presentar DeepFocus en Oculus Connect 5, el científico jefe de Facebook Reality Lab, Michael Abrash, dijo que si bien Half Dome y DeepFocus son esencialmente «solo el comienzo para la óptica y las pantallas, que es el elemento más importante de cómo se está acelerando el progreso».