SharedNeRF est un nouveau système de conférence à distance. Il permet à l'utilisateur de manipuler une vue 3D de la scène. Cette approche est cruciale pour des tâches complexes comme le débogage de matériel informatique.
Fusion de techniques de rendu
SharedNeRF combine deux techniques de rendu graphique. L'une est lente et photoréaliste, et l'autre est instantanée mais moins précise. Ce système aide l'utilisateur à expérimenter l'espace physique du collaborateur de manière innovante. Son objectif principal est de faciliter la compréhension et la manipulation des objets complexes à distance.
SharedNeRF a été développé par un doctorant en sciences de l'information, Mose Sakashita. Selon ses propos, ce système représente un changement de paradigme. Il permet aux utilisateurs d'exécuter des tâches impossibles à faire et difficiles à transmettre avec les outils traditionnels.
Le développement de SharedNeRF
Sakashita a conçu cet outil durant son stage chez Microsoft en 2023. Il travaille en étroite collaboration avec Andrew Wilson, un ancien étudiant de Cornell. Ces deux passionnés ont présenté leurs recherches lors de la conférence CHI'24 de l'ACM, et ont obtenu une mention honorable. Cette reconnaissance souligne l'importance et l'innovation de leur travail dans le domaine de la collaboration à distance.
La technologie derrière SharedNeRF
SharedNeRF utilise un champ de radiance neuronal (NeRF) pour créer des représentations 3D réalistes à partir d'images 2D. Cette technologie offre des détails précis, visibles sous n'importe quel angle. Les capacités du NeRF permettent de capter des réflexions, des objets transparents et des textures précises. Cela rend l'expérience visuelle extrêmement riche et détaillée.
Fonctionnement du système
Dans SharedNeRF, le collaborateur local porte une caméra sur la tête. Cette dernière envoie les images à un modèle d'apprentissage profond. Le collaborateur distant peut manipuler la vue en version 3D. Ce processus améliore considérablement la collaboration en permettant une interaction presque naturelle avec l'espace partagé, et ce, malgré la distance.
Fusion de rendu pour une meilleure réactivité
Pour combiner détail et réactivité, le système intègre NeRF avec le rendu de nuage de points. Le but de la fusion est de permettre au collaborateur distant d'observer la scène sous divers angles tout en percevant les mouvements réels dans l'espace de travail.
Tests utilisateurs et avantages perçus
Sept volontaires ont testé SharedNeRF en réalisant un projet de composition florale. La majorité des participants ont préféré ce système aux outils standards pour sa capacité à détailler et à contrôler la vue. Beaucoup apprécient le fait de pouvoir zoomer sur l'arrangement floral sans devoir expliquer au collaborateur local quelle vue ils souhaitaient voir.
Actuellement, SharedNeRF est limité à des collaborations en tête-à-tête. Toutefois, les chercheurs envisagent pouvoir archiver des événements éducatifs ou médicaux. Cela permettrait aux étudiants de revoir les démonstrations sous différents angles.
- Partager l'article :
