Des scientifiques de la division de l'énergie durable et de l'ingénierie environnementale de l'université d'Osaka ont utilisé des réseaux adversatifs génératifs formés sur un ensemble de données personnalisé pour supprimer virtuellement les obstructions des images de façades de bâtiments. Ces travaux pourraient être utiles à la planification urbaine et aux applications de vision par ordinateur.
La possibilité d'« effacer » numériquement les objets obstruants indésirables d'un paysage urbain est très utile. Elle nécessite toutefois une grande puissance de calcul. Les méthodes précédentes utilisaient des ensembles de données d'images standard pour entraîner les algorithmes d'apprentissage automatique. Aujourd'hui, une équipe de chercheurs de l'université d'Osaka a créé un ensemble de données personnalisé permettant de supprimer automatiquement les objets indésirables d'une image de la façade d'un bâtiment. La région supprimée a été remplacée à l'aide d'une peinture numérique afin de restaurer efficacement une vue complète. Par objet indésirable on entend évidemment piétons, cyclistes, végétation ou voitures.
La vision de rue par rayons X pour repeindre les régions occluses avec une grande précision
Les chercheurs ont utilisé des données provenant de la région de Kansai au Japon dans un service de visualisation de rues à code source ouvert. Des donnes totalement différentes des ensembles d'images de bâtiments conventionnels souvent utilisés dans l'apprentissage automatique pour les paysages urbains. Ils ont ensuite construit un ensemble de données pour entraîner un réseau génératif adversatif (GAN). Un réseau permettant notamment de repeindre les régions occluses avec une grande précision.
« Pour la tâche d'inpeinture de façades dans des scènes au niveau de la rue, nous avons adopté un modèle d'inpeinture d'images basé sur l'apprentissage profond de bout en bout. Nous nous sommes ainsi entrainés avec nos ensembles de données personnalisés », explique le premier auteur, Jiaxin Zhang.
L'équipe a eu recours à la segmentation sémantique pour détecter plusieurs types d'objets gênants, ainsi qu'à des GAN. L'objectif étant de remplir les régions détectées avec des textures d'arrière-plan et des informations de correction. Des informations provenant notamment de l'imagerie au niveau de la rue. Ils ont également proposé un flux de travail pour filtrer automatiquement les façades de bâtiments non obstruées à partir d'images de rue. Ils ont également personnalisé l'ensemble de données pour qu'il contienne à la fois des images originales et masquées. Ce qui entraîne d'autres algorithmes d'apprentissage automatique.
Les utilisations futures
Cette technologie de vision de rue par rayons X offre un outil de communication pour les experts et les non-experts. Ce qui peut aider à développer un consensus sur les futures conceptions environnementales urbaines.
« Notre système s'est avéré plus efficace que les méthodes utilisées précédemment dans le cadre de projets de paysage urbain pour lesquels les informations de base n'étaient pas disponibles à l'avance », explique Tomohiro Fukuda, auteur principal. À l'avenir, cette approche pourrait être utilisée pour aider à concevoir des systèmes de réalité augmentée. Des systèmes capables de supprimer automatiquement les bâtiments existants et de montrer à la place les rénovations proposées.
- Partager l'article :
