ITECA est développeur du logiciel WITTY3D qui est solution d'aide à la maintenance de machines industrielles.
Une IA aide au diagnostic et à la résolution des pannes. Les pannes sont affichées sur le modèle 3D de la machine et des animations illustrent la procédure de résolution.
Ce logiciel est aujourd'hui déployé sur PC fixes, PC portables, tablettes et smart-phones.
Comparé à des documents textes et des schémas 2D, l'affichage 3D permet aux techniciens de plus facilement interpréter les informations affichées même si le problème ne disparaît pas complètement. En effet, ils ont toujours besoin d'interpréter et transposer les informations virtuelles qui leur sont présentées à la réalité de terrain. Or, toute interprétation requiert un effort cognitif qui est source d'erreurs.
Pour outrepasser ces limitations, ITECA souhaite faire évoluer WITTY3D en le portant sur des casques de réalités mixtes comme le Hololens de Microsoft.
Ces casques utilisent des écrans transparents pour afficher des images directement devant les yeux de l'utilisateur. L'effet de perspective est alors parfait et permet de calquer les visuels virtuels sur l'environnement réel qui reste visible à travers la visière du casque. Ces casques fournissent le matériel d'affichage mais c'est au développeur de se doter des outils logiciels pour recaler correctement les visuels.
Plus précisément, le logiciel doit inférer la position et l'orientation des objets d'intérêts en 3D par rapport au casque. Ce problème est connu dans la littérature comme celui de l'estimation des six degrés de liberté d'un objet (estimation des 6DoF).
Une solution à ce problème consiste à utiliser des réseaux de neurones pour identifier, localiser dans l'image, et localiser en 3D, l'objet d'intérêt.
Dans cette thèse, nous avons considéré AlexNet, VGG-19 et GoogLeNet pour la classification d'images, YOLO pour la localisation dans l'image, et PoseNet et BB8 pour l'estimation des 6DoF.
Nous les avons évalués sur trois jeux de données de l'état de l'art pour l'estimation des 6DoF: LINEMOD, T-LESS et YCB-VIDÉO.
Nous avons aussi constitué notre propre jeu de données, appelé NEMA.
Comme LINEMOD et T-LESS nous utilisons des marqueurs pour obtenir des étiquettes de qualité. Mais, contrairement à ces derniers, notre jeu de données fournit les arrière-plans qui permettent d'effacer ces marqueurs.
Nous avons aussi photographié les images avec un pas plus fin, ce qui nous permet d'obtenir plus d'images, et des points de vus très denses.
De ce fait, nous pouvons entraîner sans problèmes PoseNet et BB8 à des précisions jamais atteintes auparavant.