ARTOOLKIT

Sommaire

 

1 ) ARToolKit , c’est quoi ?

2) L’histoire de la réalité augmentée

3) Les limites de la réalité augmentée

4) Fonctionnement

5) Les avantages ?

6) Pour qu’elle utilisation

7) Du code

8) Conclusion

 

1 ) ArToolKit c’est quoi ?

  • ARToolkit, pour "Augmented Reality Tool kit" ou "boite à outils pour la réalité augmentée" est une technique basée sur la détection et la reconnaissance de "marker" ou "pattern" dans une image vidéo permettant :
    • la reconnaissance du marker correspondant (plus de 4000 markers différents possibles, carrés noir et blanc diversement "remplis" à la façon d'un damier,
    • l'extraction des informations 3D du marker, notamment de la transformation de perspective
    • permettant de remplacer dans l'image vidéo le marker par un objet 3D qui pourra ainsi "suivre" les mouvements du marker.
  • ARToolkit est une librairie qui permet de mettre en œuvre simplement de la réalité augmentée en se basant sur la reconnaissance visuelle de « marker » qui sont des « carrés » avec un sigle composé de carrés noirs/ blancs...
  • Cette librairie fournit les fonctions de détection des « marker » dans une image, le calcul de la perspective correspondante, l'analyse du marker.
  • Ensuite, dans Processing notamment, on peut associer chaque « marker » à tel ou tel objet 3D ou autre..

L’avantage de cette librairie est surtout qu’elle fonctionne sur pleins de systèmes d’exploitations differents , comme IOS, ANDROID( pour les systemes d’exploitations mobiles ) et Windows , Linux et OS X ( pour les systemes d’exploitations sur ordinateur)

2) L’histoire de la realité augmentée

 

Artoolkit c’est bien beau , mais bon ça à bien dû commencer quelque part tout ça ( la realité virtuelle )

Pour commencer selon Ronald T Asuma , chercheur à l’université de Caroline du Nord et auteur d’une des premieres etudes sur la realité augmentée publié en 1997 , la realité augmentée est comme une interface entre des données «  virtuelles «  et le monde réel

Selon cette homme , la realité augmentée combine le monde réel et les elements numeriques en temps réel , ouvrant la possibilité à des actions en temps réel , et repose sur un environnement 3D

Le premier concept vient de Horton Heilit qui crée en 1962 le sensorama ,  c’est un casque equipé de capteurs permettant de simuler une scéne comme une balade à moto dans New York

En 1968, Ivan Sutherland invente le premier casque HUD à vision transparente réagissant aux mouvements de tête. L’appareil est baptisé « Épée de Damoclès », car il se porte directement sur la tête

 

Dans les années 1980, Steve Mann invente le EyeTap, un casque permettant d’afficher des informations virtuelles devant les yeux de son utilisateur. Il s’agit du premier véritable casque de réalité augmentée, un concept qui se développera jusqu’à devenir aussi léger qu’une paire de lunettes

 

3) Les limités de la réalité augmentée

À l’aube de l’an 2017, la réalité augmentée est encore confrontée à de nombreux problèmes. Les applications de réalité augmentée utilisables en extérieur, doivent faire face au soleil à la température extérieure qui peuvent gêner la perception. Dans le cas des applications de tourisme AR, par exemple, qui nécessitent de se rendre dans un lieu touristique pour profiter d’éléments virtuels superposés à la réalité, ce désagrément peut ruiner l’expérience.

 

La réalité augmentée peut également poser un problème de sécurité. Par exemple, un cycliste utilisant des lunettes de réalité augmentée peut être perturbé par les informations qui s’affichent à l’écran et risquer un accident.

 

Autre problème de la réalité augmentée, celui de la confidentialité. Les lunettes de réalité augmentée nécessitent une caméra pour fonctionner. Or, cette caméra peut très bien permettre de filmer des personnes à leur insu. C’est l’un des problèmes qui a provoqué l’échec des Google Glass. Les lunettes AR provoquaient des rixes dans les lieux publics, et certains les utilisaient pour filmer des événements privés.

 

4) Le fonctionnement

 

Le fonctionnement globale d'une application de réalité augmentée en utilisant ARToolKit se décompose en 5 étapes distinctes :

  • Recherche du marqueur
  • Calcul de la position et de l'orientation du marqueur par rapport à la caméra
  • Identification du symbole à l'intérieur du marqueur
  • Calcul de la position et de l'orientation de l'objet que l'on veut insérer sur le marqueur
  • Création de l'image en mixant l'image issue de la caméra avec les éléments virtuels que l'on souhaite intégrer

Voici des exemples de pattern

5) Les avantages

  • La technique utilisée comporte une solution de seuillage de binarisation automatique qui s'adapte à la luminosité ambiante automatique ce qui rend la mise en oeuvre simple dans des conditions d'éclairage différentes.
  • La technique apparaît très robuste en détection y compris avec des seuils de confiance élevés (càd un niveau de probabilité de correspondance élevé, de l'ordre 80% par exemple)
  • La reconnaissance est indépendante de la perspective et de la rotation. La reconnaissance est bonne (pour ne pas dire excellente) à des distance de l'ordre de 4m pour une taille de marqueur de 15x15 environ
  • La reconnaissance est également tolérante à la déformation du marker
  • L'utilisation du CPU est très modeste et la reconnaissance très fluide et rapide permettant une réactivité en temps réel très fluide.

6) Pour quoi faire ?

Les applications potentielles sont :

  • des applications de réalité augmentée, ce pour quoi la technique a été imaginée
  • mais surtout , pour une utilisation en robotique permettant d'envisager :
    • des détections avancées de personnes
    • des détections de murs, portes, etc.. avec virtualisation de l'espace 3D associé, le tout en temps réel
  • Des jeux videos en realité augmentée , permettant de supprimer totalement l’utilisation des manettes , et donc toutes les actions de la manette sont remplacée par la reconnaissance faciale/mouvement et vocales
  • Un autre exemple plus amusant comme installer un miroir , une caméra et un ordinateur faisant tourner un logiciel avec de la réalité augmentée incorporée , cela permet des effets étonnants
  • Faire essayer des vêtements à une personne à distance sans vraiment la porter, cela permet d’éviter les déplacements

7) Du code pour expliquer le fonctionnement

 

Pour le code je vais parler de l’exemple fournit avec ArToolKit qui est SimpleLite qui permet d’ouvrir la webcam , de détecter des patterns et d’afficher une forme

Nous utilisons plusieurs fonctions pour cela

Pour configurer la camera et charger les markers(patterns) nous allons utiliser setupCamera et setupMarker

Pour obtenir une image à partir de la camera , nous allons utiliser arVideoGetImage

Pour avoir la possibilité de detecter les patterns on utilise la fonction arDetectMarker

Pour calculer les transformations à faire entre le pattern et l’objet virtuelle il faut utiliser la fonction arGetTransMat

Pour pouvoir dessiner l’objet en virtuelle , il faut utiliser la fonction Display

Pour quitter l’application on utilise simplement Quit

PARTIE MAIN

Première partie du code pour initialiser la camera

Deuxième partie pour configurer le lancement de la camera avec une condition

Troisième partie pour la création de la fenêtre

Quatrième partie pour la liaison entre OpenGL et ARToolKIt

Partie paramétrage camera et patterns

1ere partie : Paramétrage de la camera

2eme partie : Chargement des paramètres et affichage d’erreur ( si cela ne fonctionne pas)

3eme partie : Lancement du pattern qui sera désormais reconnu

Partie Boucle Du Main

Lorsque la video est lancé , regarde si un detecteur est visible , et si cela est visible alors k passe à -1

Partie affichage

 

Permet d’afficher en temps réel

 

 

8) Conclusion

 

L’avantage principal de ce logiciel ArToolKit est qu’il est compatible multiplateforme , et surtout capable de comprendre plusieurs langages de programmations . Grâce à cette outil il est possible de faire de la réalité augmentée directement chez nous avec une simple webcam ou même des applications compatibles avec les smartphones (comme des jeux avec notre camera)

La réalité augmentée est une technologie différente de la réalité virtuelle mais est tout aussi amusante , car nous sommes dans la réalité et nos capteurs photos / vidéos voient des choses que ne l’on pouvons voir en réalité car ils n’existent pas

Pas de commentaire.

Ajouter un commentaire