Be My Eyes pour Windows : assistant visuel basé sur l'IA pour personnes malvoyantes

Disponible sur le Mirosoft Store, Be My Eyes pour Windows est une application qui utilise de puissants modèles d'IA pour fournir une descriptions synthétisée d'un contenu visuel affiché à l'écran : page web, document, photos...
Une application initialement conçue pour les personnes aveugles ou malvoyantes, utilisable dans de nombreuses autres situations, qui grace à des raccourcis ou clics sur boutons, peuvent accéder à un résumé hiérarchisé écrit et vocalisable des informations présentes à l'écran, ainsi que la description d'images, de photos...
https://www.bemyeyes.com/be-my-eyes-for-windows (page web et lien de téléchargement).
Nécessite l'ouverture d'un compte gratuit. 
L'écran s'ouvre sur une page affichant 4 boutons : 
- décrire le contenu à l'écran, (tout type d'affichage),
- décrire une image (importée depuis l'explorateur de Windows),
- prendre une photo depuis la web cam de l'appareil puis la commenter,
- décrire le contenu du presse papier après une copie d'écran. 

Après sélection d'une de ces options, l'interface demande de patienter quelques secondes le temps que l'IA synthétise le texte à afficher. 
Démonstration en vidéo :  (à partir de la minute 3.25 / conseils d'installation en début de vidéo). 

Interroger l'IA 
Sous le résumé, une fenêtre permet de poser une question à l'IA concernant le texte résumé.

Description d'images 
L'IA associée à l'application permet une description d'images ou photos précise et détaillée. 
Exemple ci dessous : 
 

A propos de la vocalisation (Important) 
Dans la vidéo présentée ci dessus, la vocalisation du texte synthétisé et prononcé par voix de synthèse, n'est pas obtenue depuis l'application, mais par l'utilisation conjointe du Narrateur de Windows. 

Conclusion
Le résultat est particulièrement intéressant auprès de personnes aveugles ou malvoyantes en vue d'obtenir le résumé d'un contenu à l'écran composé de texte ou obtenir la description détaillée détaillée de photos. 
Peu de choses pourraient le rendre encore plus accessible notemment auprès de personnes présentant un handicap moteur associé à des troubles visuels ou de concentration, si l'interface permettait de choisir la police et la taille des caractères affichés et si la vocalisation était accessible depuis l'application sans nécessairement passer par le Narrateur de Windows quand on ne l'utilise pas. 
Peut être dans une future mise à jour ? A suivre... 

Raccourcis clavier des fonctions de Be My Eye Windows (également affichés sous forme de boutons)