SencePilot : nouveau logiciel pour déplacer le curseur souris par mouvements de la tête et simuler les actions clic par expressions faciales enregistrées depuis une webcam

Créé par une entreprise familiale suite au Hackathon AI Lithuania en mai 2024, SencePilot est un nouveau logiciel fonctionnant sous Windows 10 et 11, permettant de contrôler les déplacements de la souris par l'intermédiaire d'une webcam standard, complété par une détection faciale (sourire, cligner, lever les sourcils, ouvrir la bouche…) permettant de simuler les actions clic ainsi que des touches  du clavier utilisées au sein de certains jeux. 
 

SencePilot : fenêtre d'accueil, activation de la webcam et visualisation des mouvements faciaux

Initialement développée pour les besoins d'un particulier, l'application a ensuite été testée auprès d'une plus large population, avec le concours de professionnels, et une association anglaise sur le thème de l'accessibilité aux jeux vidéo. 

SencePilot : déplacements du curseur par mouvements de la tête, clic gauche = bouche en cœur, scroll up = sourire, scroll down = élévation des sourcils. Pour l'écriture en français, on appellera le clavier visuel Azerty épinglé en barre des tâches. 

L'application est en anglais, mais intuitive et assez simple à configurer. 

- L'onglet caméra permet de sélectionner la webcam, et de visualiser les mouvements faciaux détectables. 
- L'onglet cursor control permet d'activer le mode souris, et de personnaliser la sensibilité horizontale, verticale, la fluidité et l'accélération du curseur. 
- L'onglet mouse bindings permet d'affecter aux fonctions clic, scroll, recentrage et pause du curseur, un mouvement facial. Après sélection d'une fonction et du mouvement facial associé, le bargraph situé au centre de l'écran doit passer du rouge au vert quand on exécute le mouvement.
Un bon éclairage ambiant et le placement de l'utilisateur face à la webcam sont déterminants. 
 

            Affectation de la fonction pause des déplacements du curseur souris à l'élévation du sourcil droit. 
        Lors des réglages, le bargraph central doit passer du rouge au vert quand on exécute le mouvement. 
 

- L'onglet keyboard bindings permet d'assigner un mouvement facial aux touches du clavier. 
- L'onglet game mode permet de simuler le déplacement des manettes de jeux. 
- L'onglet dwell clicking permet de déclencher les fonctions clics après une temporisation, depuis une fenêtre qui s'affiche au choix en déplaçant le curseur en haut,
au centre, à gauche ou à droite de l'écran. 

Exemple de configuration de mouvements faciaux associés aux déplacements du curseur souris 

- Clic gauche = sourire
- Clic droit = élévation du sourcil droit
- Double clic gauche = ouvrir la bouche
- Pause = regard vers le bas
- Recentrer le curseur = regard vers la droite
Utile en période d'apprentissage, cette fenêtre de rappel peut être activée / désactivée depuis le menu Profils / Bindings Windows / On / Off. 
Il est possible de se créer différents profils d'utilisation  : mode souris, configurations pour jeux...

Ecrire du texte :
Pour écrire du texte en mode souris, on optera pour appeler le clavier visuel de Windows, épinglé à la barre de tâches de Windows. 

Une première version est disponible en ligne : démonstration 30 jours, commercialisée ensuite au tarif de 9 € par mois, 99 € l'année ou 199 € à vie. 
Les auteurs travaillent actuellement sur une version compatible Android, l'ajout de commandes vocales et une optimisation pour commande oculaire.
Site : https://sensepilot.tech

L'application est présentée en vidéo avec interview du concepteur sur les chaines YouTube de Canadian Assitive Technology (Canada), et CENMAC Assistive Technology in Education (Uk) :
(Acitvez la traduction sous titrée en farnçais depuis la roue dentée).
- https://www.youtube.com/watch?v=PDPc4CwAwrA&t=114s 
- https://www.youtube.com/watch?v=cE9cTRXzfuI&t=8s 
Chaine Youtube de SensePilot :
https://www.youtube.com/@SensePilotTech

Cette solution n'est pas sans nous en rappeler une autre, française, récemment mise à jour, sur laquelle nous reviendrons lors de d'un prochain post.