French version below the English one / Version française après la version anglaise

--- English version ---

I. Why using finger tracking for drawing?
II. Concept presented in the video
III. Inconvenients and potential solutions
IV. Technical details

I. Let's begin with an example: imagine you are at friend's house. You want to draw a digital painting for him/her. You can use its mouse, yet it's not very effective for drawing... You can use your personal graphic tablet, aaaaand it's at your home! Or.. You can use a device of the size of a USB key (a Leap Motion, for example) to turn any space of air into a 3D drawing interface, with high precision, and the possibility to use gestures and fingers' inclination to control it. And don't forget: you'll be able to draw in 3D, so you can make virtual sculptures!

II. As I just wanted to test drawing using finger tracking, the concept here is very simple. The interface tracks your finger's position (your current position is represented by a white dot on screen) and draws. If you want to stop drawing (for example, if you want to draw something else elsewhere), step back your finger. The dot will turn red and your movements are no longer drawn. So conceptually, you're drawing inside a virtual box.

III. After 3 or 4 drawings tests, i saw three limitations. The first one is the fatigue of your arm. The second one is more important for designers: there is no touch feedback. Thus, you can't control easily the pressure. It will also request some time to perceive exactly where the drawing zone begins. I think that both fatigue and drawing zone problems could have the same solution. Simply turn the Leap Motion device to 90°. This way, you should make the drawing zone starting at the surface of the table where the screen is. This means you would be able to turn any flat and non-reflective surface into (almost) a graphic tablet! You still have a low control on the pressure yet, but you still can use the space of air above the drawing surface to do whatever you want.

IV. Tracking system using the Leap Motion device (www.leapmotion.com) and its SDK. Drawing interface implemented using Python 2.7 (www.python.org) and the VPython library (www.vpython.org).

Made at the CNRS-LIMSI.

--- Version française ---

I. Pourquoi du suivi de doigt pour dessiner ?
II. Concept présenté dans la vidéo
III. Inconvénients et solutions potentielles
IV. Détails techniques

I. Commençons par un exemple : imaginez que vous êtes chez un ami. Vous voulez lui faire une peinture digitale. Vous pouvez utiliser sa souris, mais ce n'est pas très efficace pour dessiner... Vous pourriez prendre votre tablette graphique, maaaaais elle est chez vous ! Ou alors... vous pourriez utiliser un dispositif de la taille d'une clé USB (un Leap Motion, par exemple) pour transformer n'importe quel espace vide en une interface de dessin 3D, dotée d'une grande précision, et avec la possibilité d'utiliser des gestes et l'inclinaison des doigts pour la contrôler. Et n'oubliez pas : vous dessinez en 3D, vous pouver même faire des sculptures virtuelles !

II. Comme je souhaitais juste tester le dessin avec de la suivi de doigt, le concept ici est très simple. L'interface capture la position du doigt (position représentée à l'écran par un point blanc) et dessine en suivant les mouvements. Si vous voulez arrêter de dessiner (par exemple, pour dessiner autre chose ailleurs), reculez votre doigt. Le point deviendra rouge, et les mouvements ne seront plus dessinés. Conceptuellement, vous dessinez dans une boite virtuelle.

III. Après trois ou quatre tests de dessins, j'ai observé trois limites. La première est la fatigue du bras. La seconde est plus importante pour les dessinateurs : il n'y a pas de sensation de toucher. On ne contrôle donc pas facilement la pression. Il va aussi falloir du temps pour savoir où exactement la zone de dessin commence. Je pense qu'une solution unique pourrait résoudre les problèmes de fatigue et de zone de dessin : tourner le dispositif Leap Motion de 90°. De cette façon, vous pouvez régler la zone de dessin pour qu'elle commence au niveau de la surface de la table sur laquelle est posée l'écran. Ca signifie que vous pouvez tourner n'importe quelle surface plate et non-réfléchissante en (presque) une tablette graphique ! Vous avez cependant toujours un faible contrôle sur la pression, mais vous pouvez toujours utiliser l'espace au dessus de la surface comme vous le souhaitez.

IV. Système de suivi utilisant un dispositif Leap Motion (www.leapmotion.com) et son kit de développement. Interface de dessin réalisée en Python 2.7 (www.python.org) avec la librairie Vpython (www.vpython.org).

Fait au CNRS-LIMSI.