MIGS2

Q&A : Ryan Challinor on Gesture based UI

Q&A : Ryan Challinor (Developing gesture based UI navigation using kinect)

Après ce point français, nous avons eu vent de la qualité de la conférence de Ryan Challinor et nous sommes présentés aux prolongations pour une session de questions-réponses. Dans un premier temps, la discussion a tourné autour de son expérience de programmeur, puis s’est centrée autour de la technologie en elle-même et des perspectives pour l’avenir.

Au début, Ryan a dit être surpris de voir que finalement les interfaces gestuelles n’étaient pas vraiment intuitives. Par rapport à la multitude d’actions possibles, l’équipe de développement a finalement pris le parti d’imposer un geste et de le faire apprendre au joueur.

Le développement de l’interface kinect s’est faite par des prototypages consécutifs des interactions possibles. Le fait de travailler sur une nouvelle technologie, avec peu de background leur a permis d’expérimenter à grande échelle des modèles d’interactions très variés, ce qui n’aurait peut être pas été possible avec un périphérique déjà connu, ayant des standards précis.

D’ailleurs, c’est une des libertés dont ils ont pu disposer en travaillant sur la technologie avant sa commercialisation : ils ont du travailler sans guidelines de la part de microsoft en terme d’interaction. Là encore, sans cela, ils n’aurait probablement pas autant expérimenté avec le dispositif.

Etre principalement sur une tâche itérative de la sorte d’un bout à l’autre du développement peut s’avérer très stressant. Ce stress a pu être géré par des semaines d’alternance sur un autre projet pour toute l’équipe, ce qui leur a permis de se ressourcer et prendre du recul pour encore plus d’efficacité lorsqu’ils s’y remettaient.

La discussion a ensuite porté sur les possibilités de kinect.

D’un point de vue programmation, il considère les possibilité très grandes, et n’importe quoi est envisageable, du moment qu’on le fait bien. Par exemple, l’interface tactile pour zoomer et dézoomer pourrait être reprise avec des magnets. Reconnaitre plusieurs gestes simultanément pourrait aussi être réalisable.

Etant donné l’absence de guidelines, il est possible que celles-ci se créent par sélection naturelle a force d’essais et à mesure que de plus en plus de jeux se basent sur cette technologie. Une partie de son travail consistait également à adapter les prototypes existants aux modifications du SDK, environ une fois par mois.

Utiliser un geste ou une posture pour mettre le jeu en pause peut être compliqué, si le joueur doit sortir rapidement de la pièce, ou faire une action dans le monde réel, comment le jeu doit il et peut il l’interpréter ? La voix que Ryan n’a pas pu utiliser car la reconnaissance n’était pas encore au point offre aussi d’intéressantes perspectives qui peuvent faciliter l’interaction – notamment pour la pause. De plus, les phrases doivent être stockées dans une librairie, donc il l’imagine plutôt comme une sélection de mots clé ou de phrases clés plutôt qu’une conversation naturelle.

D’un point de vue cosmétique, la possibilité de scanner des objets pour les retrouver dans le jeu crée un engouement certain.

La question de combiner kinect à une manette pour certaines actions reste délicate. En effet, ajouter un dispositif en main serait contraire à l’esprit « vous êtes le controleur », et s’ils devaient en sortir une, ce serait potentiellement une forme de télécommande, ce qui pourrait ressembler à une évolution du move/ de la wii mote.

Certains gestes à l’état actuel ne sont pas encore reconnus avec précision, notamment les poignets semblent manquer de fiabilité, et les doigts ne sont pas pris en compte. Un système de pastilles colorées sur les doigts pourrait suffire à augmenter significativement la fiabilité du dispositif pour cette partie du corps, et donner une plus grande précision et variété de mouvements.

Ryan insiste cependant sur le fait que demander comment kinect s’intègrera au Halo est à côté de la plaque. Il faut se demander ce qu’on peut faire avec le nouveau dispositif, qui n’était pas possible avant, et non comment faire la même chose avec le nouveau dispositif. Je le rejoins sur ce point : en effet, pourquoi s’encombrer d’une technologie autre si la même action est beaucoup mieux réalisée avec un périphérique déjà existant ?

Par ailleurs, il a précisé que Kinect avait besoin d’un des cœurs de la xbox pour tourner, et ajoute sur le ton de la plaisanterie qu’il doute que halo ait vraiment un cœurde trop dont il ne saurait que faire. Ainsi, il encourage la recherche de nouveaux jeux, de nouvelles façons de jouer et de naviguer.

Leave a Reply

Your email address will not be published. Required fields are marked *