L'évaluation heuristique de la jouabilité par Desurvire et Pinelle

1. Procédure mise en place
2. Evaluation de la criticité des problématiques
3. Conclusion
4. Références

J’ai récemment réalisé une analyse ‘experte’ de l’utilisabilité d’un jeu vidéo. J’ai profité de cette occasion pour tester l’utilisation d’une grille heuristique sur la base d’articles de Pinelle et Desurvire et al. : HEP pour “Heuristic evaluation of playability”. (cf. références bibliographiques en bas de page)

Ayant trouvé l’expérience enrichissante, je vous propose ici un petit retour d’expérience présentant la méthode, et les résultats obtenus.

Procédure mise en place

Dans le cadre de ma démarche, j’ai évalué les deux premiers chapitres de Resident Evil Revelations d’abord de façon libre, dans une démarche exploratoire, en prenant note de mes observations personnelles et questions à vérifier entre chaque scénario. A la fin de chaque scénario, j’ai également complété la grille en la complétant pour ledit scénario.

J’ai ensuite passé en revue une seconde fois chaque scénario pour tester de façon approfondie les points que j’avais relevé, soit par le biais de l’heuristique, soit par le biais de la prise de notes libre.

Suite à ces deux étapes, j’ai obtenu une liste de problèmes d’utilisabilité. J’ai ensuite attribué à chacune d’entre elles un score basé d’une part sur la fréquence à laquelle le joueur est susceptible de rencontrer la difficulté d’une part, et de l’impact sur son expérience d’autre part.

Pinelle propose également un classement des difficultés par dimensions. J’ai donc “tagué” chacun de mes problèmes identifiés afin de pouvoir les représenter de façon visuelle.

Delta entre les observations libres et les observations guidées par la grilleGlobalement, le recours à la grille d’utilisabilité à permis de détecter un nombre légèrement plus important de problèmes d’utilisabilité que l’évaluation “libre”. Les points supplémentaires relevés sont assez précis : de nombreux points d’améliorations ponctuels relevés ainsi contribueraient à améliorer de façon significative l’immersion en particulier, bien que l’optimisation de chacun des points ait un impact faible de façon individuelle.

Evaluation de la criticité des problématiques

La série d’article relatifs à cette grille propose d’évaluer la criticité des problèmes d’utilisabilité en 4 niveaux : de aucun impact à bloquant. Aucun des articles ne fournit cependant de consigne suffisamment précise pour associer une criticité à un problème observé. Cette évaluation conserve donc une part de subjectivité.

Intérêt de la classification des problématiquesLes articles proposent également de visualiser les problèmes découverts sous forme de radar. Cette approche est intéressante pour comparer le type de problèmes d’utilisabilité en fonction du genre de jeu. Elle donne un aperçu de aspects qui sont le plus sujet à problèmes, tels qu’ils apparaissent dans les critiques de jeu en particulier. L’intérêt est plus limité dans le cadre d’un développement car la classification n’apporte pas de levier supplémentaire pour améliorer un produit de façon concrète.

La visualisation sous forme de radar permet cependant de se rendre compte visuellement des l’impact de modifications effectuées, si l’on présente non pas la somme des problèmes identifiés sur chaque dimension, mais la somme des criticités des problèmes.

Ainsi, lors de mon analyse, voici le delta entre l’ensemble des problèmes identifiés, et les problèmes restants une fois les 5 problèmes les plus critiques corrigés.

Conclusion

Le recours à la grille heuristique assure une exploration rigoureuse des différent aspects d’utilisabilité et assure de ne pas rater un problème par omission. Toutefois, les points relevés grâce à la grille qui auraient été ratés ne sont pas les plus critiques, ce qui réduit l’intérêt de l’outil.

Les problématiques les plus complexes relèvent souvent de stratégies utilisateurs, que la grille ne permet pas d’évaluer. La grille d’évaluation la plus utile dans le cadre du développement d’un jeu serait une grille recensant différents comportements et des stratégies utilisateurs à prendre en compte dans la conception, en plus des questions d’utilisabilité et d’accessibilité “classiques”.

Et vous, avez-vous déjà travaillé avec cette grille ? La méthode vous a-t-elle facilité la tâche ou aidée de façon significative ? De façon plus large, que pensez-vous de l’utilisation de grilles heuristiques pour l’évaluation de jeux vidéos ?

Références

• Heuristic evaluation for games: usability principles for video game design, D. Pinelle, N. Wong, T. Satch
• Using genres to customize usability evaluations of video games, D. Pinelle, N. Wong, T. Satch
• Game Usability Heuristics (PLAY) For Evaluating and Designing Better Games: The Next Iteration, H. Desurvire, C. Wiberg
• Using Heuristics to Evaluate the Playability of Games, H. Desurvire, M. Caplan, J.A. Toth