Méthodes d'évaluation du jeu

1. Des méthodes issues du développement logiciel pour évaluer le jeu
2. Le focus groupe
3. L’enquête rétrospective
4. Le bêta test
5. Le test d’utilisabilité
6. Qu’est ce que le playtest
   1. Surveys and play : the playtest method”
   2. Avantages et inconvénients

Dans game studies, l’article The consumer playtest in game design a retenu mon attention, en ce qu’il détaille à la fois les avantages et inconvénients des méthodes de recueil de données ‘traditionnelles’, et ce qui a suscité le développement de la méthode de playtest.

Bien que je ne sois pas d’accord avec l’ensemble des points, en voici déjà une synthèse en français :

Des méthodes issues du développement logiciel pour évaluer le jeu

Le jeu vidéo partage avec le logiciel de grandes similarités en termes de contenus (Menus, Options, Tutoriel, aide), de modalités d’interactions (Interfaces, contrôles, prise d’info), et de processus psychologiques mis en œuvre (Construction par l’utilisateur d’un modèle conceptuel).

Le jeu vidéo présente cependant un challenge supplémentaire pour les ergonomes.

• D’une part, le jeu se doit d’être fun avant d’être productif, il ne faut donc pas minimiser le challenge, contrairement aux situations de travail.
• D’autre part, le jeu a recours à des interfaces plus innovantes, qui demandent à l’ergonome une plus grande créativité méthodologique.

La notion de fun passe par un renforcement engageant des conduites, mis en œuvre en suscitant le challenge, la fantaisie et la curiosité sincère du joueur. Résultant d’une multitude de facteurs, son évaluation peut être réalisée par le biais de méthodes traditionnelles en ergonomie, mais aussi par des méthodes spécifiquesLes méthodes traditionnellesAfin d’évaluer le fun, il est possible d’avoir recours à des méthodes d’ergonomie, de marketing et de psychologie « traditionnelles ».

Le focus groupe

Le focus groupe, étayé de supports de discussion tels que des storyboards, permettent de recueillir des jugements sur des concepts. Toute fois ces jugements sont abstraits plutôt qu’une implémentation précise du concept. De plus, la méthode de groupe implique un certain nombre de biais liés à la pression du groupe, à la répartition de la parole…

L’enquête rétrospective

Les enquêtes rétrospectives permettent de mieux connaitre la façon de jouer des joueurs en se basant sur des questionnaires concernant des jeux existants. Cette méthode implique de créer un bon questionnaire, ce qui n’est pas chose aisée : des biais lié à la formulation des questions peuvent facilement venir orienter les réponses. Le rappel basé sur des expériences très diversifiées et les biais de jugements liés à l’auto-évaluation, rendent difficile la comparaison. Toutefois, avec un échantillon suffisamment grand, le questionnaire a l’avantage de permettre d’avoir recours à des tests de statistique inférentielle pour rendre les résultats généralisables.

Le bêta test

La phase de beta tests est très communément employée pour avoir des retours en cours de développement. Les données qui en sont issues sont toutefois recueillies de façon peu rigoureuse, et peu cadrée, laissées à la discrétion des participants. Par ailleurs, les joueurs qui y prennent part sont généralement des experts, « fanatiques » non représentatifs de la cible. Dans tous les cas, les résultats qui en sont issus ne sont pas généralisables.

Le test d’utilisabilité

Les tests d’utilisabilité permettent d’évaluer la facilité d’accès, d’apprentissage et d’usage du jeu, en somme : sa jouabilité. Cette méthode permet en outre de comprendre où se situent les difficultés de réalisation de tâches et de comprendre le parcours de séquences de jeu, ou encore l’adéquation entre l’intention du designer et l’expérience vécue par le joueur selon son comportement.

L’auteur cite un exemple de Halo pour lequel le designer avait l’intention de faire un niveau fun en combat rapproché. Ors, en test, il apparaissait que les joueurs tuaient les ennemis de loin. Une adaptation du réticule de visée et du comportement des IA a permis d’encourager le comportement désiré, qui a été évalué comme « plus fun » comparativement au test précédent.

Le test d’utilisabilité est très utile pour comprendre l’expérience utilisateur, mais n’est pas généralisable tel quel. Une attention particulière doit être portée à la prise en compte des antécédants et de l’historique du joueur. L’observation doit se focaliser sur les comportements et non l’évaluation subjective pour être utile. De plus, le test utilisateur est très couteux en termes de temps et d’argent : les tests de grande envergure sont rarement effectués.

Les méthodes traditionnelles ne sont pas suffisantes pour évaluer efficacement les jeux, et aider les équipes de développement.

• Le focus groupe permet de générer des idées, mais est relativement peu utile aux designers du fait de la généralité des échanges
• Le questionnaire pour obtenir des infos généralisables leur est peu utile pour les mêmes raisonso Le test utilisateur est très utile, mais cantonné au comportement plus qu’à la perception que le joueur a du jeu. De plus, le nombre faible de participants ne permet pas de généraliser les résultats.

Afin d’évaluer efficacement les jeux, les designers ont développé la méthode du playtest. « Surveys and play : the playtest method”

Qu’est ce que le playtest

Les méthodes traditionnelles d’évaluation de logiciels présentent des biais. Afin d’évaluer efficacement les jeux, les designers ont développé la méthode du playtest.

Surveys and play : the playtest method”

Il s’agit d’une méthode qui combine manipulation et questionnaire. Un panel de joueur, sélectionné sur questionnaire, réalise en laboratoire une session de jeu sur un équipement standardisé. La trentaine de participants passe par groupes restreints, avec pour consigne de joueur « comme chez eux ».

L’expérience initiale de jeu étant critique pour que le joueur décide de continuer ou d’abandonner le jeu, le test se focalise sur la première heure de jeu. A la fin de la session, ils remplissent un questionnaire d’évaluation des différentes features. Ce questionnaire comprend une série de questions générales, standardisées, puis spécifiques au jeu. Il mélange également des questions d’évaluation avec des questions ouvertes. Ces dernières permettent de comprendre l’expérience et le vécu.

La standardisation des questions, et le nombre de participants permettent non seulement de faire des tests statistiques, mais également de réaliser des comparaisons entre les différentes sessions de test, pour vérifier l’impact de l’évolution de telle ou telle feature et maitriser les régressions.

Avantages et inconvénients

Cette méthode permet d’identifier les problèmes passe nécessairement par la comparaison avec des jeux similaires / même genre / etc. Elle permet de formuler des recommandations et points d’amélioration en explicitant pleinement la cause des difficultés. Elle permet également ainsi de cibler les prochains tests. Le playtest constitue donc un outil pour aider le designer à imaginer une solution et à vérifier si celle-ci résoud le problème. Il est important toutefois de noter que le playtest évalue le « game », pas le « play ».

L’environnement de test est entièrement controllé : on maitrise les variables parasites : instructions, jeu, matériel, contexte du jeu… ainsi les données obtenues sont associées à des critères spécifiques.

Ce protocole permet également des passassions multiples et le recueil informatisé des données permet de réduire le temps requis à sa mise en oeuvre, pour peu que l’on dispose d’un labo suffisamment grand. La méthode permet ainsi d’adresser les contraintes temporelles fortes et la nécessité de travailler efficacement et rapidement, même avec des contraintes budgétaires importantes.

• Source: A survey method for assessing perceptions of a game : The consumer playtest in game design by John P. Davis, Keith Steury, and Randy Pagulayan