Voici un article qui va ravir les plus geeks d'entre vous, mais qui intéressera sûrement tous les autres cogniticiens. Ludovic Lefebvre (promo 2014 - LinkedIn) travaille chez Ubisoft Quebec et nous explique en détails en quoi consiste son métier d'analyste en recherche utilisateur. A vos manettes !

La plupart des outils informatiques ont une vocation fonctionnelle : ils existent pour fournir des fonctionnalités à l’utilisateur. Dans les cas où la concurrence est inexistante, l’expérience utilisateur devient un enjeu assez mineur dans la conception du produit.

À l’inverse, dans le domaine du divertissement, et plus spécifiquement dans celui du jeu vidéo, le but premier du produit se base sur l'expérience qu'il va proposer à l'utilisateur. Suivant les jeux et les concepteurs, le jeu va chercher à procurer quelque chose de différent et de spécifique aux joueurs. Il est donc important de valider l'expérience du joueur afin de vérifier si les intentions de design sont bien retranscrites dans le jeu.

Ainsi, lorsqu’une société décide d'entreprendre la création de jeux AAA, il est primordial de contrôler la qualité du jeu tout au long du développement. Deux types de tests se distinguent alors : le Contrôle Qualité, validant l'aspect purement technique du jeu via une recherche de bogues, et les Playtests qui vont valider l'expérience utilisateur. Ce sont ces derniers qui nous intéressent ici.

Chez Ubisoft, les laboratoires de recherche utilisateur ont donc pour tâche de réaliser différentes études sur les jeux pour assister les équipes de développement tout au long du processus de création. Ces études varient suivant l’avancement du projet et des objectifs de tests. Elles peuvent prendre la forme de revues heuristiques, de focus group, de formations ou encore de tests utilisateurs (appelés Playtests).

Issu d'un diplôme d'ingénieur en cognitique, et après plusieurs expériences dans le domaine des jeux vidéo et de l'expérience utilisateur, j'ai rejoint l'équipe du laboratoire d'Ubisoft Québec en tant qu'analyste en recherche utilisateur. Je vais donc vous décrire ici la fonction ainsi que les responsabilités qui en découlent.

Les playtests

Lorsque l'on travaille sur le même jeu durant plusieurs années, il est difficile de garder une vision objective de ce que l'on conçoit. Des choses qui vont paraitre bonnes ou évidentes pour le designer peuvent l'être beaucoup moins pour un nouveau joueur, et inversement. Les playtests ont donc pour vocation d'amener des joueurs à venir essayer un jeu en production afin de recueillir leur avis et d’observer les différents problèmes qu’ils rencontrent.

Besoins

L'équipe de production va nous approcher avec le besoin d'évaluer un ou plusieurs éléments de leur jeu. Cela peut concerner différents aspects :

• Les 3C : Control, Camera, Character
• les mécaniques de Game Design, le Level Design;
• les tutoriels et le système d'apprentissage;
• la difficulté, la progression, l'économie;
• le comportement du joueur;
• etc.

Méthodologie

Une fois ces besoins recueillis, et en fonction de ce que l'on veut évaluer, l'analyste responsable du test va rédiger une méthodologie qui permettra de répondre au mieux aux questionnements de l’équipe de production. Dans cette méthodologie, nous allons notamment définir :

• Le profil des candidats à recruter, la taille de l’échantillon et la durée du test;
• quel contenu sera joué et dans quel ordre;
• les questions qui seront posées aux joueurs afin de valider leur compréhension des mécaniques de jeu;
• les questionnaires servant à recueillir les retours des joueurs.

Comme on peut facilement l'imaginer, chaque test est différent du précédent tant par ses objectifs que par l'avancement de la version qui sera utilisée. Quel type de joueurs doit-on recruter? Quel niveau nous permettrait au mieux d'évaluer une fonctionnalité en particulier? Quelle question permettra d'aller chercher l'information que l'on souhaite recueillir? La version actuelle permet-elle d'évaluer l'ensemble de manière pertinente ? Tant de questions que l'analyste doit se poser à chaque playtest. C'est une partie très stimulante du travail, tant cela renouvelle continuellement le challenge associé à l'analyse de l'expérience utilisateur dans le cadre du jeu vidéo.

Analyse

Une fois l’étude terminée et les résultats obtenus, l'analyste se charge d'évaluer et de rédiger l'ensemble des problèmes qui ont été rencontrés par les joueurs tout en les documentant le plus possible avec les données recueillies. Nous pouvons être amenés à utiliser plusieurs sources de données différentes, telles que l'observation des candidats en jeu, la télémétrie présente dans le jeu, les enregistrements de la session de jeu des joueurs, les réponses données lors des entrevues avec les candidats ou dans le cadre des différents questionnaires, etc. Finalement, ces problèmes sont compilés et priorisés dans un rapport et transmis à l'équipe de production.

Ces rapports sont considérés à plusieurs niveaux par les équipes de production, mais également par les gestionnaires qui vont bien souvent prendre des décisions en se basant sur les résultats obtenus. Ces décisions sont très variées, suivant les différentes parties prenantes : cela peut être de choisir de modifier la mécanique de combat, d'introduire une fonction avant une autre, de mettre de l'emphase sur une mécanique que les joueurs apprécient particulièrement, de garder le design d'un niveau qui semble très bien fonctionner et être apprécié, de donner au jeu plusieurs semaines de développement supplémentaires afin de livrer le meilleur produit possible, etc.

Il est donc primordial pour l'analyste de produire le rapport le plus complet, documenté et précis possible.

Rythme

Ubisoft fonctionne suivant un système de playtests itératif : plusieurs tests sont disséminés tout au long de la production d'un jeu. Cela permet à l'équipe de tester un maximum de designs différents afin d'arriver au meilleur résultat possible dans le temps imparti. Pour l'analyste, cela implique de devoir se synchroniser avec le rythme instauré par la production du jeu.

En effet, si les résultats d'un test arrivent trop longtemps après le début de celui-ci, ils ne seront plus utiles à l'équipe tant le jeu pourrait avoir pris une tout autre direction en une semaine. À l'inverse, l'équipe ne peut pas se permettre d'attendre plus d’une semaine les résultats des tests avant de prendre certaines décisions et de commencer l'implémentation. 

Cela implique donc un rythme de livraison de rapports très intense lors de certaines phases de projet. L'analyste doit alors se concentrer sur les points essentiels, car il n'a pas le temps d'aller creuser dans toutes les données recueillies lors du test afin de tirer ses conclusions. Cela peut parfois paraitre frustrant lorsque l’on a la volonté de trouver un maximum de choses susceptibles d'améliorer le produit, mais on n’en a pas toujours le temps. Il est donc primordial d'être très structuré, de bien penser la méthodologie afin d’optimiser notre temps.

L’analyste

L'analyste se doit d'avoir une très bonne vision d'ensemble de ce que constitue un jeu vidéo et de connaitre les différents corps de métier qui interviennent dans sa production. Cela lui permet de cibler au mieux les sources des problèmes rencontrés par les joueurs et de proposer des solutions pertinentes.

La formation d'ingénieur en cognitique nous donne une base de connaissances vraiment intéressante pour ce type d'emploi. La polyvalence des cours abordés nous donne une facilité à comprendre les différents acteurs qui interviennent dans la création vidéoludique. Il faut cependant savoir que c'est un milieu de passion, et que c'est cette passion du jeu et à quel point on veut la véhiculer qui va faire la différence.

Il est donc primordial d’avoir une bonne culture du jeu vidéo, de connaitre les différentes mécaniques de Game Design, de suivre l'actualité, de jouer et d’expérimenter en se posant constamment la question « qu'est-ce qui rend l'expérience agréable et fun pour le joueur ? ».