Certains pensent qu’une expérience mobile ne peut être adéquatement évaluée uniquement sur le terrain quand d’autres prônent le test conventionnel en laboratoire pour plus de contrôle de l’étude.
Xu Sun et Andrew May, de l’Université de Nothingham (Royaume-Uni) se sont penchés sur cette problématique et ont voulu comparer les bénéfices de ces deux méthodes. Les évaluations sur le terrain se sont déroulées dans un stade de soccer alors que celles en laboratoire ont recréé un événement athlétique. Les résultats ont révélé des différences intéressantes pour les deux approches.

L’évaluation en laboratoire a identifié des problèmes liés aux détails de l’interface tels que les couleurs et les icônes.L’expérience en laboratoire apparaissait également moins immersive et intéressante puisqu’il y manquait l’atmosphère du stade. Les participants étaient plus critiques que lorsqu’ils testaient l’outil sur le terrain.
L’évaluation sur le terrain a, quant à elle, fait ressortir des problèmes liés à la fiabilité et à la précision des données pendant un match. Elle a également fait ressortir des problèmes d’utilisation plutôt que d’ergonomie pure et ce de manière spontanée, dans un langage lié à la situation (selon l’ambiance d’un stade de football). Les participants étaient également plus enclins à s’exprimer se sentant moins dans une position d’évaluation. L’expérience a cependant été plus difficile à mener (conditions climatiques,  bruits ambiants) et certains participants ont été distraits par rapport à l’objectif de la tâche. Par ailleurs, certaines données n’ont pu être collectées.

Le laboratoire semble davantage s’imbriquer dans un processus de “test” alors que l’évaluation sur le terrain est menée dans le but de “comprendre une expérience”. Les tests en laboratoire sont donc recommandés lorsque l’objectif de l’étude est de cibler l’interface en tant que telle et les problèmes d’utilisabilité qui y sont reliés. L’étude sur le terrain est plus adaptée pour tenter de comprendre les facteurs qui influencent l’adoption par les utilisateurs d’une interface mobile du point de vue des fonctionalités proposées et des différents contextes de son utilisation.

Karine Grandé et Ignacio Calvo

Image: AFP/Nicolas Asfouri