Test comparatif des systèmes mobiles : iOS, Android, Windows Phone

Usabilis a conduit une étude sur l’ergonomie des mobiles afin de comparer objectivement l'expérience utilisateur sur les différents OS mobiles : iOS, Android, Windows Phone.

Il en résulte que Windows Phone propose la meilleure expérience utilisateur, Android souffre d'une interface trop chargée et iOS manque d'homogénéité entre les applications.

Pour cette étude, nous avons réalisé une série de tests avec 27 utilisateurs néophytes et réguliers d’iOS, Android et Windows Phone. Les 11 applications natives les plus utilisées ont été testées. Les résultats de notre étude s’appuient sur des mesures objectives (temps de réalisation des tâches, nombre d’erreurs…) et sur une analyse experte de l’expérience utilisateur.

Vous trouverez dans cet article un résumé des résultats. La synthèse complète des résultats est disponible sur demande :

Contexte

Depuis maintenant plusieurs années, les smartphones connaissent un essor fulgurant et sont désormais utilisés de manière quotidienne par de nombreux usagers. En mars 2013, 54% des français ont un smartphone.

L’une des raisons de ce succès est certainement la convivialité d’usage que permet l'interface de ces téléphones. Les principaux concepteurs d’OS (système d'exploitation) mobiles ont depuis longtemps saisi l’enjeu que représente le marché du mobile. Ces derniers tentent sans cesse de se différencier et se livrent à une véritable course vers l’innovation afin de séduire un maximum d’utilisateurs. Les utilisateurs de mobile eux-même prennent souvent parti dans cette bataille en défendant tel ou tel OS mobile qui serait le « meilleur » et le plus simple à utiliser. Cette appréciation est souvent basée sur des critères subjectifs.

Dans ce contexte, l’équipe d’Usabilis a mené une étude auprès de 27 utilisateurs pour déterminer objectivement si certains systèmes d’exploitation mobiles (OS) sont plus adaptés que d’autres aux tâches que les utilisateurs effectuent régulièrement.

Session de test utilisateur

Objectifs principaux

Cette étude a plusieurs objectifs :

• Identifier l’OS qui permet d’accomplir les tâches le plus efficacement
• Identifier les différences notables d’ergonomie entre les 3 différents OS
• Lister les points forts et les faiblesses de chaque OS mobile
• Lister des recommandations de conception pour les interfaces mobiles
• Identifier quel OS correspond le mieux à des utilisateurs néophytes

Résultats de l’étude

Pour obtenir des résultats représentatifs de l’ergonomie des OS, nous avons testé uniquement les 11 applications natives régulièrement utilisées. (Le protocole détaillé de l’étude est disponible dans la synthèse téléchargeable).

Précision à propos du protocole : nous avons choisi de tester le système Android sur un Samsung Galaxy S3 mini car Samsung est très répandu (30% de part de marché des smartphones dans le monde fin 2012) parmi les smartphones Android. Nous n’avons donc pas choisi de tester la version nue d’Android, car elle est moins utilisée par le grand public que l’interface TouchWiz de Samsung. 

Les différentes tâches réalisées par les utilisateurs ont mis en évidences des points forts et des points faibles pour chaque OS en termes d’ergonomie.

iOS d’Apple est le premier OS pour téléphones tactiles qui a véritablement lancé la vague des smartphones. Apparu sur le marché en 2007, il a innové dans un domaine qui n’était pas encore développé. Cependant, iOS n’a pas beaucoup évolué depuis sa création.
iOS se caractérise par une interface peu chargée, qui permet l’exécution de tâches rapidement pour les utilisateurs réguliers, mais qui laisse peu de place à la personnalisation. Dans de nombreux cas observés, le positionnement de même éléments diffère d’une application à l’autre. Notre étude montre que les utilisateurs sont fréquemment ralentis par ce manque d’homogénéité qui entraîne un grand nombre d’erreurs.
Android, arrivé en 2008, a choisi une autre direction pour son interface. L’interface Android est visuellement chargée et apporte une lattitude plus importante à l’utilisateur pour personnaliser son interface comme par exemple la possibilité de remplacer les applications natives. Cependant, l’OS Android reste difficile à prendre en main. Nos tests ont montré que les utilisateurs néophytes sont parfois perdus et abandonnent leur tâche.
Windows Phone, challenger du marché apparu en 2010, a su s’inspirer de ses concurrents et de son expérience passée dans le domaine mobile tout en innovant. Proposant une interface simple et épurée ainsi que de multiples possibilités de personnalisation, il permet d’arriver rapidement à l’exécution d’une tâche ce qui a particulièrement séduit les utilisateurs. C’est d’ailleurs Windows Phone qui se trouve être l’OS mobile le plus adapté aux utilisateurs néophytes. A noter que certaines fonctionnaliltés demeurent absentes et que les formulaires de saisie actuels posent de réelles difficultés d’usage.

Suite à notre étude, Windows Phone se présente comme l’OS proposant l’expérience utilisateur la plus efficace et la plus appréciée.

Points clés

Voici les points clés qui sont ressortis suite aux tests utilisateurs. Ils sont basés à la fois sur les résultats statistiques des tâches effectuées (taux de réussite, nombre d'erreurs, durée de la tâche…) et sur une analyse experte de l’expérience utilisateur de chaque OS mobile.

Résultats statistiques

• Les taux de réussites sont globalement bons pour les 3 OS mobiles. Les utilisateurs arrivent donc sans trop de difficultés à leurs fins.
• Le taux de réussite des néophytes est plus faible que pour les utilisateurs réguliers : la prise en main n’est pas immédiate.
• Tous OS confondus, les utilisateurs réguliers mettent 40% de temps en moins que les utilisateurs néophytes à exécuter une tâche. Cela montre qu’il existe une courbe d’apprentissage importante.
• Sur Windows Phone les utilisateurs réussissent davantage à effectuer les tâches et avec le nombre d’erreurs le plus faible.
• Windows Phone propose la plus grande facilité d’usage pour les néophytes.
• La prise en main par les néophytes est plutôt bonne pour iOS.
• Les utilisateurs font plus d’erreurs sur iOS que sur les autres OS.
• Android est l'OS le plus difficile à utiliser pour les néophytes avec un taux de réussite de (seulement) 42% et beaucoup d’abandons de tâches.

Analyse experte

• Windows Phone propose une interface très homogène qui facilite la prise en main pour les néophytes.
• iOS et Android faillissent par manque d’homogénéité.
• Il y a davantage de flexibilité (raccourcis, personnalisation) sur Android et Windows Phone que sur iOS.
• Android propose beaucoup de feedbacks (messages de confirmation…) aux utilisateurs qui sont informés en temps réel de la prise en compte de leurs actions.
• Alors qu’Android et Windows Phone proposent des gestuelles variées, iOS a moins développé les interactions tactiles.
• La taille des éléments des interfaces des 3 OS est satisfaisante pour une utilisation tactile confortable.
• Le guidage est globalement faible sur les 3 OS mobiles.
• iOS propose les meilleurs formulaires alors qu’ils sont fastidieux à remplir sur Windows Phone et source d’erreurs.
• Les utilisateurs sont parfois perdus sur Android car il y a trop d’informations affichées à l’écran.
• Tous OS confondus, les néophytes ont des difficultés à trouver les paramètres du téléphone : sonnerie, luminosité, wifi…
• Android permet d’accéder plus rapidement aux paramètres du téléphone.

Vous retrouverez le détail des résultats de notre étude dans la synthèse téléchargeable : recommandations de conception, protocole détaillé, statistiques des taux de réussites et temps de réalisation des tâches, analyse experte de l’expérience utilisateur des OS mobiles, témoignages (verbatims) des utilisateurs. Rendez-vous sur cette page pour télécharger la synthèse.