Tout savoir sur : Huawei et Honor fausseraient les résultats des benchmarks du Kirin 970
Tester un smartphone devient de plus en plus complexe à mesure que les années passent. Car le smartphone sait tout faire. Il se compare de plus en plus à un ordinateur, une télévision, une console de jeu et à un appareil photo. Et chaque élément technique est un critère de comparaison face à une concurrence de plus en plus dure. Et chaque bribe de technologie devient rapidement un argument marketing pour se démarquer.
Critères techniques ou marketing ?
Quels sont les principaux critères : la qualité des photos (au-delà de la simple définition du capteur), la qualité de l’écran (au-delà de la définition et de la résolution, incluant aussi le temps réponse de la surface tactile), le design et l’ergonomie (sans oublier les matériaux), la puissance de la plate-forme (qui va au-delà de la cadence des processeurs), l’efficience énergétique (et non pas uniquement la capacité de la batterie), la qualité de la connectivité, etc.
Honor Play
Quand le marketing intervient dans le discours technique, tout devient plus « fumeux ». Prenons un exemple concret avec la qualité des capteurs photo. L’Access 57 d’Archos, officialisé il y a quelques jours, dispose d’un capteur principal capable de réaliser des photos jusqu’à 8 mégapixels et d’une webcam qui prend des clichés jusqu’à 2 mégapixels. Sur la fiche technique officielle (sur le site de la marque), il est écrit que c’est de l’extrapolation. Cela veut dire que la définition réelle est inférieure, mais qu’un algorithme « ajoute » des pixels supplémentaires pour augmenter artificiellement la définition de la photo. Cela ne veut pas dire que les photos ne sont pas bonnes. Mais cela trompe un peu le consommateur qui souhaite comparer.
Faire le beau sur les benchmarks
Autre exemple : les constructeurs chinois, pour se mesurer les uns avec les autres (mais surtout avec Apple et Samsung), présentent leurs mobiles en mettant en avant un score obtenu sur un benchmark (souvent AnTuTu). Le problème, c’est que ce score n’est pas forcément vrai. Car certains constructeurs incluent des routines dans leurs ROM Android pour changer le comportement d’une plate-forme en fonction de l’activation ou non d’un benchmark. Nous en avons déjà parlé dans nos colonnes. La dernière fois, c’était en 2017, avec OnePlus et Meizu.
Le premier offre aux applications gourmandes un gain de puissance qui n’est pas forcément accessible habituellement. Ce gain n’est pas exclusif aux benchmarks, mais accessible aux jeux également. Ce qui est une bonne chose dans l’absolu. Le second pratiquait un changement exclusif sur les benchmarks. Un changement qui n’était pas annoncé précédemment et qui le serait depuis que l’histoire s’est ébruitée.
Tous des tricheurs ?
Le site Anandtech a relevé un autre exemple cette semaine en publiant un long dossier (très long, mais très instructif) sur Huawei et Honor. Les testeurs du site ont pris en main de nombreuses plates-formes sous Kirin, la dernière étant le Honor Play, censé être la proposition de Honor pour les « gamers ». Les chiffres montrent que le mobile adopte un comportement différent. Les chiffres, que vous pouvez voir en vous rendant sur le lien ci-dessus, parlent d’eux-mêmes.
Les rédacteurs ont eu l’opportunité d'échanger sur ce point, avant la publication de ce dossier, avec le directeur logiciel de Huawei, Wang Chenglu, à l’occasion de l’IFA. Celui-ci ne nie pas vraiment la pratique. Il explique que la grande majorité des constructeurs chinois font de même et qu’ils basent leurs messages marketing sur des chiffres faussés. Pour le consommateur, qui fait la comparaison, être en dessous d’un autre n’est pas vendeur. Donc ils sont obligés de faire de même.
Comment se faire un avis solide ?
Au-delà du besoin évident d’une standardisation dans les tests de smartphones (standardisation qui n’est qu’une chimère, pour différentes raisons techniques et économiques), Anandtech soulève deux problèmes. Le premier est éthique. Peut-on continuer de croire que le Honor Play (puisque c’est lui qui est testé) est un smartphone puissant et donc capable de se mesurer au Black Shark de Xiaomi ou au ROG Phone d’Asus si la marque est obligé de biaiser ses résultats ?
Le second problème est technique : le Honor Play obtient des scores deux fois plus élevés sur certains tests que dans son fonctionnement normal, mais consomme plus de deux fois l’énergie qu’il consomme habituellement. Soit une efficacité énergétique qui baisse (sans que l’usager soit vraiment au courant). Or, GPU Turbo, la technologie logicielle qui booste les performances du Kirin 970, est basée sur le même comportement. Ce qui veut dire que le gain offert n’est pas aussi intéressant qu’il pourrait paraître. Une remarque qui peut être étendue à tous les terminaux sous Kirin 970. Et qui pourrait entacher ceux sous Kirin 980…
