La photographie informatique peut capturer les positions et les gestes des mains en utilisant uniquement un capteur de lumière ambiante

Les chercheurs s’inquiètent de la confidentialité, mais leurs inquiétudes sont largement exagérées

Le point de vue de l’éditeur : Les chercheurs ont trouvé un moyen de prendre des photos avec les capteurs de lumière ambiante présents sur la plupart des appareils mobiles et des ordinateurs portables. L’étude a donné naissance à de nombreux titres alarmistes et clickbait. Bien que les résultats soient fascinants et prouvent un potentiel d’abus de la part de mauvais acteurs, sa viabilité en tant que vecteur d’attaque est sérieusement limitée par la technologie actuelle.

Des chercheurs du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT ont développé une méthode de capture d’images en utilisant uniquement le capteur de lumière ambiante présent sur la plupart des appareils mobiles et de nombreux ordinateurs portables. L’étude « Imaging Privacy Threats From an Ambient Light Sensor » suggère une menace potentielle pour la sécurité puisque, contrairement à la caméra selfie, il n’existe aucun paramètre permettant d’éteindre le composant. Les applications n’ont pas non plus besoin d’obtenir l’autorisation d’un utilisateur pour les utiliser.

« Les gens connaissent les caméras selfie sur les ordinateurs portables et les tablettes et utilisent parfois des bloqueurs physiques pour les masquer », explique Yang Liu, doctorant au CSAIL, co-auteur de l’article de recherche publié dans Science Advances en janvier. « Mais pour le capteur de lumière ambiante, les gens ne savent même pas qu’une application utilise ces données. Et ce capteur est toujours allumé. »

En règle générale, peu d’applications utilisent le capteur de lumière, car il ne fournit que des données sur la quantité de lumière qui l’atteint, ce qui limite son utilité. Sa fonction principale est de fournir des données de lumière ambiante au système d’exploitation pour le réglage automatique de la luminosité de l’écran, mais il dispose d’une API. Les développeurs peuvent donc y accéder et l’utiliser. Par exemple, l’application pourrait utiliser l’API pour activer un mode faible luminosité. Les applications d’appareil photo sur la plupart des appareils le font.

Capturer une image est beaucoup plus compliqué puisqu’il s’agit essentiellement d’un capteur à pixel unique sans objectif mesurant la luminance à environ cinq « images » par seconde. Pour surmonter ce handicap, les chercheurs ont sacrifié la résolution temporelle au profit de la résolution spatiale, ce qui leur a permis de reconstruire une seule image à partir de données minimales.

Le processus utilise un principe physique appelé réciprocité de Helmholtz. Ce concept stipule que les réflexions, réfractions et absorptions subies sur le trajet d’un rayon lumineux sont les mêmes si le rayon emprunte le même chemin en sens inverse. En termes simples, les algorithmes informatiques inversent les données du capteur (inversion) pour créer une image du point de vue de la source lumineuse (écran), par exemple une ombre au-dessus de l’écran.

Les chercheurs l’ont démontré en utilisant une nouvelle tablette Samsung Galaxy View2 non modifiée, dotée d’un écran de 17 pouces. Ils ont placé la tablette devant une tête de mannequin et ont utilisé des découpes de carton et de vraies mains humaines pour simuler des gestes.

L’éclairage doit être spécifique pour que l’astuce fonctionne de manière fiable. N’oubliez pas que les algorithmes utilisent le traçage du chemin inverse du capteur à la source de lumière, qui est l’écran. Les chercheurs ont donc dû éclairer des parties spécifiques de l’écran pour obtenir une image lisible. Étant donné que cela créerait un comportement très inhabituel qu’un utilisateur pourrait trouver suspect, ils ont également reproduit le processus en utilisant un dessin animé modifié de Tom et Jerry pour obtenir les modèles d’éclairage appropriés.

Cette double méthode de photographie a créé des images basse résolution (32 x 32) suffisamment claires pour montrer des gestes tels que le défilement à deux doigts ou le pincement à trois doigts. En raison de la résolution minimale, la technique ne fonctionne qu’avec des écrans plus grands comme les tablettes et les ordinateurs portables. Les écrans des téléphones portables sont beaucoup trop petits.

Son plus gros inconvénient est sa rapidité. Le capteur ne peut enregistrer qu’un pixel à la fois, il faut donc 1 024 passes (moins de cinq par seconde) pour créer une image 32 x 32. En pratique, cela signifie qu’il faut 3,3 minutes pour générer une image utilisant un motif statique en noir et blanc. L’utilisation de la méthode vidéo modifiée prend 68 minutes.

Heureusement pour les consommateurs, ce niveau de lenteur est trop « encombrant » pour constituer un vecteur d’attaque attractif pour les hackers. Attendre trois minutes à une heure pour traiter une image est beaucoup trop inefficace pour que la méthode soit utile à autre chose qu’une preuve de concept. Les attaquants auraient besoin d’un capteur exponentiellement plus rapide pour que cette méthode soit suffisamment viable et puisse obtenir des informations utiles.

« Le temps d’acquisition en quelques minutes est trop fastidieux pour lancer des attaques simples et générales contre la vie privée à grande échelle », a déclaré à IEEE Spectrum le chercheur et consultant indépendant en sécurité Lukasz Olejnik. « Cependant, je n’exclus pas l’importance des collectes ciblées pour des opérations sur mesure contre des cibles choisies. »

Même sans un moyen de capturer plusieurs positions de mains en succession courte, il serait impossible d’obtenir quoi que ce soit d’utile, comme un code PIN ou un mot de passe.