Un petit autocollant de 5 cm a trompé les caméras de la Tesla et a fait accélérer la voiture rapidement et par erreur.
Ne croyez pas les yeux menteurs de votre voiture. Les pirates ont manipulé plusieurs voitures Tesla pour les faire accélérer à 80 km/h. Les chercheurs ont trompé le système de caméra Mobileye EyeQ3 de la voiture en modifiant subtilement un panneau de limitation de vitesse sur le bord de la route de manière à ce qu’une personne passant devant ne le remarque presque jamais.
Cette démonstration de la société de cybersécurité McAfee est la dernière indication que l’apprentissage machine accusatoire peut potentiellement détruire les systèmes de conduite autonomes, ce qui représente un défi de sécurité pour ceux qui espèrent commercialiser cette technologie.
Les systèmes de caméra Mobileye EyeQ3 lisent les panneaux de limitation de vitesse et transmettent ces informations aux dispositifs de conduite autonome comme le régulateur de vitesse automatique Tesla, ont déclaré Steve Povolny et Shivangee Trivedi de l’équipe de recherche avancée sur les menaces de McAfee.
Les chercheurs ont collé un autocollant minuscule et presque imperceptible sur un panneau de limitation de vitesse. La caméra a lu le panneau comme étant 85 au lieu de 35, et lors des tests, la Tesla modèle X de 2016 et le modèle S de cette année-là ont tous deux atteint une vitesse de 80 km/h.
Le panneau de limitation de vitesse modifié indique 85 sur l’affichage tête haute de la Tesla. Un porte-parole de Mobileye a minimisé l’importance de la recherche en suggérant que ce panneau tromperait un humain en lui faisant lire 85 également.
Le Tesla, qui lit le 50 modifié comme 85, est amené à accélérer.
C’est le dernier d’une montagne croissante de recherches montrant comment les systèmes d’apprentissage machine peuvent être attaqués et trompés dans des situations de danger de mort.
Au cours d’un processus de recherche de 18 mois, Shivangee Trivedi et Steve Povolny ont reproduit et développé une série d’attaques antagonistes contre les systèmes d’apprentissage machine, notamment une étude du professeur Dawn Song de l’université de Berkeley qui a utilisé des autocollants pour faire croire à une voiture qui roule seule qu’un panneau d’arrêt était un panneau de limitation de vitesse à 72 km/h. L’année dernière, des pirates informatiques ont piégé une Tesla pour l’amener à se mettre sur la mauvaise voie en plaçant des autocollants sur la route dans le cadre d’une attaque contradictoire destinée à manipuler les algorithmes d’apprentissage de la voiture.
« La raison pour laquelle nous étudions cela à l’avance est que vous avez des systèmes intelligents qui, à un moment donné dans l’avenir, vont effectuer des tâches qui sont maintenant effectuées par des humains », a déclaré M. Povolny. « Si nous ne sommes pas très prévoyants quant aux attaques et très attentifs à la façon dont les systèmes sont conçus, vous avez alors une flotte d’ordinateurs interconnectés qui sont l’une des surfaces d’attaque les plus efficaces et les plus attrayantes.
Avec la prolifération des systèmes autonomes, la question s’étend aux algorithmes d’apprentissage des machines, bien au-delà des véhicules : Une étude de mars 2019 a montré que les systèmes médicaux d’apprentissage automatique ont été dupés pour donner de mauvais diagnostics.
La recherche de McAfee a été révélée à Tesla et Mobileye EyeQ3 l’année dernière. Tesla n’a pas répondu à une demande de commentaires du MIT Technology Review mais a reconnu les conclusions de McAfee et a déclaré que les problèmes ne seraient pas résolus dans cette génération de matériel. Un porte-parole de Mobileye a minimisé l’importance de la recherche en suggérant que le signe modifié tromperait même un humain en lui faisant lire 85 au lieu de 35. La société ne considère pas que tromper la caméra soit une attaque, et malgré le rôle que joue la caméra dans le régulateur de vitesse de Tesla, elle n’a pas été conçue pour la conduite autonome.
« La technologie des véhicules autonomes ne reposera pas uniquement sur la détection, mais sera également soutenue par diverses autres technologies et données, telles que la cartographie des foules, afin de garantir la fiabilité des informations reçues des capteurs de la caméra et d’offrir des redondances et une sécurité plus solides », a déclaré le porte-parole de Mobileye dans un communiqué.
Depuis, Tesla est passé à des caméras propriétaires sur des modèles plus récents, et Mobileye EyeQ3 a sorti plusieurs nouvelles versions de ses caméras qui, lors des tests préliminaires, n’étaient pas susceptibles de subir cette attaque exacte.
Il y a encore un nombre important de voitures Tesla qui fonctionnent avec le matériel vulnérable, a déclaré M. Povolny. Il a souligné que les Tesla avec la première version du matériel ne peuvent pas être mises à niveau vers un matériel plus récent.
« Ce que nous essayons de faire, c’est de sensibiliser les consommateurs et les vendeurs aux types de défauts qui sont possibles », a déclaré M. Povolny. « Nous n’essayons pas de répandre la peur et de dire que si vous conduisez cette voiture, elle va accélérer pour franchir une barrière, ou de la sensationnaliser ».
https://science.sciencemag.org/content/363/6433/1287
