Les algorithmes de vision par ordinateur ne sont pas parfaits. Juste ce mois-ci, les chercheurs ont démontré qu’une API de détection d’objets populaire pouvait être trompée en voyant les chats comme du « tissu » et des « cellophanes ». Malheureusement, ce n’est pas le pire: ils peuvent également être forcés à compter les carrés dans des images , et effectuer des tâches autres que celles auxquelles elles étaient destinées. Dans un article publié sur le serveur de pré-impression Arxiv.org intitulé «Adversarial Reprogramming of Neural Networks » ou « Reprogrammation Adventive des Réseaux Neuronaux», les chercheurs de Google Brain, la division de recherche sur l’IA de Google, décrivent une méthode accusatoire qui reprogramme les systèmes d’apprentissage automatique. La nouvelle forme d’apprentissage de transfert ne nécessite même pas un attaquant pour déclencher le phénomène.
« Nos résultats démontrent pour la première fois la possibilité de … attaques accusatoires qui visent à reprogrammer les réseaux de neurones … » ont écrit les chercheurs. « Ces résultats démontrent une flexibilité surprenante et une vulnérabilité surprenante dans les réseaux neuronaux profonds. »
Voici comment cela fonctionne: Une personne malveillante accède aux paramètres d’un réseau de neurones adversarial qui effectue une tâche et introduit ensuite des perturbations, ou des données contradictoires, sous la forme de transformations pour entrer des images. Au fur et à mesure que les intrants adversariaux sont introduits dans le réseau, ils réutilisent les fonctions acquises pour une nouvelle tâche.
Les scientifiques ont testé la méthode sur six modèles. En intégrant des images d’entrée manipulées à partir du jeu de données de visionnage MNIST (cadres noirs et carrés blancs allant de 1 à 10), ils ont réussi à obtenir les six algorithmes pour compter le nombre de carrés dans une image plutôt que d’identifier des objets comme un « requin blanc » et une « autruche. » Lors d’une deuxième expérience, ils les ont forcés à classer les chiffres. Et dans un troisième et dernier test, ils ont eu les modèles identifiant les images de CIFAR-10, une base de données de reconnaissance d’objets, au lieu du corpus ImageNet sur lequel ils ont été formés à l’origine.
De pirates pourraient utiliser l’attaque pour voler des ressources informatiques, par exemple en reprogrammant un classificateur de vision par ordinateur dans un service photo hébergé sur un Cloud pour récupérer des captures d’images ou de la crypto-monnaie. Et bien que les auteurs du document n’aient pas testé la méthode sur un réseau neuronal récurrent, un type de réseau couramment utilisé en reconnaissance vocale, ils supposent qu’une attaque réussie pourrait induire de tels algorithmes afin d’effectuer «un très large éventail de tâches».
« Les programmes adventives pourraient également être utilisés comme une nouvelle façon de réaliser des piratages informatiques plus traditionnels », ont écrit les chercheurs. « Par exemple, à mesure que les téléphones agissent de plus en plus comme des assistants numériques pilotés par l’IA, la vraisemblance de reprogrammer le téléphone de quelqu’un en l’exposant à une image contradictoire ou à un fichier audio augmente. Comme ces assistants numériques ont accès aux courriels, aux calendriers, aux comptes de médias sociaux et aux cartes de crédit d’un utilisateur, les conséquences de ce type d’attaque augmentent également. »
Ce ne sont pas toutes de mauvaises nouvelles, heureusement. Les chercheurs ont noté que les réseaux neuronaux aléatoires semblent être moins sensibles à l’attaque que d’autres, et que les attaques adventives pourraient permettre des systèmes d’apprentissage automatique plus faciles à réutiliser, plus flexibles et plus efficaces.
Même ainsi, ils ont écrit, « l’enquête future devrait aborder les propriétés et les limites de la programmation adventives et les moyens possibles de se défendre contre elle. »
https://arxiv.org/pdf/1806.11146.pdf
https://ai.google/research/teams/brain
