Les réseaux neuronaux artificiels sont déployés de manière intensive par les plateformes de médias sociaux comme Twitter et Facebook pour recommander des contenus correspondant aux préférences des utilisateurs. Ce processus est gourmand en énergie et génère d’importantes émissions de carbone. En fait, la totalité de l’approvisionnement énergétique mondial pourrait être utilisée pour former un seul réseau neuronal. C’est pourquoi les chercheurs à l’origine d’une nouvelle étude recommandent d’utiliser cette technologie là où elle est le plus bénéfique pour l’intérêt public.
Les réseaux neuronaux artificiels sont des systèmes informatiques inspirés du cerveau qui peuvent être entraînés pour résoudre des tâches complexes mieux que les humains.
Ces réseaux sont fréquemment utilisés dans les médias sociaux, la diffusion en continu, les jeux en ligne et les domaines où les utilisateurs reçoivent des messages, des films, des jeux amusants ou d’autres contenus correspondant à leurs préférences individuelles. Ailleurs, les réseaux neuronaux sont utilisés dans le domaine de la santé pour reconnaître les tumeurs sur les scanners, entre autres.
Bien que cette technologie soit incroyablement efficace, un chercheur danois à l’origine d’une nouvelle étude estime qu’elle ne doit pas être utilisée à mauvais escient. Les auteurs de l’étude ont démontré que toute l’énergie du monde pourrait être utilisée pour former un seul réseau neuronal sans jamais atteindre la perfection.
« Le problème est qu’une quantité infinie d’énergie peut être utilisée pour, par exemple, former ces réseaux neuronaux uniquement pour cibler des publicités sur nous. Le réseau ne cesserait jamais de s’entraîner et de s’améliorer. C’est comme un trou noir qui avale toute l’énergie que vous lui donnez, ce qui n’est en aucun cas durable », explique Mikkel Abrahamsen, professeur adjoint au département d’informatique de l’université de Copenhague.
Par conséquent, cette technologie doit être déployée à bon escient et faire l’objet d’une réflexion approfondie avant chaque utilisation, car des solutions plus simples et plus efficaces sur le plan énergétique peuvent suffire. Mikkel Abrahamsen précise :
« Il est important que nous nous demandions où utiliser les réseaux neuronaux, afin de fournir la plus grande valeur pour nous, les humains. Certains considéreront que les réseaux neuronaux sont mieux adaptés à la numérisation d’images médicales de tumeurs qu’au ciblage de publicités et de produits sur nos médias sociaux et nos plateformes de diffusion en continu. Dans certains cas, on pourrait se contenter de techniques moins gourmandes en ressources, comme les tâches de régression ou les forêts de décision aléatoires. »
Une étude théorique :
Avec des chercheurs d’Allemagne et des Pays-Bas, Mikkel Abrahamsen fournit une explication théorique au fait que les réseaux neuronaux utilisés par les médias sociaux, entre autres, consomment d’énormes quantités d’énergie parce qu’ils ne peuvent jamais être entraînés à la perfection.
Les chercheurs ont prouvé que l’entraînement des réseaux neuronaux appartient à une classe de complexité plus lourde qu’on ne le pensait. Les réseaux neuronaux devraient être déplacés vers la classe de complexité de la théorie existentielle des réels (∃ℝ) au lieu de la classe plus légère, connue sous le nom de NP.
La nouvelle classe ∃ℝ contient des problèmes similaires à la résolution d’un grand nombre d’équations quadratiques avec plusieurs inconnues simultanées, ce qui est impossible en pratique.
L’étude a été publiée lors de la conférence NeurIPS en décembre dernier.
Notre utilisation actuelle des réseaux neuronaux n’est pas durable, affirme le chercheur de l’UCPH à l’origine de la nouvelle étude.
Une formation sans fin
Les réseaux neuronaux sont formés en leur fournissant des données. Il peut s’agir d’images scannées de tumeurs, grâce auxquelles un réseau neuronal apprend à repérer le cancer chez un patient.
En principe, cette formation peut se poursuivre indéfiniment. Dans leur nouvelle étude, les chercheurs démontrent qu’il s’agit d’un puits sans fond, car le processus devient comme la résolution d’équations très avancées avec de nombreuses inconnues.
« Les meilleurs algorithmes actuels ne peuvent gérer que jusqu’à huit inconnues, alors que les réseaux neuronaux peuvent être configurés pour prendre en compte plusieurs milliards de paramètres. Par conséquent, il est possible qu’une solution optimale ne soit jamais trouvée lors de l’entraînement d’un réseau, même si toute l’énergie du monde devait être utilisée », explique Mikkel Abrahamsen.
Les réseaux neuronaux utilisent de plus en plus mal l’énergie qui leur est fournie.
« Les choses deviennent de plus en plus lentes à mesure que nous formons les réseaux neuronaux. Par exemple, ils peuvent atteindre une précision de 80 % au bout d’une journée, mais il faut un mois entier de plus pour atteindre 85 %. Ainsi, on obtient de moins en moins de l’énergie utilisée pour la formation, sans jamais atteindre la perfection », explique-t-il.
Beaucoup de gens ne réalisent pas que les réseaux peuvent être formés indéfiniment, c’est pourquoi Mikkel Abrahamsen pense que nous devons nous concentrer sur leur grand appétit énergétique.
« Nous n’apprécions pas notre contribution à cette énorme consommation d’énergie lorsque nous nous connectons à Facebook ou Twitter, si on la compare, par exemple, à notre conscience des impacts des vols intercontinentaux ou des achats de vêtements. Nous devrions donc ouvrir les yeux sur la mesure dans laquelle cette technologie pollue et affecte notre climat », conclut Mikkel Abrahamsen.
https://arxiv.org/pdf/2102.09798.pdf
