Les travaux de la McKelvey School of Engineering pourraient contribuer à la révolution de l’informatique analogique.
Les chercheurs du laboratoire de Xuan « Silvia » Zhang à la McKelvey School of Engineering ont conçu un nouveau type de circuit, qui apporte la flexibilité des réseaux neuronaux à une technologie émergente : l’informatique PIM (Processing in Memory). Le circuit a le potentiel d’augmenter les performances de l’informatique PIM de plusieurs ordres de grandeur au-delà de ses capacités théoriques actuelles.
L’avenir de l’informatique pourrait être analogique.
La conception numérique de nos ordinateurs de tous les jours est bonne pour lire les courriels et jouer, mais les ordinateurs d’aujourd’hui, qui doivent résoudre des problèmes, travaillent avec de grandes quantités de données. La capacité de stocker et de traiter ces informations peut entraîner des goulets d’étranglement au niveau des performances en raison de la façon dont les ordinateurs sont construits.
La prochaine révolution informatique pourrait être un nouveau type de matériel, appelé traitement en mémoire (PIM : Processing in Memory), un nouveau paradigme informatique qui fusionne la mémoire et l’unité de traitement et effectue ses calculs en utilisant les propriétés physiques de la machine – pas de 1 ou de 0 nécessaires pour effectuer le traitement numérique.
À l’université Washington de Saint-Louis, des chercheurs du laboratoire de Xuan « Silvia » Zhang, professeur associé au Preston M. Green Department of Electrical & Systems Engineering de la McKelvey School of Engineering, ont conçu un nouveau circuit PIM, qui met la flexibilité des réseaux neuronaux au service du calcul PIM. Ce circuit a le potentiel d’augmenter les performances de l’informatique PIM de plusieurs ordres de grandeur au-delà de ses capacités théoriques actuelles.
Leur recherche a été publiée en ligne le 27 octobre dans la revue IEEE Transactions on Computers. Ces travaux ont été réalisés en collaboration avec Li Jiang, de l’université Jiao Tong de Shanghai, en Chine.
Les ordinateurs traditionnels sont construits selon une architecture Von Neuman. Une partie de cette architecture sépare la mémoire – où les données sont stockées – et le processeur – où le calcul proprement dit est effectué.
« Les défis informatiques d’aujourd’hui sont axés sur les données », a déclaré Xuan Zhang. « Nous devons traiter des tonnes de données, ce qui crée un goulot d’étranglement au niveau de l’interface entre le processeur et la mémoire. »
Les ordinateurs PIM visent à contourner ce problème en fusionnant la mémoire et le traitement en une seule unité.
L’informatique, en particulier l’informatique pour les algorithmes actuels d’apprentissage automatique, est essentiellement une série complexe – extrêmement complexe – d’additions et de multiplications. Dans une unité centrale de traitement (UC) numérique traditionnelle, ces opérations sont effectuées à l’aide de transistors, qui sont essentiellement des portes commandées par une tension permettant au courant de circuler ou non. Ces deux états représentent respectivement 1 et 0. Grâce à ce code numérique – le code binaire – une unité centrale peut effectuer toutes les opérations arithmétiques nécessaires au fonctionnement d’un ordinateur.
Le type de PIM sur lequel travaille le laboratoire de Xuan Zhang est appelé PIM à mémoire vive résistive, ou RRAM-PIM. Alors que dans une unité centrale, les bits sont stockés dans un condensateur dans une cellule de mémoire, les ordinateurs RRAM-PIM reposent sur des résistances, d’où leur nom. Ces résistances constituent à la fois la mémoire et le processeur.
Le plus ? « Dans la mémoire résistive, vous n’avez pas besoin de traduire en numérique, ou en binaire. Vous pouvez rester dans le domaine analogique ». C’est la clé qui rend les ordinateurs RRAM-PIM tellement plus efficaces.
« Si vous avez besoin d’ajouter, vous connectez deux courants », a déclaré Xuan Zhang. « Si vous avez besoin de multiplier, vous pouvez modifier la valeur de la résistance ».
Mais à un moment donné, l’information doit être traduite dans un format numérique pour s’interfacer avec les technologies que nous connaissons. C’est là que la RRAM-PIM a rencontré son goulot d’étranglement : convertir les informations analogiques en format numérique. C’est alors que Xuan Zhang et Weidong Cao, chercheur postdoctoral associé au laboratoire de Zhang, ont introduit les approximateurs neuronaux.
« Un approximateur neuronal est construit à partir d’un réseau neuronal capable d’approximer des fonctions arbitraires », explique Xuan Zhang. Pour n’importe quelle fonction, l’approximateur neuronal peut exécuter la même fonction, mais en améliorant son efficacité.
Dans ce cas, l’équipe a conçu des circuits d’approximation neuronale qui pourraient aider à éliminer le goulot d’étranglement.
Dans l’architecture RRAM-PIM, une fois que les résistances d’un réseau de barres croisées ont effectué leurs calculs, les réponses sont traduites dans un format numérique. En pratique, cela signifie qu’il faut additionner les résultats de chaque colonne de résistances d’un circuit. Chaque colonne produit un résultat partiel.
Chacun de ces résultats partiels doit ensuite être converti en informations numériques dans ce qu’on appelle une conversion analogique-numérique, ou CAN. Cette conversion est gourmande en énergie.
L’approximateur neuronal rend le processus plus efficace.
Au lieu d’additionner chaque colonne une par une, le circuit de l’approximateur neuronal peut effectuer plusieurs calculs – en bas des colonnes, entre les colonnes ou de la manière la plus efficace. Cela permet de réduire le nombre de CDA et d’augmenter l’efficacité du calcul.
Selon Weidong Cao, la partie la plus importante de ce travail consistait à déterminer dans quelle mesure ils pouvaient réduire le nombre de conversions numériques se produisant le long du bord extérieur du circuit. Ils ont constaté que les circuits d’approximation neuronale augmentaient l’efficacité autant que possible.
« Quel que soit le nombre de sommes partielles analogiques générées par les colonnes du réseau crossbar RRAM – 18 ou 64 ou 128 – nous n’avons besoin que d’une seule conversion analogique-numérique », précise Weidong Cao. « Nous avons utilisé la mise en œuvre matérielle pour atteindre la limite inférieure théorique ».
Les ingénieurs travaillent déjà sur des prototypes à grande échelle d’ordinateurs MIP, mais ils ont été confrontés à plusieurs défis, précise Xuan Zhang. L’utilisation des approximateurs neuronaux de Zhang et Cao pourrait éliminer l’un de ces défis – le goulot d’étranglement, prouvant que ce nouveau paradigme informatique a le potentiel d’être beaucoup plus puissant que ce que le cadre actuel suggère. Pas seulement une ou deux fois plus puissant, mais 10 ou 100 fois plus.
« Notre technologie nous permet de nous rapprocher de ce type d’ordinateur », conclu Xuan Zhang
https://source.wustl.edu/2021/12/pim-computing-neural-network/
https://ieeexplore.ieee.org/document/9591330
