Suivant la tendance des géants de la technologie à fabriquer leurs propres processeurs, l’entreprise va commencer à intégrer du silicium sur mesure dans son matériel mobile.
Que faites-vous lorsque les progrès des logiciels dépassent ceux du matériel ? Vous commencez tout simplement à construire le matériel vous-même. Google a déclaré lundi que ses prochains téléphones phares – le Pixel 6 et le Pixel 6 Pro, tous deux attendus cet automne – seront alimentés par un processeur personnalisé dénommé Tensor. Conçu au cours des quatre dernières années avec des experts en apprentissage automatique et en intelligence artificielle, il est construit pour toute la magie basée sur Android dans les prochains téléphones Pixel.
Cette décision intervient à un moment où les géants de l’industrie technologique privilégient de plus en plus les conceptions personnalisées pour les processeurs qui alimentent leurs téléphones, ordinateurs portables et autres gadgets.
Selon Rick Osterloh, responsable du matériel chez Google, l’entreprise a atteint la limite de ce qu’elle peut construire avec les puces d’autres entreprises. « Le problème se résume toujours à la capacité du matériel », expliquet-t-il. « Êtes-vous en mesure d’effectuer le traitement nécessaire pour exécuter des modèles d’IA sophistiqués et avancés ? Il est indéniable que la technologie disponible sur le marché présente des contraintes différentes. Il y a plusieurs années, nous avons donc décidé que si nous voulions vraiment innover pour l’avenir, nous devions construire notre propre système. »
Quand Rick Osterloh dit « il y a plusieurs années », il fait référence à la première puce informatique que Google a révélée en 2016. Google appelle cette puce Tensor Processing Unit, ou TPU, un clin d’œil à la plateforme d’apprentissage automatique open source de l’entreprise, TensorFlow. Ces TPU sont des puces spécifiques à une application, conçues pour prendre en charge l’apprentissage automatique. Mais elles ont également été conçues pour les serveurs d’IA qui se trouvent dans les centres de données géants. Cette nouvelle puce Tensor sera directement à l’intérieur de l’appareil Pixel dans votre main ou votre poche – du moins, elle le sera dès l’arrivée des téléphones Pixel 6 en octobre.
« Nous savions que nous voulions emprunter l’équité de ce nom, et éventuellement exécuter TensorFlow de manière vraiment efficace sur les appareils mobiles », a déclaré Rick Osterloh. En construisant sa propre puce mobile personnalisée, Google ne se contente pas d’enrichir ses téléphones d’une intelligence artificielle à la Google ; il rejoint les rangs d’Apple et de Samsung, qui conçoivent tous deux du silicium personnalisé pour leurs appareils électroniques grand public haut de gamme. Il s’enfonce davantage dans le monde complexe de la chaîne d’approvisionnement des puces (tout en maintenant une relation avec le fabricant de puces Qualcomm pour ses téléphones Pixel bas de gamme, du moins pour le moment). Et elle le fait en plein milieu d’une pénurie mondiale de puces.
Chip ‘n’ Dip
Le module caméra à l’arrière du nouveau Pixel 6, prévu pour octobre.
Depuis quelques années, Google produit quelques-uns des meilleurs appareils photo pour smartphones, et ce grâce à de puissants modèles d’apprentissage automatique et d’IA – ce que l’on appelle la photographie computationnelle – au lieu d’intégrer un plus grand capteur photo dans le téléphone.
Ce sont des avantages logiciels comme ceux-ci qui sont censés permettre aux téléphones Pixel de se démarquer des autres téléphones Android, même si Google ne vend pas beaucoup de Pixel. Vous n’aurez peut-être pas le téléphone le plus rapide, mais un Pixel peut, par exemple, filtrer un appel entrant pour voir s’il s’agit d’un robocall (appel robotisé), identifier passivement la musique diffusée au café et retranscrire en direct des vidéos sur Instagram, même si vous n’êtes pas connecté.
Jusqu’à présent, les téléphones Pixel étaient alimentés par des processeurs Qualcomm, qui alimentent la plupart des téléphones (non-Apple) vendus aux États-Unis. Cette nouvelle puce Tensor est toujours basée sur la même architecture ARM que Qualcomm et d’autres processeurs mobiles, donc les clients n’ont pas à s’inquiéter de perdre la compatibilité avec les applications modernes ou quoi que ce soit de ce genre. Selon Rick Osterloh, les téléphones Pixel bas de gamme de Google, dont le nom est suivi d’un « A » (comme le prochain Pixel 5A), fonctionneront toujours avec des puces Qualcomm Snapdragon.
Mais en concevant sa propre puce, Google est en mesure de mieux optimiser son matériel et ses logiciels – exactement la raison pour laquelle Apple a développé ses propres processeurs au lieu de s’appuyer sur les puces Intel pour ses Mac. Cette puce est suffisamment puissante pour gérer des modèles d’IA et de ML intensifs sur le dispositif (sans avoir besoin de recourir à un serveur cloud distant). Rick Osterloh n’a pas révélé qui fabrique exactement Tensor, mais il a déclaré : « Nous l’avons conçu, nous en sommes propriétaires et nous le pilotons. C’est notre puce ».
La puce Tensor de Google sera intégrée aux téléphones Pixel haut de gamme. Les téléphones Pixel de série A, moins chers, utiliseront toujours des puces Qualcomm Snapdragon.
Qu’est-ce que cela signifie exactement pour la prochaine vague de Pixel ? Pour Rick Osterloh, pratiquement toutes les fonctionnalités actuelles des Pixel, qui sont alimentées par l’IA et l’apprentissage automatique, comme Night Sight ou le mode Portrait dans l’application appareil photo, seront améliorées tout en utilisant moins de ressources informatiques. Mais cela permettra également de réaliser des choses qui n’étaient pas possibles auparavant.
Son premier exemple est une photo prise par l’enfant d’un ingénieur de Google faisant signe à l’appareil photo en intérieur. Elle a été prise avec le Pixel 6 Pro, mais avec toutes les fonctions d’IA et de ML désactivées. L’éclairage n’est pas génial, l’enfant bouge et la personne qui tient l’appareil photo aussi, ce qui explique pourquoi le visage et le signe de la main de l’enfant sont flous. Rick Osterloh l’a ensuite comparée à une photo prise avec les modèles d’IA et de ML activés. Les traits du visage de l’enfant sont devenus plus clairs. « Ce que nous voulons faire, c’est donner à l’utilisateur l’intention qu’il a et capturer ce moment vraiment amusant », explique-t-il.
Pour obtenir ce résultat, le Pixel prend une photo du capteur principal avec une exposition normale, puis une autre de la caméra ultra-large avec une exposition rapide. Il combine les deux, ce qui lui permet d’obtenir la netteté de l’ultra-large mais des couleurs et un bruit précis du capteur principal. La puce Tensor corrige ensuite le mouvement – le geste de la main du sujet, ainsi que le tremblement de l’appareil induit par la main du photographe. Elle exécute également un modèle de détection des visages pour identifier et s’assurer que le visage du sujet est mis au point en priorité.
« Cela se fait à l’aide d’une série de modèles d’apprentissage automatique sophistiqués fonctionnant en parallèle et en temps réel, en fusionnant des images provenant de plusieurs capteurs à la fois », explique Rick Osterloh. « C’est ce que nous voulions faire avec Tensor, et c’est ce qui le rend possible ». L’appareil photo Pixel est suffisamment intelligent pour savoir qu’il n’a pas toujours besoin d’utiliser les deux capteurs pour chaque photo, seulement lorsqu’il est confronté à une situation difficile.
Un autre domaine d’amélioration est la qualité vidéo. Les téléphones Pixel ont été critiqués pour leurs performances vidéo médiocres par rapport à leurs prouesses en matière de photographie.
« Il est vraiment difficile d’exécuter un grand nombre des mêmes algorithmes et techniques d’apprentissage automatique sur la vidéo, car il y a beaucoup de traitement », souligne Rick Osterloh. « Nous étions vraiment limités et n’étions pas en mesure de faire une quelconque transformation dans le passé, mais avec le Pixel 6, nous le sommes. Avec Tensor, nous le sommes. »
Rick Osterloh montre une comparaison de vidéos prises par trois téléphones : l’iPhone 12 Pro Max, le Pixel 6 Pro et le Pixel 5. Le sujet est un champ près d’un lac pendant le coucher du soleil, une scène difficile qui mettra à l’épreuve les capacités HDR de n’importe quel téléphone. La vidéo du Pixel 5 présente un soleil trop lumineux, et l’herbe est trop verte, pas la teinte jaune doré plus réaliste que l’on attend d’un coucher de soleil.
Le clip de l’iPhone 12 Pro Max est plus proche de ce que vous verriez dans la vraie vie, mais il est délavé dans certaines zones, et la balance des blancs d’une tente voisine est décalée. Le métrage du Pixel 6 Pro offre des ombres plus vraies que nature tout en conservant les couleurs naturelles que vous vous attendez à voir dans une telle scène.
Il s’agissait d’un test contrôlé, il est donc difficile de dire exactement à quel point la qualité vidéo sera meilleure sur ces nouveaux Pixel. Par exemple, Rick Osterloh ne disposait d’aucun clip pour montrer la stabilisation vidéo du Pixel, dans laquelle les iPhones excellent. Pourtant, dans la brève démo, le Pixel 6 semblait capturer des vidéos plus nettes, avec des couleurs plus précises, que celles capturées sur le Pixel 5.
Des paroles intelligentes
En dehors de l’amélioration des performances de la caméra, la puce Tensor affecte toutes les autres parties du Pixel. Il y aura des améliorations en matière de sécurité, selon Google, avec une version mise à jour du coprocesseur de sécurité Titan M de la société fonctionnant aux côtés de la puce Tensor. (La société dit qu’elle prévoit de publier des livres blancs avec plus de détails liés à la sécurité à peu près au moment du lancement du Pixel).
Deux autres mises à jour liées à Tensor que Rick Osterloh a présentées sont liées à Live Transcribe, qui transcrit automatiquement des vidéos à la volée, ainsi qu’à la dictée vocale dans l’application clavier de Google, Gboard.
La transcription d’une vidéo en temps réel sur un appareil nécessite généralement une puissance de calcul intense. Avec Tensor, les téléphones Pixel 6 sont capables de transcrire et de traduire simultanément, comme en témoigne la vidéo d’un présentateur français dont le Pixel a converti les mots en anglais en bas de l’écran. (Je ne saurais dire si les traductions sont exactes.) Cela a également des répercussions sur l’autonomie de la batterie : Rick Osterloh dit que cela fonctionnait à environ 50 % de consommation d’énergie comme le Pixel 5.
Avec la dictée vocale de Gboard, Rick Osterloh a parlé au Pixel pour écrire et envoyer un message. La dictée était rapide, et si elle a initialement manqué un signe de ponctuation, elle l’a rajouté après que Rick Osterloh ait fini de parler parce qu’elle comprenait le contexte de l’ensemble du paragraphe. Vous pouvez également dire » Effacer » ou » Envoyer » pour effacer ou envoyer un message ; le logiciel comprendra votre ton et votre intention, il saura donc quand il s’agit de commandes et non de mots faisant partie d’une phrase.
Les Pixel 6 et Pixel 6 Pro
Les téléphones Google Pixel. Ces nouvelles couleurs seront disponibles sur le Pixel 6.
La grande révélation par Google de ses fonctionnalités logicielles alimentées par Tensor s’écarte des lancements typiques de smartphones : Habituellement, c’est le nouveau matériel brillant qui est montré en premier, suivi d’une plongée plus profonde dans les fonctions du téléphone. Dans ce cas, les spécifications matérielles du Pixel 6 ne sont pas encore révélées.
Lors des briefings, Rick Osterloh avait à la fois le Pixel 6 et le Pixel 6 Pro en main pour montrer toutes ces améliorations. Il était évident que les deux nouveaux téléphones partagent la même caméra ultra-large et le même capteur principal, qui peut recueillir 150 % de lumière en plus que le Pixel 5, permettant des images plus lumineuses et plus nettes en basse lumière. Le Pro est le plus grand téléphone, cependant, et il dispose d’un téléobjectif optique supplémentaire de 4x.
Cependant, le design externe du téléphone a été complètement revu. Au lieu d’être alignées à gauche, toutes les caméras se trouvent dans une barre horizontale épaisse qui s’étend sur tout le dos du téléphone. Il y a une gamme de couleurs à choisir, et la partie supérieure au-dessus de la barre de caméra a une couleur accentuée, imitant le design bicolore du Pixel original.
« Si nous allons transformer à ce point ce qui se trouve sous le capot, nous devrions vraiment transformer le design du produit aussi », assure Rick Osterloh. « Pixel a toujours été connu pour la photographie, et cela ne fait que rendre ce point très clair. »
En dehors de la caméra selfie montée au centre et d’un scanner d’empreintes digitales à l’écran, Google ne partage pas grand-chose d’autre sur le Pixel. Rick Osterloh dit que la société entrera dans plus de détails à l’automne, plus près du lancement officiel du Pixel 6. Il n’a pas non plus partagé les prix pour les nouveaux téléphones, ou pour le prochain Pixel 5A – qui devrait être moins cher qu’un modèle phare.
Vous ne prévoyez pas de mise à niveau, de toute façon ? Rick Osterloh dit que Google prévoit toujours d’apporter certaines nouvelles fonctionnalités aux anciens Pixel, comme il l’a fait au cours des dernières années, mais cela dépend toujours de si le matériel peut le gérer. Dans les nouvelles plus positives, il est probable que la ligne Pixel 6 verra un support logiciel plus long. Des concurrents comme Samsung fournissent quatre ans de mises à jour de sécurité et trois mises à niveau du système d’exploitation Android, mais Google est resté bloqué sur trois ans de support.
« Nous travaillons sur ce que seront nos chiffres définitifs là-bas et nous voyons certainement une possibilité de l’étendre, donc nous sommes excités à ce sujet », lance Rick Osterloh.
Performance des commandes
L’investissement de Google dans ses propres puces souligne l’engagement de l’entreprise dans le matériel grand public, même si Google ne revendique encore qu’un pourcentage à un chiffre du marché mondial des smartphones. Rick Osterloh a indiqué que la puce Tensor pourrait apparaître dans d’autres appareils grand public au fil du temps, ce qui l’aiderait à amortir le coût de son investissement dans les TPU.
« Construire votre propre puce ne peut durer que tant que vous pouvez évoluer, et cela nécessite beaucoup d’heures de travail pour maintenir cela dans un paysage concurrentiel », explique Anshel Sag, analyste principal chez Moor Insights & Strategy. « C’est pourquoi Apple a construit ses puces à travers l’iPhone, l’iPad et le Mac, et amortit ces puces à travers tant de modèles. »
Alors, comment Tensor se comparera-t-il aux puces Bionic d’Apple, que la société de Cupertino aime vanter comme des centrales de performance ? Rick Osterloh n’était pas prêt à partager des données de référence sur les nouvelles puces de Google. Sag dit qu’il pense qu’il serait difficile pour Google d’accomplir quelque chose dans les puces mobiles qui n’a pas déjà été fait. « Je ne vois pas Google surpasser l’équipe d’Apple dès le départ, car Apple a connu plusieurs générations de succès dans le domaine des puces », déclare Anshel Sag.
Un élément de l’activité smartphone de Google qui pourrait jouer en sa faveur, cependant, est le volume relativement faible des téléphones qu’il vend. La pression mondiale sur les semi-conducteurs devrait durer encore de nombreux mois et affecte tout, des livraisons de voitures aux gadgets en passant par les appareils ménagers. Si Google expédie ce système sur puce cette année, dit Sag, l’entreprise a probablement commandé des plaquettes il y a environ deux ans et a presque certainement négocié le nombre exact de téléphones qu’elle espère vendre. « Ce qui n’est pas beaucoup », conclut Anshel Sag.
« Pratiquement tout ce qui concerne les semi-conducteurs est soumis à des contraintes en ce moment », dit Rick Osterloh. « Pour cette puce particulière, nous avons beaucoup de contrôle sur elle, et nous ne pensons pas que la gamme Pixel 6 sera contrainte. C’est donc un point positif. Mais il y a tellement de semi-conducteurs dans le produit, comme dans tout produit électronique, que cela a définitivement été un problème difficile. Cela nous a affectés cette année, c’est certain. »
https://www.wired.com/story/google-tensor-pixel-6-pro/
