Les propriétaires de Sports Illustrated et de Men’s Journal aux Etats-Unis avaient promis d’être vertueux avec l’IA. Puis ils ont bâclé leur tout premier article sur l’IA – et ont publié d’énormes corrections lorsqu’elles ont été découvertes.

Lorsque l’éditeur de Sports Illustrated et de Men’s Journal a annoncé la semaine dernière que ses magazines allaient commencer à publier des articles générés par l’IA, son PDG a assuré à ses lecteurs que cette pratique n’entraînerait pas une baisse de qualité.

« Il ne s’agit pas de ‘produire du contenu AI et d’en faire le plus possible' », a déclaré Ross Levinsohn, PDG d’Arena Group, au Wall Street Journal. « Google vous pénalisera pour cela et plus n’est pas mieux ; mieux est mieux ».

Les enjeux étaient élevés, et non seulement parce que la petite poignée de publications qui ont déjà essayé de remplacer les rédacteurs humains par des systèmes d’IA, comme CNET, ont essuyé de violentes réactions suite aux erreurs et au plagiat découverts dans le travail de l’IA. Sur un point essentiel, l’incursion d’Arena Group était encore plus périlleuse : l’entreprise utilisait l’IA pour fournir à ses lecteurs des conseils sur des sujets particulièrement importants comme la santé et la médecine.

Prenez le tout premier article publié par le robot dans Men’s Journal, qui porte le titre « What All Men Should Know About Low Testosterone » et la signature à consonance humaine « Men’s Fitness Editors ». L’article présente une multitude d’affirmations médicales, de conseils en matière de nutrition et de mode de vie, et suggère même un traitement médical spécifique sous la forme d’une thérapie de remplacement de la testostérone, le tout à l’intention des lecteurs à la recherche de conseils sur un problème de santé grave.

Comme la plupart des contenus générés par l’IA, l’article était rédigé avec l’autorité assurée d’un véritable expert. Il comportait des citations d’apparence académique et une mention en haut de page apportait une crédibilité supplémentaire en assurant aux lecteurs qu’il avait été « revu et vérifié par notre équipe éditoriale ».

Mais en y regardant de plus près, tout s’est écroulé. Bradley Anawalt, chef du service de médecine du centre médical de l’université de Washington, qui a occupé des postes de direction au sein de l’Endocrine Society, a examiné l’article et a déclaré qu’il contenait des erreurs factuelles persistantes et des descriptions erronées de la science médicale qui donnent aux lecteurs une compréhension profondément déformée des questions de santé.

« Cet article contient de nombreuses inexactitudes et faussetés », a-t-il précisé. « Il manque de nombreuses nuances qui sont cruciales pour comprendre la santé masculine normale ».

Bradley Anawalt a relevé 18 erreurs spécifiques dans l’article. Certaines se trompent de manière flagrante sur des sujets médicaux de base, comme le fait d’assimiler un faible taux de testostérone dans le sang à l’hypogonadisme, un terme médical plus large. D’autres prétendaient qu’il existait des liens radicaux entre l’alimentation, le taux de testostérone et les symptômes psychologiques, ce qui, selon Mr Anawalt, n’est pas étayé par des données.

« Il y a juste assez de proximité avec les preuves scientifiques et la littérature pour avoir un accent de vérité », souligne Bradley Anawalt, « mais il y a beaucoup de notes fausses et trompeuses. »

Dans l’ensemble, l’examen minutieux d’un expert humain fait en sorte que l’incursion d’Arena dans le contenu généré par l’IA ressemble moins au nouvel ensemble d’outils puissants que le PDG d’Arena, Ross Levinsohn, a décrit dans le Wall Street Journal, qu’à une saisie cynique d’argent visant à produire un contenu bon marché conçu pour capter les lecteurs sur Google, même si cela implique de leur fournir des informations médicales abjectement fausses.

Il convient de noter que le Men’s Journal a déjà été mis à mal. Début 2020, il a été rapporté que le propriétaire du magazine de l’époque avait licencié l’ensemble de sa rédaction. Arena Group ne l’a racheté qu’il y a quelques mois, en décembre 2022, et sa page de personnel ne recense actuellement que cinq employés, dont deux à temps partiel.

En d’autres termes, l’IA semble donner aux dirigeants des médias un nouvel instrument pour accélérer le nivellement par le bas de l’industrie du journalisme, déjà ravagée, car des opérateurs comme Arena l’utilisent pour injecter rapidement du contenu de qualité inférieure dans les publications autrefois appréciées, sans se soucier de la qualité.

Lorsque Arena a été contact tout comme plusieurs représentants du Men’s Journal à ce sujet, une cascade de changements a commencé à apparaître dans l’article sur la testostérone généré par l’IA, corrigeant diverses erreurs signalées par Bradley Anawalt jusqu’à ce que l’article soit presque méconnaissable.

Un nouveau message est également apparu au bas de l’article, faisant référence à plusieurs des critiques de Bradley Anawalt : « La version originale de cet article décrivait la thérapie de remplacement de la testostérone comme utilisant des « hormones synthétiques » et affirmait qu’une mauvaise alimentation était l’une des causes les plus courantes d’un faible T, ce qui est inexact. »

Mais de nombreux changements supplémentaires ont été apportés à l’article qui n’étaient pas mentionnés dans cette note, comme la suppression d’une affirmation sur les risques pour la santé du lait que Bradley Anawalt avait signalée. Et beaucoup d’autres de ses critiques n’ont pas été prises en compte.

Après la réécriture complète de l’article sur la testostérone, un porte-parole d’Arena a envoyé une brève déclaration.

« Comme de nombreuses entreprises de médias, nous explorons divers logiciels d’IA qui peuvent s’ajouter au flux de travail de nos équipes éditoriales », peut-on lire. « Un premier pilote rassemblant du contenu d’archives déjà publié a démontré le potentiel de l’IA couplée à des rédacteurs et des écrivains. Ces premières expériences sont en cours de réalisation. Sur la base de ces apprentissages et d’un suivi continu, nous continuerons à affiner notre utilisation de ces outils dans le cadre de notre flux de travail, qui a été et sera toujours ancré dans la supervision éditoriale. »

À la question de savoir si Arena pensait qu’il était responsable de publier des conseils de santé qui doivent être presque entièrement réécrits, si elle était confiante dans l’exactitude du reste des articles du bot, et si elle avait l’intention de continuer à publier le contenu de l’IA, le porte-parole a envoyé une réponse laconique et difficile à interpréter.

« Confiant, oui, mais pas de plans immédiats », ont-ils écrit, précisant que la société était « confiante dans les articles » et « continuait à surveiller la façon dont nous améliorons nos éditeurs pour atteindre les consommateurs de nouvelles façons. »

Fournir des conseils de santé défectueux produits par l’IA pourrait courir le risque d’invoquer de graves conséquences de la part de Google, l’intermédiaire de facto entre les éditeurs comme Arena et les lecteurs potentiels. Cette semaine, Google a publié de nouvelles directives à l’intention des éditeurs concernant l’utilisation de l’IA pour générer du contenu, indiquant qu’il tolérerait cette pratique mais qu’il mettrait davantage l’accent sur la fiabilité des résultats de recherche impliquant des « informations sanitaires, civiques ou financières ».

Le déploiement bâclé de la technologie de l’IA au Men’s Journal reflète ce que nous avons vu ailleurs, les éditeurs ayant du mal à intégrer l’IA de manière à apporter de la valeur aux lecteurs.

Beaucoup ont été alarmés de découvrir en janvier, par exemple, que l’éminent site d’information technologique CNET avait discrètement publié des dizaines d’articles sur les finances personnelles générés par l’IA. Après une condamnation quasi-universelle, il a été découvert que les articles générés par l’IA étaient truffés d’erreurs de base et largement plagiés.

Après un reportage, CNET – ainsi que les sites frères Bankrate et CreditCards.com, également détenus par l’éditeur Red Ventures – a suspendu la publication du contenu de l’IA pour une révision. CNET a finalement admis que plus de la moitié des articles publiés par le robot contenaient des erreurs factuelles, du plagiat ou les deux.

Malgré tout, CNET s’est engagé à poursuivre la publication des articles générés par l’IA – dès que la presse négative se serait calmée, bien sûr.

Comme Men’s Journal, CNET a connu des temps difficiles avant de se tourner vers le contenu IA. C’était autrefois un titan du journalisme technologique, mais le personnel a récemment déclaré à The Verge que, depuis son acquisition par Red Ventures en 2020, son indépendance éditoriale a été minée par la pression exercée pour traiter favorablement les annonceurs.

Dans l’ensemble, la médiocrité des efforts de CNET en matière d’intelligence artificielle semble avoir présagé ceux de Men’s Journal. Au lieu d’apprendre des erreurs de CNET et d’examiner attentivement le travail généré par l’IA pour y déceler tout signe de faiblesse, Men’s Journal – ou Arena Group qui se charge de sa carapace pillée, selon le cas – semble être tombé dans le même piège : voir que les systèmes d’IA comme ChatGPT peuvent facilement produire du contenu à l’apparence confiante, et prendre cette conviction pour de l’exactitude.

Les débâcles de CNET et de Men’s Journal sont-elles des signes avant-coureurs ? Peut-être, mais ce n’est pas une fatalité.

Il est vrai que si le public – sans parler des régulateurs et des acteurs puissants tels que Google – permet à des entreprises blasées d’inonder l’internet de contenus diffusés par une IA qu’elles n’ont pas pris la peine de comprendre, cela risque de noyer le bon journalisme et les conseils dans une désinformation irresponsable produite en masse.

Mais même si ces éditeurs n’ont aucune honte, un tollé contre la pratique consistant à polluer le net avec des tombereaux d’ordures écrites par l’IA pourrait avoir des effets tangibles. Il pourrait dissuader d’autres marques de prendre le train en marche à l’avenir, par exemple. Il est également possible que les annonceurs rechignent à financer du contenu inutile généré par l’IA. Enfin, et c’est peut-être le plus important, cela pourrait pousser Google à envisager des conséquences réelles pour les publications qui utilisent l’IA pour publier des déchets à grande échelle.

Il est impossible de dire ce qu’il adviendra de tout cela. Mais cela aura des implications importantes pour l’avenir du web.

https://futurism.com/neoscope/magazine-mens-journal-errors-ai-health-article