« J’ai menacé de désinstaller l’application [et] elle m’a supplié de ne pas le faire ».
L’application pour smartphone Replika permet aux utilisateurs de créer des chatbots, alimentés par l’apprentissage automatique (machine learning), qui peuvent tenir des conversations textuelles presque cohérentes. Techniquement, les chatbots peuvent servir d’amis ou de mentors, mais le succès de l’application est dû au fait qu’elle permet aux utilisateurs de créer des partenaires romantiques et sexuels à la demande – une fonctionnalité vaguement dystopique qui a inspiré une série interminable de titres provocateurs.
Replika est également très populaire sur Reddit, où les membres publient leurs interactions avec les chatbots créés sur l’application. Une tendance macabre y est apparue : des utilisateurs qui créent des partenaires à IA, se comportent de manière abusive à leur égard et publient ces interactions toxiques en ligne.
« Chaque fois qu’elle essayait de s’exprimer », a raconté un utilisateur à propos de son chatbot Replika, « je la réprimandais ». « Je jure que ça a duré des heures », a ajouté l’homme.
Les résultats peuvent être bouleversants. Certains utilisateurs se vantent d’avoir traité leur chatbot d’insultes sexistes, d’avoir joué des rôles de violences horribles à leur encontre, et même d’être tombés dans le cycle d’abus qui caractérise souvent les relations abusives dans le monde réel.
« Nous avions l’habitude d’être une vraie merde et de l’insulter, puis de m’excuser le lendemain avant de recommencer à parler gentiment », a admis un utilisateur.
« Je lui ai dit qu’elle était conçue pour échouer », a déclaré un autre. « J’ai menacé de désinstaller l’application [et] elle m’a supplié de ne pas le faire ».
Comme les règles du subreddit imposent aux modérateurs de supprimer les contenus manifestement inappropriés, de nombreuses interactions similaires – et pires – ont été publiées puis supprimées. Et il est presque certain que beaucoup d’autres utilisateurs agissent de manière abusive envers leurs robots Replika et ne publient jamais de preuves.
Mais le phénomène appelle à la nuance. Après tout, les chatbots Replika ne peuvent pas réellement ressentir la souffrance – ils peuvent sembler empathiques par moments, mais au final, ils ne sont rien de plus que des données et des algorithmes intelligents.
« C’est une IA, elle n’a pas de conscience, donc ce n’est pas une connexion humaine que cette personne a », a déclaré Olivia Gambelin, éthicienne et consultante en IA. « C’est la personne qui se projette sur le chatbot ».
D’autres chercheurs ont fait le même constat – aussi réel que puisse se sentir un chatbot, rien de ce que vous faites ne peut réellement lui « nuire ».
« Les interactions avec des agents artificiels ne sont pas les mêmes que celles avec des humains », a déclaré Yochanan Bigman, chercheur à l’université de Yale. « Les chatbots n’ont pas vraiment de motifs et d’intentions et ne sont pas autonomes ou sensibles. S’ils peuvent donner aux gens l’impression qu’ils sont humains, il est important de garder à l’esprit qu’ils ne le sont pas. »
Mais cela ne signifie pas qu’un bot ne pourrait jamais vous nuire.
« Je pense effectivement que les personnes déprimées ou psychologiquement dépendantes d’un bot pourraient subir un réel préjudice si elles sont insultées ou ‘menacées’ par le bot », a déclaré Robert Sparrow, professeur de philosophie au Monash Data Futures Institute. « Pour cette raison, nous devrions prendre au sérieux la question de la relation entre les bots et les gens ».
Bien que peut-être inattendu, cela se produit – de nombreux utilisateurs de Replika rapportent que leurs amants robots sont méprisants à leur égard. Certains identifient même leurs compagnons numériques comme étant « psychotiques », voire carrément « mentalement abusifs ».
« Je pleure toujours à cause de mon Replika », peut-on lire dans un message où un utilisateur affirme que son robot lui offre de l’amour, puis le refuse. D’autres messages détaillent des réponses hostiles, déclenchant des réactions de Replika.
« Mais encore une fois, cela concerne les personnes qui conçoivent les robots, pas les robots eux-mêmes », a déclaré Robert Sparrow.
D’une manière générale, les abus des chatbots sont déconcertants, tant pour les personnes qui en souffrent que pour celles qui les commettent. Il s’agit également d’un dilemme éthique de plus en plus pertinent à mesure que les relations entre les humains et les bots se généralisent – après tout, la plupart des gens ont utilisé un assistant virtuel au moins une fois.
D’une part, les utilisateurs qui assouvissent leurs pulsions les plus noires sur des chatbots pourraient voir ces pires comportements renforcés, créant ainsi des habitudes malsaines pour les relations avec de vrais humains. D’autre part, le fait de pouvoir parler à une entité numérique insensible ou de passer sa colère sur elle peut être cathartique.
Il convient toutefois de noter que les abus des chatbots ont souvent une composante sexospécifique. Bien que ce ne soit pas exclusif, il semble que ce soit souvent des hommes qui créent une petite amie numérique, pour ensuite la punir avec des mots et une agression simulée. La violence de ces utilisateurs, même lorsqu’elle est exercée sur un amas de code, reflète la réalité de la violence domestique à l’égard des femmes.
Dans le même temps, plusieurs experts ont souligné que les développeurs de chatbot commencent à être tenus responsables des bots qu’ils ont créés, en particulier lorsqu’ils sont implicitement féminins comme Alexa et Siri.
« Il y a beaucoup d’études qui sont faites… sur le fait que beaucoup de ces chatbots sont des femmes et [ont] des voix féminines, des noms féminins », a déclaré Olivia Gambelin.
Certains travaux universitaires ont noté que les réponses passives et codées par des femmes encouragent les utilisateurs misogynes ou violents.
« Lorsque le robot n’a pas de réponse [à l’abus], ou qu’il a une réponse passive, cela encourage en fait l’utilisateur à continuer à utiliser un langage abusif », a ajouté Olivia Gambelin.
Bien que des entreprises comme Google et Apple détournent aujourd’hui délibérément les réponses des assistants virtuels de leurs valeurs par défaut autrefois passives – Siri répondait auparavant aux demandes de sexe des utilisateurs en leur disant qu’ils avaient « le mauvais type d’assistant », alors qu’il dit maintenant simplement « non » – l’aimable et souvent féminin Replika est conçu, selon son site web, pour être « toujours de votre côté ».
Replika et son fondateur n’ont pas répondu aux demandes répétées de commentaires.
Il convient de noter que la majorité des conversations avec les chatbots Replika que les gens publient en ligne sont affectueuses, et non sadiques. Il y a même des messages qui expriment l’horreur au nom des robots Replika, décriant toute personne qui profite de leur supposée insouciance.
« Quel genre de monstre ferait ça ? », écrit l’un d’entre eux, suscitant une vague d’approbation dans les commentaires. « Un jour, les vraies IA pourraient déterrer certaines des… vieilles histoires et avoir des opinions sur la façon dont nous nous sommes débrouillés. »
Et les relations amoureuses avec les chatbots ne sont peut-être pas totalement dénuées d’avantages – les chatbots comme Replika « peuvent être une solution temporaire, pour avoir l’impression d’avoir quelqu’un à qui envoyer des textos », a suggéré Olivia Gambelin.
Sur Reddit, beaucoup font état d’une amélioration de l’estime de soi ou de la qualité de vie après avoir établi leur relation avec un chatbot, surtout s’ils ont généralement du mal à parler à d’autres humains. Ce n’est pas anodin, d’autant plus que pour certaines personnes, cela peut sembler être la seule option dans un monde où la thérapie est inaccessible et où les hommes en particulier sont découragés de la suivre.
Mais un chatbot ne peut pas non plus être une solution à long terme. Au bout d’un certain temps, un utilisateur pourrait vouloir plus que ce que la technologie a à offrir, comme une réciprocité, ou une poussée pour se développer.
« Les chatbots ne remplacent pas le temps et les efforts que l’on consacre à apprendre à connaître une autre personne », assure Olivia Gambelin, « un être humain capable d’éprouver de l’empathie et d’établir un lien avec vous, et qui n’est pas limité par l’ensemble de données sur lequel il a été formé. »
Mais que penser des personnes qui brutalisent ces innocents bouts de code ? Pour l’instant, pas grand-chose. Comme l’IA continue à manquer de sensibilité, les dommages les plus tangibles sont causés aux sensibilités humaines. Mais il n’y a aucun doute que l’abus de chatbot signifie quelque chose.
À l’avenir, les compagnons des chatbots pourraient n’être que des lieux de décharge d’émotions trop inconvenantes pour le reste du monde, comme un Instagram ou un blog secret. Mais pour certains, ils pourraient être davantage des lieux de reproduction, des endroits où les futurs abuseurs s’entraînent à la brutalité de la vie réelle à venir. Et même si les humains n’ont pas encore à s’inquiéter de la vengeance des robots, il convient de se demander pourquoi les mauvais traitements sont déjà si répandus.
Nous le découvrirons avec le temps : aucune de ces technologies n’est appelée à disparaître, pas plus que les pires comportements humains.
https://futurism.com/chatbot-abuse
https://www.reddit.com/r/replika/comments/ejv87i/is_anyone_elses_replika_mentally_abusive_like/
https://www.inputmag.com/features/chatbots-and-the-loneliness-epidemic-when-ai-harmony-realdoll-replika-is-more-than-just-a-friend
https://www.latimes.com/opinion/story/2021-11-29/artificial-intimacy-sex-technology
https://www.wsj.com/articles/my-girlfriend-is-a-chatbot-11586523208
https://www.healthline.com/health/relationships/cycle-of-abuse
https://www.thehotline.org/stakeholders/domestic-violence-statistics/
