Nous faisons confiance aux algorithmes d’intelligence artificielle qui exécutent beaucoup de tâches vraiment importantes. Mais ils nous trahissent tout le temps. Le préjugé/partialité algorithmique peut conduire à une surveillance excessive dans les zones à prédominance noire, les filtres automatisés sur les activistes des médias sociaux, tout en permettant aux groupes de haine de continuer à poster des messages non vérifiés.

A mesure que les problèmes causés par le biais algorithmique ont fait surface, les experts ont proposé toutes sortes de solutions pour rendre l’intelligence artificielle plus juste et plus transparente, de sorte qu’elle fonctionne pour tous.

Celles-ci vont au fait de soumettre les développeurs d’IA à des audits de tiers, dans lesquels un expert évaluerait leur code et leurs données sources pour s’assurer que le système résultant ne perpétue pas les préjugés et les préjugés de la société pour développer des tests afin de s’assurer que l’algorithme d’IA ne traite pas les personnes différemment en fonction de facteurs tels que la race, le sexe ou la classe socio-économique.

Les scientifiques d’IBM disposent désormais d’une nouvelle protection qui, selon eux, rendra l’intelligence artificielle plus sûre, transparente, équitable et efficace. Ils proposent que, juste avant que les développeurs ne commencent à vendre un algorithme, ils devraient publier une déclaration de conformité du fournisseur (SDoC : Supplier’s Declaration of Conformity). En tant que rapport ou manuel d’utilisation, le SDoC montrerait à quel point l’algorithme s’est bien comporté lors de tests standardisés de performance, d’équité et de facteurs de risque, ainsi que de mesures de sécurité. Et ils devraient le rendre disponible à toute personne intéressée.

Dans un document de recherche publié mercredi, les scientifiques d’IBM soutiennent que ce type de transparence pourrait aider à renforcer la confiance du public et à rassurer les clients potentiels qu’un algorithme particulier ferait ce qu’il est censé faire sans s’insérer dans des données de formation biaisées. Si un algorithme particulier semble susceptible s’intéresser à quelqu’un, le client (et même les citoyens intéressés) seraient idéalement en mesure de distinguer les résultats des tests et choisir de ne pas les utiliser.

Dans leur article, les scientifiques d’IBM s’inspirent des exemples fournis par les SDoC dans d’autres secteurs, qui sont rarement exigés par la loi mais sont encouragés afin d’empêcher les clients potentiels d’accéder à des concurrents plus transparents. Par exemple, les consommateurs peuvent faire confiance aux freins d’une voiture, aux capacités du pilote automatique d’un avion, à la résilience d’un pont, car ces éléments sont testés de manière exhaustive sur la base de mesures standard bien connues. Et pourtant, il n’existe pas de test équivalent pour s’assurer que les outils d’intelligence artificielle fonctionneront comme prévu.

Les chercheurs proposent qu’une IA SDoC réponde à des questions telles que: «Est-ce que le jeu de données et le modèle ont été vérifiés?» Et «Le service a-t-il été vérifié pour des attaques contradictoires? En général, les questions devraient évoluer qu’un algorithme en fonction de ses performances plus que de vérifier ses composants ou son code en tant qu’auditeur. Voici quelques exemples d’AI SDoC, comme l’écrivent les chercheurs:

• Le jeu de données utilisé pour former le service comporte-t-il une fiche technique ou un relevé de données?
• Le jeu de données et le modèle ont-ils été vérifiés pour détecter des partialités/préjugés ? Si oui, décrivez les politiques de partialités/préjugés qui ont été vérifiées, les méthodes de vérification des résultats.
• Des mesures d’atténuation des partialités/préjugés ont-elles été effectuées sur l’ensemble de données? Si oui, décrivez la méthode d’atténuation.
• Les résultats de l’algorithme sont-ils explicables / interprétables? Dans l’affirmative, expliquez comment l’explicabilité est atteinte (par exemple, modèle directement explicable, explicabilité locale, explications par des exemples).
• Quel type de gouvernance est utilisé pour suivre le flux de travail global des données vers le service d’IA?

Demander aux développeurs de publier des SDoC ne résoudra pas tous les problèmes liés à notre dépendance croissante à l’IA. Nous savons comment les freins arrêtent une voiture rapide, mais certains algorithmes plus complexes (comme ceux qui utilisent des techniques d’apprentissage en profondeur) peuvent être impossibles à maîtriser. De plus, si un rapport de transparence basé sur des tests standardisés devait avoir un impact, tout le monde devrait y accéder.

Bien sûr, les développeurs seraient motivés à commencer à publier des SDoC si leurs concurrents le font. Mais le système ne fonctionnera que si les clients, les gouvernements et les entreprises qui utilisent l’IA montrent qu’ils se soucient réellement de ce que disent ces rapports. Un service de police comme le LAPD (Los Angeles Police Department), qui a utilisé des algorithmes de police manifestement racistes dans le passé, doit-il nécessairement se préoccuper suffisamment des détails d’une déclaration de conformité du fournisseur pour trouver un meilleur système? La vérité est que nous ne savons pas encore.

Ces rapports sont peu susceptibles de contraindre quiconque à utiliser davantage d’algorithmes éthiques, voire à les développer. Mais si vous combinez ces rapports avec d’autres outils tels que des audits tiers, le public peut exiger des algorithmes qui traitent tout le monde équitablement.

https://futurism.com/trust-artificial-intelligence-ibm/

https://www.research.ibm.com/artificial-intelligence/trusted-ai/

https://www.ibm.com/blogs/research/2018/08/factsheets-ai/

https://www.research.ibm.com/artificial-intelligence/publications/paper/?id=SDoCs-for-AI-Services