Un projet financé par le Home Office qui utilisait l’intelligence artificielle pour prédire les crimes commis avec des armes à feu et des couteaux s’est révélé extrêmement inexact

Un système phare d’intelligence artificielle conçu pour prédire la violence par arme à feu et couteau avant qu’elle ne se produise présentait de graves défauts qui le rendaient inutilisable, a admis la police. L’erreur a conduit à de grandes baisses de précision et le système a finalement été rejeté par tous les experts qui l’ont examiné pour des problèmes éthiques.

Le système de prédiction, connu sous le nom de « Most Serious Violence » (MSV), fait partie du projet « National Data Analytics Solution » (NDAS). Le Home Office a financé le NDAS à hauteur d’au moins 10 millions de livres sterling (un peu plus de 11 millions d’euros) au cours des deux dernières années dans le but de créer des systèmes d’apprentissage automatique qui peuvent être utilisés dans toute l’Angleterre et le Pays de Galles.

Suite à l’échec du MSV, la police a cessé de développer le système de prédiction sous sa forme actuelle. Il n’a jamais été utilisé pour les opérations de police et n’est pas parvenu à un stade où il pourrait être utilisé. Cependant, des questions ont également été soulevées quant à la possibilité que l’outil de violence soit biaisé en faveur des groupes minoritaires et quant à son utilité pour le maintien de l’ordre.

L’outil MSV a été conçu pour prédire si les gens commettraient leur première infraction violente avec une arme à feu ou un couteau au cours des deux prochaines années. Les personnes qui avaient déjà été en contact avec les deux forces de police participant au développement de l’outil, la police des West Midlands et la police du West Yorkshire, ont reçu une note de risque. Plus le score était élevé, plus elles étaient susceptibles de commettre l’un des crimes.

Des données historiques concernant 2,4 millions de personnes de la base de données des West Midlands et 1,1 million de personnes du West Yorkshire ont été utilisées pour le développement du système, les données étant tirées des dossiers de criminalité et de garde à vue, des rapports de renseignement et de la base de données informatique nationale de la police.

Mais alors que le NDAS commençait à « opérationnaliser » le système au début de l’année, des problèmes sont apparus. Des documents publiés par le Comité d’éthique de la police des West Midlands, qui est chargé d’examiner le travail du NDAS ainsi que les développements techniques propres à la police, révèlent que le système contenait une « faille » de codage qui le rendait incapable de prédire avec précision la violence.

« Une erreur de codage a été trouvée dans la définition de l’ensemble des données de formation, ce qui a rendu non viable l’énoncé du problème actuel de MSV », selon un briefing du NDAS publié en mars. Un porte-parole du NDAS affirme que l’erreur était un problème d’ingestion de données qui a été découvert pendant le processus de développement. Aucune information plus précise sur cette faille n’a été divulguée. « Il s’est avéré impossible, avec les données actuellement disponibles, d’identifier un point d’intervention avant qu’une personne ne commette sa première infraction MSV avec une arme à feu ou un couteau, avec un quelconque degré de précision », indique le document d’information du NDAS.

Avant que l’erreur ne soit constatée, la NDAS affirmait que son système avait une précision, ou des niveaux de précision, allant jusqu’à 75 %. Sur 100 personnes considérées comme présentant un risque élevé de commettre des violences graves avec une arme à feu ou un couteau dans les West Midlands, 54 d’entre elles ont été prédites pour commettre l’un de ces crimes. Pour le West Yorkshire, 74 personnes sur 100 ont été prédites à commettre des violences graves avec une arme à feu ou un couteau. « Nous savons maintenant que le niveau réel de précision est nettement inférieur », a déclaré la NDAS en juillet.

« Les événements rares sont beaucoup plus difficiles à prédire que les événements courants », déclare Melissa Hamilton, lectrice de droit et de justice pénale à l’université du Surrey, qui se concentre actuellement sur l’utilisation par la police des outils de prédiction des risques. Mme Hamilton n’a pas été surprise par les problèmes de précision. « Bien que nous sachions que les outils de risque ne donnent pas les mêmes résultats dans différentes juridictions, je n’ai jamais vu une telle marge de différence – en particulier lorsque vous parlez d’un même pays », déclare Melissa Hamilton, ajoutant que les estimations initiales semblaient trop élevées par rapport aux autres systèmes qu’elle avait vus.

En raison de cette faille, le NDAS a retravaillé son système de prédiction de la violence et ses résultats ont montré une baisse significative de la précision. Pour les violences graves avec une arme à feu ou un couteau, la précision est tombée entre 14 et 19 % pour la police des West Midlands et entre 9 et 18 % pour le West Yorkshire. Ces taux étaient également similaires, que la personne ait déjà commis des violences graves ou qu’elle en soit à sa première expérience.

Le NDAS a estimé que son système remanié était le plus précis lorsque tous les critères qu’il avait initialement définis pour le système – première infraction, type d’arme et utilisation de l’arme – ont été supprimés. En bref, les performances initiales avaient été surestimées. Dans le meilleur des cas, le système limité pourrait être précis dans 25 à 38 % des cas pour la police des West Midlands et dans 36 à 51 % des cas pour la police du West Yorkshire.

La proposition de la police de faire avancer ce système a été refusée à l’unanimité. « Il n’y a pas suffisamment d’informations sur la façon dont ce modèle améliore la situation actuelle en matière de prise de décision dans la prévention de la violence grave des jeunes », a conclu le comité d’éthique en juillet, en rejetant la proposition de développer le système. Le comité, qui est un groupe volontaire composé d’experts de différents domaines, a déclaré qu’il ne comprenait pas pourquoi les taux de précision révisés étaient suffisants et a exprimé des inquiétudes sur la façon dont le système de prédiction serait utilisé.

« Le comité a déjà exprimé ces préoccupations à plusieurs reprises sans que les choses soient suffisamment claires et, par conséquent, en l’état actuel du projet, il conseille d’y mettre fin », a déclaré le groupe dans son compte rendu. Les membres du comité approchés pour cette histoire ont déclaré qu’ils n’étaient pas autorisés à parler de ces travaux.

Le surintendant Nick Dale, responsable du projet NDAS, déclare que les personnes à l’origine du projet « sont d’accord pour dire que le modèle ne peut pas continuer sous sa forme actuelle » et souligne qu’il a été jusqu’à présent expérimental. « Nous ne pouvons pas dire avec certitude à quoi ressemblera le modèle final, si nous sommes effectivement en mesure de créer un modèle approprié. Tous nos travaux seront examinés par le comité d’éthique et leurs délibérations seront publiées ».

Mais de nombreuses personnes qui ont examiné les notes d’information publiées sur le NDAS et l’examen du système de prédiction de la violence par le comité d’éthique disent que les questions de précision ne sont qu’un des domaines de préoccupation. Ils affirment que les types de données utilisées risquent d’aboutir à des prédictions biaisées, ils s’inquiètent de la normalisation des technologies de police prédictive et citent le manque de preuves de l’efficacité de ces outils. Nombre de ces points sont également repris dans les questions posées par le comité d’éthique au personnel du NDAS travaillant sur les systèmes prédictifs.

« Le problème central du programme dépasse toute question de précision », déclare Nuno Guerreiro de Sousa, technologue à Privacy International. « Baser nos arguments sur l’inexactitude est problématique car les déficiences technologiques sont résolvables avec le temps. Même si l’algorithme était réglé pour être précis à 100 %, il y aurait toujours un biais dans ce système ».

Le système de prédiction de la violence a identifié « plus de 20 » indicateurs qui ont été jugés utiles pour déterminer le risque que pourrait représenter le comportement futur d’une personne. Ces indicateurs comprennent l’âge, le nombre de jours écoulés depuis le premier crime, les liens avec d’autres personnes dans les données utilisées, la gravité de ces crimes et le nombre maximum de mentions de « couteau » dans les rapports des services de renseignement qui y sont liés – les données sur le lieu et l’origine ethnique n’ont pas été incluses. Beaucoup de ces facteurs, selon la présentation, ont été pondérés pour donner plus de poids aux données les plus récentes.

« Il y a beaucoup de catégories, dont il a été prouvé dans d’autres domaines de l’analyse des données dans le système de justice pénale qu’elles conduisent à des résultats inégaux », explique Rashida Richardson, chercheur invité à la Rutgers Law School, qui a étudié les problèmes de données dans la police prédictive. « Lorsque vous utilisez l’âge, cela fausse souvent la plupart des prédictions ou des résultats dans un système où vous êtes plus susceptible d’inclure une cohorte de personnes plus jeunes en raison de l’âge qui est juste un des indicateurs utilisés ».

Rashida Hamilton est d’accord. Elle explique que les facteurs d’antécédents criminels sont souvent eux-mêmes biaisés, ce qui signifie que tout algorithme formé sur eux contiendra les mêmes problèmes si un humain n’intervient pas dans le développement.

« Nous surveillons les biais et ne chercherions pas à déployer un modèle qui contient des biais », déclare Nick Dale, le chef du projet NDAS. « Nous nous engageons à faire en sorte que les interventions résultant de tout modèle de ce type soient positives, visant à réduire la criminalité et à améliorer les chances de vie, plutôt que les résultats coercitifs ou de justice pénale ».

« La principale valeur de MSV est de tester l’art de ce qui est possible dans le développement de ces techniques pour le maintien de l’ordre », ajoute Nick Dale. « Ce faisant, il est inévitable que nous essayions des choses pour quelque raison que ce soit, mais nous sommes convaincus qu’au fur et à mesure que nous progressons, nous développons des techniques de science des données qui conduiront à une police plus efficace et plus efficiente et à de meilleurs résultats pour toutes nos communautés ».

L’idée actuelle de la NDAS est que l’outil de prédiction de la violence pourrait être utilisé pour « augmenter » les processus décisionnels existants utilisés par les policiers lorsqu’ils enquêtent sur des personnes susceptibles de commettre des violences graves. L’outil de prédiction de la violence n’est qu’un des outils sur lesquels travaille la NDAS : il utilise également l’apprentissage automatique pour détecter l’esclavage moderne, le mouvement des armes à feu et les types de criminalité organisée. Cressida Dick, le chef de la police métropolitaine de Londres, a précédemment déclaré que la police devrait chercher à utiliser « l’intelligence augmentée », plutôt que de se fier entièrement aux systèmes d’IA.

Cependant, les questions de partialité et de racisme potentiel au sein des systèmes d’IA utilisés pour la prise de décision ne sont pas nouvelles. Cette semaine encore, le ministère de l’intérieur a suspendu son système de prise de décision en matière de demande de visa, qui utilisait la nationalité d’une personne comme élément d’information déterminant le statut d’immigration des personnes, après des allégations selon lesquelles ce système contenait un « racisme bien ancré ».

Le mois dernier, dans le sillage des manifestations mondiales de Black Lives Matter, plus de 1 400 mathématiciens ont signé une lettre ouverte disant que le domaine devrait cesser de travailler au développement d’algorithmes de police prédictive. « Si vous regardez la plupart des juridictions où il y a une certaine utilisation de l’analyse prédictive dans le secteur de la justice pénale, nous n’avons pas la preuve que ces types de systèmes fonctionnent, et pourtant ils prolifèrent », dit M. Richardson.

Ces préoccupations sont mises en évidence dans le développement de l’outil de prédiction de la violence. Des documents du comité d’éthique montrent qu’un membre anonyme du groupe a déclaré que l’échec du codage était un « rappel brutal » du risque de l’IA et de la technologie au sein du maintien de l’ordre.

« Dans le pire des cas, des modèles inexacts pourraient entraîner des sanctions coercitives ou autres contre des personnes pour lesquelles il n’y avait pas de base raisonnable pour avoir prédit leur criminalité – cela risquait de nuire à la vie de jeunes gens ou de n’importe qui malgré les avertissements clairs – cependant, il est bon de voir que l’équipe a évalué son propre travail et identifié les failles à partir desquelles il faut repartir », ont-ils déclaré en mars.

Malgré la faille du système de prévision de la violence, ceux qui l’ont examiné disent que le dispositif est plus transparent que les autres développements de la police prédictive. « Les conseils du comité sont transparents, solides et ont du mordant », déclare Tom McNeil, conseiller stratégique du commissaire de police et de la criminalité des West Midlands. Le fait que le comité d’éthique pose des questions pressantes et obtienne des réponses est largement inconnu dans le développement de systèmes d’IA au sein de la police – une grande partie du développement se fait généralement de manière totalement secrète, les problèmes n’apparaissant qu’une fois qu’ils ont un impact sur les gens dans le monde réel.

« Le fait que quelque chose puisse être fait par calcul ne signifie pas nécessairement que c’est toujours la meilleure façon de le faire ou que cela devrait être fait de cette façon », déclare Christine Rinik, co-directrice du Centre pour les droits à l’information de l’université de Winchester. « C’est pourquoi je pense qu’il est si utile d’avoir un processus où ces étapes sont remises en question.

https://www.wired.co.uk/article/police-violence-prediction-ndas

https://www.gov.uk/government/news/home-office-funds-innovative-policing-technology-to-prevent-crime

https://www.westmidlands-pcc.gov.uk/archive/ethics-committee-meeting-november-2019/

https://www.westmidlands-pcc.gov.uk/ethics-committee/ethics-committee-reports-and-minutes/

https://www.bbc.co.uk/news/technology-53650758