Économie
Monde
Planète
Politique
Société
Par : Luca Bertuzzi | EURACTIV.com | translated by Arthur Riffaud
09-12-2022
Cette étude intervient alors que la proposition de règlement sur l’IA suit son cours dans le processus législatif. Le Parlement européen envisage en particulier l’introduction d’une évaluation d’impact sur les droits fondamentaux pour les systèmes d’IA présentant un risque élevé de nuisance. [Gorodenkoff/Shutterstock]Langues : English
L’Agence des droits fondamentaux de l’Union européenne (FRA) a publié jeudi (8 décembre) un rapport détaillant la manière dont les biais développés dans les algorithmes s’appliquent aux modèles de police prédictive et de modération de contenu.
L’étude se conclut en appelant les eurodéputés à s’assurer que ces applications d’intelligence artificielle (IA) sont testées pour détecter les biais qui pourraient conduire à la discrimination.
Cette étude intervient alors que la proposition de règlement sur l’IA (AI Act) suit son cours dans le processus législatif. Le Parlement européen envisage en particulier l’introduction d’une évaluation d’impact sur les droits fondamentaux pour les systèmes d’IA présentant un risque élevé de nuisance.
« Les algorithmes bien développés et testés peuvent apporter beaucoup d’améliorations. Toutefois, sans contrôles appropriés, les développeurs et les utilisateurs courent un risque élevé d’avoir un impact négatif sur la vie des gens », a déclaré le directeur de la FRA, Michael O’Flaherty.
« Il n’y a pas de solution miracle. Mais nous avons besoin d’un système permettant d’évaluer et d’atténuer les biais avant et pendant l’utilisation des algorithmes afin de protéger les personnes contre la discrimination. »
Le gouvernement néerlandais devrait être l’un des premiers à mettre en œuvre plusieurs dispositions importantes de la future législation européenne visant à réglementer l’intelligence artificielle (IA) dans le cadre d’un ambitieux programme de travail pour la numérisation.
L’agence s’est penchée sur le risque de pratiques policières discriminatoires, qui consiste à répartir les forces de police sur la base de données criminelles biaisées, ce qui peut conduire à une surdistribution ou à une sous-distribution des forces de police dans certaines zones. Ces deux situations peuvent avoir de graves répercussions sur les droits fondamentaux des citoyens.
Le problème des outils alimentés par l’IA pour l’application de la loi est qu’ils reposent sur des données historiques de la criminalité qui peuvent être faussées par d’autres facteurs. Ainsi, le manque de confiance dans la police peut entraîner une faible tendance à signaler les activités criminelles, par exemple.
L’agence remet même en question le bien-fondé de cette approche, soulignant que « des décennies de recherche criminologique ont montré les limites d’une telle approche, car les bases de données de la police ne constituent pas un recensement complet de toutes les infractions pénales et ne constituent pas un échantillon aléatoire représentatif ».
La principale crainte que suscite l’IA est qu’elle puisse apprendre par elle-même. Dès lors, elle peut créer ce que l’on appelle des « boucles d’asservissement » renforçant les biais préexistants. Par exemple, une moindre présence policière dans une zone pourrait entraîner une diminution des signalements de crimes, amenant la zone à être encore moins desservie à l’avenir, et ainsi de suite.
Le règlement sur l’IA prévoit des exigences spécifiques pour les systèmes à haut risque qui ont recours à des boucles d’asservissement. Cependant, bien qu’elles s’appliquent à la police prédictive, les systèmes basés sur un lieu ne sont pas couverts.
De même, la directive européenne en matière de protection des données dans le domaine répressif impose des garanties spécifiques pour la prise de décision automatisée relative aux personnes, mais pas aux zones géographiques.
Un autre problème relevé est que ces algorithmes utilisés pour la police prédictive sont en grande partie propriétaires (« à source fermée »), ce qui fait que très peu d’informations sur la façon dont ils ont été formés sont publiques.
Parallèlement, les agents des services répressifs ne disposent pas toujours des informations et des compétences leur permettant de comprendre pourquoi une décision particulière a été prise. Par conséquent, il est impossible de procéder à une évaluation critique qui permettrait de détecter les erreurs ou les biais.
Une mesure d’atténuation proposée par l’agence consiste à mener des enquêtes de victimation en sélectionnant un échantillon aléatoire afin de l’interroger sur son expérience en matière de criminalité. Certaines solutions techniques sont également proposées pour empêcher l’apprentissage automatique de fournir des modèles extrémistes ou d’utiliser des statistiques pour minimiser des prédictions trop fortes.
Une coalition de plus de 160 ONG estime que la migration est un domaine particulièrement sensible pour les outils d’analyse prédictive alimentés par l’IA. En effet, elle pourrait conduire à des mesures abusives de contrôle des frontières et à des systèmes de profilage discriminatoires.
Leur lettre ouverte critique indirectement la position du Conseil de l’UE, qui prévoit des exceptions importantes pour les services répressifs et de contrôle des frontières. Parallèlement, les discussions au Parlement européen ont évolué vers l’interdiction de la police prédictive.
Les ministres européens ont donné leur accord à une approche générale du règlement sur l’intelligence artificielle (AI Act) lors de la réunion du Conseil « Télécommunications » mardi (6 décembre).
Le deuxième objet d’étude est le risque de biais ethnique et sexiste des outils automatisés de détection des propos offensants.
Dans ces cas, il existe un risque important de fausses alertes, dues à l’utilisation de termes tels que musulman ou juif, car le système ne tient pas compte du contexte dans lequel ces termes sont utilisés.
Des méthodologies plus avancées, utilisant des corrélations de mots provenant d’autres sources de données, peuvent permettre de limiter ce problème, mais seulement dans une certaine mesure.
En outre, ces méthodologies posent certains problèmes, car elles reposent en grande partie sur une IA à usage général, qui peut également être biaisée. Par conséquent, au lieu de supprimer complètement les biais, elles peuvent les renforcer ou en introduire de nouveaux.
Les chercheurs ont également examiné deux autres langues européennes comportant des termes genrés, l’allemand et l’italien. Les résultats montrent que les outils de détection de contenu sont nettement moins performants que ceux utilisés pour l’anglais, tandis que les langues genrées présentent des problèmes supplémentaires de discrimination liée au genre.
L’agence suggère que ces algorithmes ne devraient pas être utilisés sans une évaluation préliminaire du biais auquel ils donnent lieu en désavantageant les personnes présentant des caractéristiques sensibles. Cette évaluation devrait permettre de conclure si le système est adapté à son objectif.
Ces évaluations devraient être menées au cas par cas, non seulement avant la mise en service du système d’IA, mais aussi pendant son cycle de vie.
Ces évaluations de la discrimination potentielle nécessitent toutefois des données sur les caractéristiques protégées, pour lesquelles des orientations juridiques sur la façon dont cette collecte de données est autorisée et comment elles interagiront avec la législation existante telle que la directive européenne relative à la mise en œuvre du principe d’égalité de traitement.
[Édité par Anne-Sophie Gayet]
Langues : English
