Données biaisées et robots tueurs, l’Intelligence Artificielle est-elle éthique ?

Alors que les Intelligences Artificielles (IA) se multiplient, l’éthique de leurs actions interroge. Quels seraient les scénarios d’une IA sans morale ?

Les IA se font de plus en plus présentes et la question de la moralité de leurs actions commence à se poser. Celles qui s’appuient sur les réseaux de neurones artificiels (deep learning) sont particulièrement critiquées : on leur reproche d’être opaques, de ne pas laisser voir le raisonnement qui permet aux algorithmes d’arriver au résultat final.

Une science naissante s’applique d’ailleurs à développer des outils pour regarder à l’intérieur de ces boîtes noires que sont les réseaux neuronaux. A ce travail à rebours pour scruter le code des IA s’ajoute, en parallèle, la volonté affichée par de nombreux experts d’intégrer des préceptes éthiques très en amont, directement au cœur de l’IA.

Vers une IA transparente ?

En s’appuyant sur d’énormes quantités de données, les systèmes de deep learning sont capables d’effectuer un très grand nombre de tâches : reconnaître et analyser des images ou des voix, proposer une police d’assurance sur mesure, accepter ou refuser une offre de prêt, piloter un véhicule...

Mais comment avoir confiance dans les décisions de l’IA si nous ne sommes pas en mesure de les comprendre ?

« L'intelligence doit être augmentée, c’est-à-dire au service de l’humain, plutôt qu’autonome. Nous devons construire un binôme humain-machine où l’IA devra offrir une compréhension intuitive pour l’humain. Elle devra être capable d’expliquer ses recommandations de façon simple et immédiate. »

Jean Barrère, Associé Data Intelligence, PwC France

Si XAI vise à développer des techniques de machine learning qui permettent de construire des modèles d’IA plus compréhensibles, capables d’expliquer aux humains en bout de ligne leur raisonnement, c’est loin d’être le cas de toutes les IA.

Le fonctionnement des réseaux de neurones artificiels est particulièrement opaque. Les géants du digital, boostés par des mécanismes de collecte de données très efficaces, disposent de quantités de données phénoménales ce qui les encourage à développer massivement les réseaux de neurones artificiels. Ces réseaux se nourrissent des corrélations qu’ils détectent entre des jeux de données préexistants, ce qui peut poser problème.

En effet, si les données présentent des biais – une catégorie de personnes (sexe, ethnie, catégorie socio-professionnelle…) surreprésentée par exemple – ceux-ci vont se répercuter sur les analyses de l’IA. PredPol, un algorithme utilisé par la police américaine pour prédire l’endroit où des crimes auraient une probabilité élevée de se produire, a été pointé du doigt pour sa propension à cibler des quartiers à dominante afro-américaine.

L’utilisation du deep learning en marketing web pour segmenter de manière ultra fine l’audience est également décriée. On soupçonne d’ailleurs que ce ciblage couplé à la prolifération de fake news sur les réseaux sociaux, a joué un rôle important dans les dernières élections américaines et le vote anglais sur le sujet du Brexit. Facebook a notamment été accusé il y a plusieurs mois d’avoir agi comme une « chambre d’écho », affichant sur le mur des utilisateurs des posts reflétant leurs propres idées politiques, nuisant grandement au débat et à la dispersion des idées.

Comment faire pour éviter les débordements de cette IA d’influence et de recommandation ? Pour Grégory Bonnet, membre du GREYC et coordonnateur du projet eThicAa, « il faut mettre en place un droit à l’explication et à la justification de toute décision assistée par machine, et cette justification – compréhensible par tous – doit pouvoir servir de base pour régler un différend légal en cas de besoin. On pourra alors faire le lien entre les finalités d’un algorithme et ses mécanismes internes. »

L’éthique dans la machine

Il n’existe pas encore aujourd’hui de réglementation encadrant le fonctionnement des IA et permettant de s’assurer qu’elles n’enfreignent pas de règles éthiques. De nombreux organismes comme, entre autres, l’IEEE et la CERNA, ont en revanche engagé des réflexions et publié des recommandations à destination des chercheurs et développeurs pour construire des systèmes intelligents éthiques.

Sans s’attaquer directement à la question de l’IA, le Règlement général sur la protection des données (RGPD), entré en vigueur en Europe en mai 2018, impacte directement le carburant du deep learning : la donnée. Pour les experts, le RGPD est un pas dans la bonne direction.

« Prônant une collecte raisonnée et parcimonieuse des données – un périmètre restreint où l’on ne valorise que la donnée nécessaire à un usage précis – le RGPD pose littéralement les fondements d’une IA éthique », considère Jean Barrère.

Il existe par ailleurs de nombreuses techniques pour intégrer des principes éthiques dans l’IA.

François Royer, Directeur Data Intelligence, PwC France, indique : « nous savons aujourd’hui encapsuler l’éthique sous forme de lignes de codes. Nous pouvons utiliser par exemple des proxys (copies plus simples de modèles d’IA) ou des exemplars (cas analogues permettant de faire la preuve par l’exemple). On peut également encoder des règles métiers (règles influençant la prise de décision) dans des systèmes experts ou neuronaux… » C'est cette dernière approche, dite symbolique, que défend l’équipe d’eThicAa. Alors que le machine learning se nourrit d’une quantité énorme de données pour trouver de manière autonome un schéma directeur, l’approche symbolique s’appuie sur des règles clairement définies en amont.

« Les règles de raisonnement et de déduction de la machine sont décrites de manière explicite sous forme de formules logiques. On peut donc remonter la trace du raisonnement », explique Grégory Bonnet.

L’IA symbolique est cependant gourmande en temps de calcul, car le raisonnement logique demande de prendre en compte tous les futurs possibles, mais aussi tous ceux qui n’auraient pas lieu en cas d’inaction de l’IA. « Nous n’avons pas la prétention de proposer l’unique ou la meilleure solution », confie Grégory Bonnet. Il ajoute : « nous sommes par exemple encore loin de la rapidité de raisonnement nécessaire à l’intégration dans un véhicule autonome. »

Bien d’autres entreprises ont pris des dispositions similaires en interne.

  • Mais cette volonté affichée de rendre leurs IA plus éthiques convaincra-t-elle, alors que les acteurs de l’IA sont à la fois juges et parties ? 
  • Pourra-t-on faire confiance à une IA certifiée éthique par son développeur ?

Pour Grégory Bonnet, « il faut faire très attention à ce qu’éthique ne devienne pas un label que l’on accole à un algorithme ou à une machine et qui donne un blancseing à ceux qui les construisent. On peut imaginer, par exemple, que le recours à des drones autonomes certifiés éthiques et moraux serait mieux perçu par la population. »

< Back

< Back
[+] Read More

La fin du statu quo

Avant d’intégrer des règles éthiques dans les IA, encore faut-il les définir. Ce n’est pas une mince affaire, comme le montre le projet Moral Machine du Massachusetts Institute of Technology (MIT), un jeu éthique qui revisite, à l’ère des voitures autonomes, le fameux dilemme du tramway pensé à la fin des années 60.

Sur une plateforme en ligne, on propose aux joueurs de choisir le scénario qu’ils estiment préférable dans de nombreuses situations tragiques :

  • la voiture autonome devrait-elle risquer la vie de ses passagers ou écraser un groupe de jeunes ? 
  • Une vieille dame promenant son chien ou un enfant ?
  • Deux personnes traversant hors des clous ou un piéton sur le passage ?

Plus de 4 millions de personnes dans le monde ont déjà participé à Moral Machine, ce qui en fait l’étude éthique la plus vaste jamais conduite à ce jour selon son co-créateur, le professeur Iyad Rahwan du MIT. Le projet permet d’entrevoir les difficultés qu’il y aurait à tenter de systématiser le comportement d’une voiture autonome : les premiers résultats de l’étude montrent en effet que ce qui est considéré comme éthiquement souhaitable varie selon les pays, les régions et les cultures.

De manière générale, les joueurs privilégient toutefois l’option qui minimise le nombre de morts… A moins qu’ils ne figurent, eux ou leur famille, au nombre des victimes.

Pour Wendell Walach, professeur à l’Université de Yale, cela prouve que la question de la voiture autonome n’est pas un problème moral. « Si on intègre des algorithmes moraux dans des voitures capables de tuer leurs occupants, des millions de personnes décideront de ne pas les acheter. Donc, pour éviter un accident qui n’a qu’une chance sur plusieurs milliards de se produire, des milliers de gens continueront à mourir sur les routes à cause d’erreurs humaines », a-t-il déclaré. Pour lui, ces véhicules ne seront acceptés à grande échelle que si on élabore de nouvelles normes sociales permettant de cadrer leur usage et de déterminer les responsabilités engagées en cas d’accident.

C’est un dilemme social », estime Iyad Rahwan. « Nous avons commencé le projet Moral Machine en proposant un dilemme éthique : ce que devait faire la voiture dans un scénario précis (…) mais nous avons réalisé que le véritable problème était de savoir comment faire pour que la société détermine les compromis qu’elle était prête à faire, qu’elle les accepte et les applique. »

En d’autres termes, si l'on souhaite disposer de machines qui reflètent les valeurs sociétales, il faut absolument que la nature de ces valeurs et leur importance relative (leur hiérarchie) soient clairement exprimées et comprises. Or non seulement ces valeurs évoluent dans le temps, mais différentes personnes peuvent avoir des visions contradictoires d’un même phénomène. Comment expliquer à un père de famille, par exemple, qu’une voiture autonome a choisi d’écraser son fils plutôt que de foncer dans un poteau et nuire au conducteur ?

Confronté à un choix impossible, l’être humain a tendance à s‘imaginer qu’il réagira de la bonne façon le moment venu, mais ne veut pas avoir à y penser jusque-là. L’essor des IA va forcer les humains à sortir du statu quo, du cas par cas, et à se poser des questions difficiles pour déterminer le comportement moral adéquat dans des situations extrêmement délicates.

« Le problème que posent les voitures autonomes, et que je vois quant à moi comme une opportunité, est qu’elles nous obligent à tout mettre à plat. Nous allons devoir nous entendre sur des principes, repérer les cas où ces principes ne sont pas satisfaisants, les discuter et trancher (…) Nous sommes en train de passer d’une situation de flexibilité ou plus exactement d’hypocrisie, où il nous est toujours loisible d’avancer les meilleures raisons du monde pour justifier nos arrangements avec la morale a posteriori, à une décision éthique a priori », indique Jean Bonnefon, psychologue et co-créateur de Moral Machine.

Qui est responsable du choix fait par l'IA ?

Les occupants de la voiture présents dans le véhicule pourraient-ils intervenir pour orienter la voiture ?

La personne qui a entrainé le programme et qui a déterminé certains algorithmes et critères de la voiture peut-elle être tenue responsable ?

Le législateur peut-il trancher sur les scénarios de responsabilité du véhicule autonome ?


Un rapport éthique tente d'apporter des réponses

Le gouvernement allemand a produit un rapport sur le code éthique des voitures autonomes. En cas d'accident inévitable :

Ignorer les différences entre les personnes (âge, sexe, condition physique ou mentale).

Privilégier la sécurité des Hommes à celle des animaux.

Choisir la solution où il y aura le moins de blessés.

Les dangers d’une IA dépourvue de morale

La prolifération des IA dans la vie courante va obliger la société à procéder à des arbitrages difficiles pour intégrer sereinement ces technologies et leurs impacts. Alors que les IA s’invitent désormais sur les champs de bataille, cette problématique de l’arbitrage se pose également, et avec une acuité accrue, sur le plan militaire. Acceptera-t-on de lancer des robots tueurs autonomes et amoraux sur le théâtre des opérations ?

Imaginez la scène : un essaim de centaines de drones tueurs, pas plus gros qu’un poing, s’introduit dans une université pour assassiner des étudiants dissidents. Munis d’une charge explosive, ils foncent automatiquement sur leurs cibles. La panique est générale, impossible d’arrêter ces engins de mort. Cette frappe chirurgicale terrifiante, c’est le scénario apocalyptique présenté par Stuart Russell, professeur d’IA de l’Université de Californie à Berkeley, dans un court-métrage qui a fait grand bruit : Slaughterbots.

« Si ce scénario relève à ce jour de la science-fiction, nous devons toutefois l'envisager », annonce Olivier Hassid, Directeur conseil sécurité et sûreté, PwC France

« Permettre aux machines de tuer des Hommes serait dévastateur pour notre sécurité et notre liberté. Tout l'enjeu est de maîtriser les technologies, certes, mais pas seulement. Nous devons aussi veiller au bon usage que font les humains de ces machines »

Olivier Hassid, Directeur conseil sécurité et sûreté, PwC France

Cette peur de voir apparaître des robots tueurs est partagée par de nombreux éminents industriels et spécialistes internationaux de l’IA. 116 d’entre eux – dont Elon Musk, directeur général de Tesla, et Mustafa Suleyman cofondateur de DeepMind – ont signé en août 2017 une lettre ouverte appelant l’ONU à bannir les systèmes d’armes létales autonomes (SALA). « Une fois développées, ces armes permettront l’émergence de conflits à une échelle sans précédent, qui se dérouleront à des vitesses trop élevées pour la compréhension humaine (…) Ces armes pourraient être utilisées par des despotes et des terroristes contre des populations innocentes. Elles pourraient également être piratées », préviennent les auteurs. Une lettre ouverte similaire datée de 2015 a recueilli à ce jour plus de 26 000 signatures, dont celles de 4 000 chercheurs en IA, de Steven Hawking, de Noam Chomsky, et du cofondateur d’Apple Steve Wozniak.

Ces armes existent-elles aujourd’hui ? En 2008 déjà, l’Université d’Etat Polytechnique de Californie indiquait dans un rapport les capacités d’agir en autonomie du robot militaire sentinelle sud-coréen SGR-A1 placé dans la zone démilitarisée à la frontière avec la Corée du Nord : « le tir peut être contrôlé manuellement par un soldat ou par le robot en mode entièrement automatique ». Le constructeur du SGR-A1, Samsung Techwin, a toutefois nié cette affirmation, indiquant qu’une autorisation humaine était nécessaire avant d’ouvrir le feu.

Quoi qu’il en soit, les SALA sont indéniablement à l’étude : démonstrateur de drone de combat furtif européen nEUROn développé par Dassault Aviation depuis 2006, prototype de drone de combat américain X-47 A Pegasus (Northrop Grumman), drone britannique Teranis (BAE Systems)… En avril 2018, l’armée américaine a annoncé publiquement qu’elle développait les premiers drones capables d’identifier et de cibler aussi bien des véhicules que des humains grâce à l’IA. Une question de fond se pose : faut-il craindre l’avènement des robots tueurs autonomes ? Pour Amandeep Gill, ambassadeur de l’Inde et président du groupe d’experts gouvernementaux sur les SALA de l’ONU, la réponse est non. « Mesdames et messieurs, j’ai une nouvelle à vous annoncer : les robots ne sont pas en train de conquérir le monde. Les humains sont encore au pouvoir », a-t-il déclaré lors de la première réunion formelle du Groupe, en novembre 2017.

Grégory Bonnet indique : « nous sommes encore très loin d’être capables d’avoir des machines complètement autonomes (…) Et en bout de course, une machine ne prendra jamais la décision de tuer quelqu’un. Elle n’a pas d’intention : elle ne fait qu’obéir aux instructions qu’on lui a fournies. »

Déterminer la nature de ces instructions, et faire en sorte qu’elles soient en adéquation avec la loi et les valeurs morales de nos sociétés, devra être une priorité pour les champions de l’IA. Les entreprises et les institutions développant les IA, qu’elles soient civiles ou militaires, ne pourront plus se contenter de concentrer leurs efforts sur l’amélioration des performances de leurs machines intelligentes. Sergey Brin, président d’Alphabet, est conscient du défi à relever. « Nous vivons à une époque très inspirante et pleine de promesses. Mais ces opportunités demandent de grandes réflexions, et s’accompagnent de responsabilités immenses, car la technologie est profondément et irrévocablement imbriquée dans nos sociétés », écrivait-il en avril 2018 dans sa lettre aux actionnaires.

{{filterContent.facetedTitle}}

Contactez-nous

Frédéric Petitbon

Associé People and Organisation, PwC France

Tel : +33 1 56 57 65 99

Benjamin Ribault

Expertises : Ingénierie & Construction, Produits industriels, PwC France

Tel : +33 1 56 57 60 02 - Mob. : +33 6 83 82 22 71

Suivez-nous !
Hide