Comment l'intelligence artificielle a impacté les fonctions risques de PwC France et Maghreb ?

00:00:01 
Raphaëlle Duchemin : Bienvenue dans Histoires d'IA. Ensemble nous allons de service en service voir comment, au sein de PwC France et Maghreb, l'intelligence artificielle, et notamment la GenAI a bouleversé les manières de faire. À chaque métier son application et un outil commun qui vient s'adapter et auquel les salariés de l'entreprise vont aussi devoir s'adapter. Je suis Raphaëlle Duchemin et je vous emmène partager les expériences de celles et ceux qui aujourd'hui ont joué le jeu en interne du fameux « Client Zéro ».

00:00:38 
Raphaëlle Duchemin : Bonjour Olivier Cothenet.

00:00:39 
Olivier Cothenet : Bonjour Raphaëlle.

00:00:39 
Raphaëlle Duchemin : Merci d'être avec nous. Vous êtes Head of IT Governance. Votre métier, si je résume, c'est notamment de vous assurer que les règles, les normes, les standards sont bien respectés. Et quand on parle d'intelligence artificielle, ça veut dire maîtriser le fameux paramètre risque. Vous m'avez dit : « L'IA, l'intelligence artificielle, est arrivée dans le quotidien des collaborateurs et, en quelque sorte, on a dû réagir. » Vous ne l'aviez pas vue venir ?

00:01:09 
Olivier Cothenet : L'intelligence artificielle est venue très vite. Quand on regarde un peu l'histoire des technologies, c'est une des technologies qui a été le plus rapidement adoptée en masse à l'échelle de la planète. Cette arrivée, nous l’avons vécue de façon un peu brutale. Nous en entendions parler sur Internet et c'est arrivé dans les bureaux, dans les méthodes de travail. Il a fallu s'adapter rapidement à cette transformation, travailler avec et ne pas se dire que qu'il fallait la laisser de côté, ou la bloquer. C'était un outil qui allait vraiment transformer l'entreprise.

00:01:43 
Raphaëlle Duchemin : Ça veut dire qu'elle est arrivée dans l'entreprise parce que les gens l'ont apportée de l'extérieur ?

00:01:49 
Olivier Cothenet : Les gens ont très rapidement compris comment ça fonctionnait. Ils ont pu l'utiliser dans le cadre personnel, et les outils personnels rentrent vite dans l'entreprise par le biais d'Internet et par le biais des habitudes. Nous ne pouvions pas dire non aux collaborateurs qui voyaient un intérêt à utiliser cette intelligence artificielle.

00:02:06 
Raphaëlle Duchemin : De ce fait, ils arrivent avec au bureau et vous vous dites : « Attention, risques ! » Effectivement, il va falloir mettre les bons garde-fous et regarder comment on peut leur proposer de continuer à utiliser tout en sécurisant.

00:02:21 
Olivier Cothenet : La première approche, quand on voit ce genre de technologie qui arrive, c'est de couper l’accès. Aujourd'hui, avec les outils réseau, nous pouvons très facilement couper l'accès à ces ressources aux collaborateurs, mais pour l’IA, l'idée a été de se dire que nous ne pouvions pas les laisser sans ces outils qui vont devenir clé pour leur futur. Nous avons donc travaillé pour les apprivoiser et s'assurer du bon niveau de confiance. La confiance est clé dans notre métier puisque nous sommes un des acteurs de confiance sur le marché, pour tous les sujets de rapports financiers. Cette confiance doit aussi se traduire dans les outils que nous utilisons et c’est pour cela que nous avons travaillé pour obtenir un niveau de confiance suffisant dans ces outils et laisser les collaborateurs les utiliser dans le cadre de leur métier.

00:02:57 
Raphaëlle Duchemin : Plutôt que de bloquer, vous avez décidé de surfer sur la vague, c'est ça ?

00:03:03 
Olivier Cothenet : Il a fallu adopter ces outils et nous l’avons fait assez vite. Si nous regardons le réseau de PwC, finalement, la France a été un leader dans l'adoption de ces technologies. Nous nous sommes très vite penchés sur le fonctionnement de ces outils, quels étaient les risques associés pour pouvoir les évaluer et voir si, finalement, on pouvait accepter ces risques et laisser nos collaborateurs utiliser ces outils.

00:03:24 
Raphaëlle Duchemin : Quels étaient-ils, ces risques, précisément ?

00:03:27 
Olivier Cothenet : L'un des défis majeurs avec ces outils réside dans la compréhension de leur construction. Les fabricants restent souvent très discrets quant à leur fonctionnement. Bien que nous sachions qu'ils utilisent d'énormes quantités de données, nous ignorons souvent lesquelles. Il a donc fallu accepter que nous n'aurions pas connaissance de tous les composants de cette technologie.

Tout d'abord, nous avons veillé à ce que les données intégrées dans ces intelligences artificielles soient correctement cloisonnées et ne quittent pas le cadre défini pour leur utilisation. Ensuite, nous nous sommes assurés de la fiabilité des réponses fournies par ces intelligences artificielles. Il était crucial de rester vigilant face aux biais potentiels dans les réponses, aux erreurs de jugement, et à l'obsolescence des informations fournies. En somme, nous devions évaluer comment interpréter les réponses de l'IA en tant qu'humains, et garantir leur fiabilité.

00:04:22 
Raphaëlle Duchemin : Je vous écoute et je me dis quand même que quand on manipule le risque au quotidien, ça ne doit pas être évident de se dire : « Là, je ne peux pas aller voir en coulisse comment ça fonctionne pour fermer les verrous et m'assurer que tout va bien. » Il faut accepter qu'on ne sache pas tout. Ça reste quand même assez audacieux quand on est un spécialiste du risque.

00:04:42 
Olivier Cothenet : Nous avons dû accepter l'évolution dès le départ. Cependant, nous collaborons avec les éditeurs pour mieux comprendre le fonctionnement de ces intelligences artificielles et obtenir plus d'explications quant à leur processus décisionnel. Parfois, nous devons continuer à limiter l'utilisation de certaines IA jusqu'à ce que les éditeurs deviennent plus transparents. Nous espérons que dans les mois à venir, ils seront plus ouverts et fourniront des outils permettant de tracer le parcours exact de l'information au sein des IA et de comprendre les décisions prises. Il est nécessaire de faire preuve de patience.

00:05:18 
Raphaëlle Duchemin : Vous deviez en même temps agir pour ne pas avoir toujours ces fameux utilisateurs isolés qui se seraient, j'imagine, affranchis de certaines règles. Le mieux, c'est donc de prendre les devants, de maîtriser et de partager ?

00:05:34 
Olivier Cothenet : Nous avons été assez ouverts : au lieu de laisser les gens jouer dans leur coin, nous avons tout de suite dit que nous cherchions à lancer des projets avec l'intelligence artificielle. Nous nous sommes rapprochés des métiers, nous avons essayé de travailler avec eux pour déterminer quels étaient leurs cas d'utilisation, comprendre quels étaient les outils qu'ils souhaitaient utiliser au quotidien, pour travailler tout de suite dessus, voir dans quelles mesures nous pouvions les autoriser et les laisser continuer d'innover. Dans certaines configurations, nous avons des lignes de métiers spécialisées dans l'IA. Il était hors de question d'avoir une approche coercitive, il fallait pouvoir les laisser innover. Nous avons donc établi des règles spécifiques liées à leur métier d’innovation, pour qu'ils puissent utiliser ces IA dans un cadre très précis, avec des exceptions bien définies et suivies dans le temps.

00:06:18 
Raphaëlle Duchemin : Vous m'avez dit, Olivier : « Ça nous a aussi obligés à retravailler l'approche des risques. » C'est-à-dire ?

00:06:27 
Olivier Cothenet : Nous faisons face à une technologie nouvelle dont nous ne pouvons pas tout expliquer, alors que dans le domaine du risque, nous préférons être dans une position où tout est largement cadré et sans risque. Il a fallu revoir nos positions, déterminer notre tolérance au risque par rapport à l'IA et faire davantage de concessions que d'habitude. En général, lorsque nous adoptons une technologie, nous la laissons évoluer sans intervenir continuellement. Avec l'IA, nous devons être constamment vigilants, nous interroger régulièrement, et mettre à jour nos connaissances sur les changements et les nouveautés apportées. Nous évaluons si ces nouveautés sont acceptables ou si elles nécessitent des limites. Ces évaluations sont très fréquentes avec l'intelligence artificielle.

00:07:06 
Raphaëlle Duchemin : En parlant d’évolution, comment voyez-vous la suite ? Vous avez le sentiment que cette IA devient de plus en plus fiable ? Est-ce que nous nous dirigeons vers de la donnée sécurisée, vers quelque chose qui va pouvoir être utilisé avec un contrôle un peu moindre ?

00:07:25 
Olivier Cothenet : Actuellement, nous laissons toujours l'humain évaluer la qualité des résultats, ce qui est crucial pour l'amélioration de l'IA. Nous demandons aux utilisateurs de faire des retours sur la qualité des réponses, afin que les développeurs puissent corriger d'éventuels problèmes. Ainsi, les réponses deviendront de plus en plus précises avec le temps. Ce qui nous importe, du point de vue des risques, c'est l'avancée de l'explicabilité de l'IA, afin de tracer le cheminement des décisions prises par cette technologie. Dans notre travail d'audit, il est essentiel d'avoir des preuves tangibles de ce qui s'est passé pour générer ces pistes d'audit. Nous espérons donc des améliorations à ce niveau pour optimiser les performances des IA.

00:08:12 
Raphaëlle Duchemin : Finalement, les erreurs de l'IA vous nourrissent aussi et vous permettent de l'améliorer et d'améliorer la relation que l'utilisateur va avoir avec elle.

00:08:20 
Olivier Cothenet : Nous sommes dans un cycle d'amélioration continue, une démarche win-win où l'IA nous nourrit et nous nourrissons l'IA. Ce qui est aussi intéressant, c'est que quelque part, elle nous pousse à se réinventer plus vite. Elle va très vite, elle est capable de fournir des éclairages sur des problématiques qui sont assez complètes. Ça nous permet de nous reposer la question sur comment on va fonctionner, ne serait-ce que dans le domaine des risques où, finalement, grâce à l'IA, on peut analyser plus en profondeur certains sujets, on peut aller plus loin, on peut lire plus vite des contrats. Donc, ça va nous permettre de réinventer notre métier, de réinventer la façon dont on va produire nos analyses, et on est dans une situation où on est gagnants.

00:08:59 
Raphaëlle Duchemin : Pendant cet entretien, Copilot était avec nous et a probablement une question, ou peut-être même plusieurs à vous poser.

00:09:08 
Olivier Cothenet : Très bien, oui.

00:09:08 
Raphaëlle Duchemin : Olivier, l'intelligence artificielle voudrait savoir comment vous vous adaptez aux évolutions réglementaires qui sont liées à l'IA.

00:09:17 
Olivier Cothenet : Effectivement, l'IA évolue vite et les réglementations qui y sont associées tout autant, et c'est quelque chose qu'on ne peut pas faire seul. Nous nous sommes entourés d'experts au sein de la firme, des experts pluridisciplinaires qui font appel à des compétences juridiques, des compétences d'expertise technique et des compétences liées aux risques. Nous avons constitué un groupe de travail pour éplucher les réglementations émises, notamment par la Commission européenne. Nous regardons comment elles vont se décliner au sein de nos processus, pour s'assurer que notre utilisation de l'IA est toujours conforme aux réglementations et que nous pouvons toujours avoir confiance dans cette utilisation. La confiance est un élément important dans notre métier, et notamment pour la qualité des prestations que nous délivrons à nos clients.

00:10:00 
Raphaëlle Duchemin : Dans les équipes justement, il y a des esprits qui ont bien compris l'enjeu. Pour ne pas se laisser dépasser par l'IA, les collaborateurs doivent garder la main, un temps d'avance et revérifier tout, toujours. C'est le secret pour ne pas passer à côté des erreurs, des hallucinations ou des biais dont on vient de parler, de l'intelligence artificielle.

00:10:25 
Raphaëlle Duchemin : Bonjour Agathe Campi.

00:10:27 
Agathe Campi : Bonjour !

00:10:27 
Raphaëlle Duchemin : Merci d'être avec nous. Vous êtes en charge de la partie risques à la DSI. Ça signifie que quand l'IA est apparue chez PwC France et Maghreb, c'était une évidence pour vous de vous pencher sur le sujet ?

00:10:42 
Agathe Campi : Oui, plutôt parce qu'à la DSI, Nous avons été vraiment sur le front en termes d’adoption des outils IA. Nous avons beaucoup participé au programme d'adoption de l'intelligence artificielle au sein de PwC, et la partie risques a été intégrée dès le début, justement pour gérer ces sujets d'éthique de l'intelligence artificielle, de conformité. Par la force des choses, au sein de mon travail quotidien, je me suis confrontée à l'intelligence artificielle, et, pour pouvoir bien faire mon travail de gestion de risques, j'ai voulu adopter ces outils rapidement pour les comprendre et les intégrer dans ma routine professionnelle.

00:11:27 
Raphaëlle Duchemin : Ça veut dire qu'on va aller tester en amont, voir quels sont les angles morts, voir quels sont les manques. Qu'est-ce que vous avez constaté et comment est-ce que vous avez fait en sorte que l'outil corresponde à vos attentes ?

00:11:41 
Agathe Campi : Au départ, nous avons consulté la documentation fournie par les fournisseurs, qui était souvent très instructive. Ils expliquaient le fonctionnement de l'IA et les surcouches algorithmiques ajoutées pour minimiser les biais et réduire les hallucinations. Ensuite, nous avons testé l'IA en la confrontant à des documents complexes pour évaluer sa capacité à identifier les informations clés demandées et à développer des concepts juridiques ou techniques, tels que la cybersécurité. Cela nous a permis de comprendre comment effectuer un contrôle qualité des résultats.

00:12:27 
Raphaëlle Duchemin : Vous nous avez parlé des hallucinations, est-ce que c'est quelque chose auquel vous êtes régulièrement confrontés ? Qu'est-ce que c'est exactement ?

00:12:35 
Agathe Campi : Je ne dirais pas régulièrement confrontés, mais c'est quelque chose dont nous parlons très souvent chez PwC, parce que ça fait vraiment partie des avertissements que nous donnons à nos collaborateurs. Ma définition d'une hallucination n'est peut-être pas très scientifique, mais c'est quand l'IA répond complètement à côté de ce qu'on attend, c'est-à-dire qu'elle peut se retrouver à inventer quelque chose ou à juste donner des informations qui n'ont pas de rapport avec ce qui était attendu. Cela vient du fait que globalement, l'IA générative a été conçue pour générer du contenu, donc même quand elle ne sait pas, le plus souvent, au lieu de dire qu'elle ne sait pas, elle répond quelque chose. 

Quand je lui demandais de m'aider à déchiffrer, par exemple un texte ou un contrat, ou un code de conduite un peu compliqué, et je lui demandais où se trouvait telle chose dans le texte, elle me répondait quelque chose. Puis quand je creusais et que j'allais chercher dans le document, je ne retrouvais pas. Quand je lui demandais de préciser la source, elle finissait par admettre : « Ah ! En fait, il n'y a pas cet élément que vous recherchez. » Donc, il faut faire très attention à ce genre de résultat de l'IA, parce que ça peut arriver.

00:13:41 
Raphaëlle Duchemin : Donc, ça veut dire que systématiquement, quand l'IA, aujourd'hui, vous répond quelque chose, vous allez quand même vérifier sa réponse ?

00:13:47 
Agathe Campi : Oui. Le contrôle humain fait partie des standards que nous demandons à tous nos collaborateurs d'appliquer, parce que l'IA est un outil, ce n'est pas un devin. Les réponses ne sont jamais 100 % certaines. Alors oui, il faut toujours contrôler.

00:14:02 
Raphaëlle Duchemin : Quand est-ce que vous avez commencé véritablement à vous en servir ? C'est-à-dire à passer à la phase suivante et à dire : « Ça y est maintenant, on est rassurés » ? Et comment est-ce que vous l'avez appliqué dans votre métier ?

00:14:14 
Agathe Campi : J'ai commencé à m'en servir très régulièrement l'année dernière, et je m'en sers pour plusieurs tâches. Déjà, le plus important, et c'est un discours que nous essayons de tenir auprès de nos collaborateurs, c'est que ce n'est pas fait pour remplacer un expert, l’IA n’est pas un système expert ultrapointu, donc ça ne peut pas remplacer un juriste ou un expert en cybersécurité, ce n'est pas fait pour ça. Cependant, c'est très utile pour réaliser certaines tâches, par exemple aborder un nouveau sujet, ça peut donner un premier aspect à aborder, quelques premières sources à aller creuser.

Je m'en sers beaucoup pour la partie « explicative ». C'est aussi très utile pour rédiger, ou faire des brouillons. Ça permet de passer au-dessus de l'angoisse de la feuille blanche quand on doit écrire quelque chose, que ce soit un mail ou un document pour lequel on ne sait pas trop par où commencer. Un prompt assez détaillé permet au moins de commencer avec un premier jet et ensuite d'itérer dessus. C’est très pratique, surtout côté risque où il faut documenter et formaliser beaucoup de choses. C'est particulièrement utile.

La troisième utilisation, qui est plus récente, est arrivée avec les agents, et s'est avérée très utile pour les fonctions risque. Chez PwC, nous avons énormément de règles, de codes de conduite, de standards qui sont soit inspirés par de la réglementation, soit inspirés par des normes d'éthique qu'on veut respecter. Comme il y a un foisonnement de textes, qui viennent à la fois de notre entité globale et locale, c'est très utile d'avoir un agent qu'on nourrit avec tous ces textes qu'on peut ensuite interroger pour qu'il puisse nous rediriger vers la bonne clause, le bon code de conduite, etc.

00:15:54 
Raphaëlle Duchemin : Vous m'avez dit : « Quand j'ai une question très juridique, par exemple, je prompte d'abord Copilot. »

00:16:01 
Agathe Campi : Oui, oui. Je suis juriste de formation, mais je ne pratique pas forcément au quotidien le droit des contrats, par exemple. Il arrive qu’avant de contacter notre service juridique pour leur poser une question, j'essaye de débroussailler le sujet de mon côté pour pouvoir leur poser une question qui soit constructive et, surtout, gagner du temps. Alors oui, souvent, je prompte Copilot pour avoir au moins la base du sujet, retrouver le texte de loi applicable, éventuellement trouver de la jurisprudence s'il arrive à en trouver. Évidemment, cette IA en particulier n'a pas accès aux bases de données juridiques spécialisées. Copilot ne peut pas remplacer un juriste, mais c'est un bon premier point d'entrée.

00:16:41 
Raphaëlle Duchemin : La dernière question, ce n'est pas moi qui vais vous la poser, Nous allons la demander à l'IA générative. Agathe, l'IA voudrait savoir quels types de risques, en dehors des hallucinations dont on a parlé, vous avez identifiés avec l'utilisation de l'IA générative.

00:16:57 
Agathe Campi : Il existe plusieurs types de risques liés à l'utilisation de l'IA générative. Le premier concerne la confidentialité. Nous avons interdit l'usage des IA apprenantes pour éviter que nos données n'alimentent un modèle d'intelligence artificielle qui pourrait entraîner la divulgation de données de PwC ou de nos clients à d'autres utilisateurs. La confidentialité est donc notre principale préoccupation.

Un autre risque important est d'ordre réglementaire, en particulier avec l'arrivée du Règlement européen sur l'IA l'été dernier. Nous travaillons activement pour comprendre ce texte complexe et technique, afin de nous y conformer. Cette réglementation impose des exigences non seulement aux fournisseurs d'IA, mais aussi aux entreprises qui déploient ces systèmes, comme PwC. Ainsi, bien que cela représente un risque, ce cadre réglementaire guide désormais notre utilisation de l'IA, et se trouve au cœur de notre travail en matière de gestion des risques technologiques.

00:18:05 
Raphaëlle Duchemin : C'était Histoires d'IA, la série de ceux qui font et qui se transforment grâce à l'intelligence artificielle. Retrouvez tous les épisodes sur pwc.fr.