Comment déployer l’IA à l’échelle

Le passage à l'échelle de l'IA nécessite une bonne compréhension de la proposition de valeur que les outils d'IA peuvent apporter aux entreprises. Notre enquête sur les prévisions de l'IA réalisée en 2021 montre que 52 % des organisations ont accéléré leurs investissements dans l'IA suite à la crise pandémique, avec seulement 24 % d'entre elles réalisant un retour sur investissement positif. Alors que les organisations mettent en production des modèles d'IA, le principal facteur de différenciation réside dans la vision apportée à la proposition de valeur. Traditionnellement, le cœur de la proposition de valeur repose sur la valorisation des données acquises et sur un modèle statique basé sur des instructions fixes. Pour traiter les problématiques IA, il est essentiel de déplacer la proposition de valeur sur des paramètres en évolution continue, tenant compte des interactions humaines avec le service fourni en sortie et des données que ces interactions génèrent.

De nombreuses preuves de concept d'IA prometteuses parviennent à démontrer avec succès leur valeur pour les métiers, mais sont bloquées dans la mise en production du cycle de vie complet de l'IA, confrontées à des problèmes de design et d'intégration dans les opérations. Pour industrialiser les initiatives IA, PwC a développé une approche tripartite “gouvernance, technologie, éthique” permettant d’adresser les besoins métiers en IA de manière standardisée et ainsi de gérer les projets IA comme des produits à proprement parler.

Pourquoi les produits IA échouent à passer à l’échelle

Selon notre étude « Operationalizing Artificial Intelligence: Making the Promise a Reality », la majorité des entreprises ayant répondu précisent que la raison principale de l’arrêt du développement de l’IA est l’absence d’identification et de pilotage efficace de sa proposition de valeur.

En voici quelques limitations concrètes observées :

Difficultés à généraliser les modèles IA à plusieurs cas d’usage afin de maximiser le retour sur investissement d’un PoC malgré les bonnes compétences des équipes. En effet, une fois que le modèle IA tourne en production, les problématiques sont plus complexes et sont liées par exemple à la plus grande volumétrie des données, au besoin de s’intégrer dans les systèmes existants ou obsolètes. Superviser et conserver la bonne performance des modèles IA sans les laisser se détériorer en production constitue un véritable défi. La complexité des projets IA est un facteur limitant identifié par 25% des entreprises.
La responsabilité autour des produits et services valorisant l’IA est souvent mal définie dans la plupart des organisations. Les nouveaux produits IA ont besoin d’une gouvernance claire et transparente, en particulier d’une organisation ayant la bonne latitude pour intervenir aussi rapidement que possible en cas de dysfonctionnement de l’IA en production. Parmi les entreprises encore à la genèse de leur développement de l’IA, 52% déclarent que l’équipe technique est à l’initiative des projets IA. Pourtant, il paraît clair que l’IT ne peut pas être responsable de la performance opérationnelle de tous les métiers qui utilisent l’IA.
L’incapacité à répondre aux besoins réels de l’entreprise parce que les utilisateurs les plus concernés par les services IA ne sont pas mobilisés dès la conception du produit. En effet, les utilisateurs finaux devraient être impliqués dès les phases de conception du service, tout particulièrement si l’objet de l’IA vise l’amélioration de la performance opérationnelle ou de l’expérience utilisateur dans leurs activités quotidiennes.
L’émergence d’une grande variété de nouveaux risques liés à l’IA, comme l’interprétabilité des recommandations des modèles IA, la confiance et la transparence des décisions prises par l’IA, les biais humains sous-jacents, l’évolution rapide de la réglementation [...], mais les process de contrôle visant à mitiger ces risques s’avèrent souvent manquants ou inadéquats.

Pour répondre aux besoins métiers, les produits IA ont besoin d’outils et de prérequis techniques

Le cycle de vie d’un produit IA, qu'il soit utilisé en interne ou par des clients, a besoin d’être cadré par des frameworks techniques et des services. Ces outils sont indispensables dans la construction de capacités clés comme le passage à l’échelle et la gouvernance partagée.

Le Framework MLOps offre des solutions pour la collaboration, la maintenance et la traçabilité des produits IA

MLOps est un ensemble d’outils qui soutient la construction, le déploiement et l'opérationnalisation des modèles d'IA. Il vise à capitaliser les compétences en IA pour répondre aux besoins des entreprises de manière à maximiser le retour sur investissement. L'utilisation de ces outils permet d'améliorer la culture de collaboration entre les développeurs, les data scientists et les équipes métiers en restant agnostique à la technologie et orienté vers la réutilisation des modèles d'IA et la maintenance standardisée. Parmi les composants clés qui rendent les modèles d'IA réutilisables dans plusieurs projets, il y a :

Le Feature Store qui est un référentiel centralisé des features des modèles IA pour servir leur entraînement et inférence. En effet, les features peuvent être réutilisées pour de nouveaux projets, pour fournir un service de fonctionnalités en temps réel et faciliter la surveillance du modèle, en gardant une trace des datasets et pipelines créés pour une instance de modèles et ainsi fournir la capacité d’expliquer les prédictions faites. Dans la mesure du possible, le feature store doit être géré et doit évoluer avec le modèle de données de l'entreprise.
Le Model Registry est un référentiel centralisé qui vise à conserver l'historique de tous les modèles entraînés et faciliter leur partage et gestion. Toutes les métadonnées liées à ces modèles IA devraient être gérées par le model registry, y compris les features d'entrée, les résultats, la version, la date de mise en production, la date/période d'entraînement, etc.
Bien sûr, toutes pipelines automatisées CI/CD habituellement implémentées dans les méthodologies DevOps sont à reproduire pour la mise en production des modèles d’IA.

D’autres bonnes pratiques MLOps peuvent se révéler très utiles pour obtenir une gamme complète d’outils. On note en particulier:

L’Experimentation Environment pour explorer vos données et exécuter des scripts de manière interactive. Ayez votre code, votre texte, vos données et vos visualisations en un seul endroit.
Le Code Versioning consistant à versionner vos notebooks, pipelines et fichiers de configuration.
Le Pipeline Orchestration pour automatiser les étapes de vos expériences de ML. Planifiez des exécutions de pipeline automatiques pour recycler le modèle sur de nouvelles données.
L’Experiment Tracking afin de garder une trace des informations importantes sur vos expériences telles que les paramètres, les métriques et les modèles.
Le Runtime Engine qui optimise le code et répartit l'exécution sur plusieurs machines pour améliorer les performances.
Le Data Versioning afin de capturer des versions de vos données pour reproduire et suivre la traçabilité des modèles ML.
Le Model Serving pour créer des APIs qui utilisent votre modèle et font des prédictions.
L’Artifact Tracking pour stocker et suivre les ensembles de données, les modèles et les évaluations dans vos expériences et pipelines.
Le Model Monitoring qui supervise la performance pour détecter la dégradation des performances, les biais et la dérive des données. Détecter les problèmes tôt et y remédier.

Les services nécessaires à la continuité de service de l’IA : la feedback loop et le CM/CT

Les produits IA devraient être développés à la manière d’un service pouvant s’adapter facilement aux évolutions dans les données ou aux nouveaux schémas d’informations susceptibles d’apparaître au cours du temps. En effet, les modèles IA en production ont été entraînés et leur performance a été évaluée sur des datasets préparés spécifiquement à un instant donné et sont par construction différents des datasets en marche courante. Une fois poussés en production, les modèles IA ont besoin d’être continuellement supervisés “Continuous Monitoring” et potentiellement ré-entraînés “Continuous Training” à la demande (CM/CT). De cette manière, dans le cas où l’on observe la performance d’un modèle décroître ou qu’un nouveau jeu de données d’entraînement est disponible, une version améliorée du modèle IA peut être facilement déployée.

La Feedback Loop est également un process essentiel permettant d’améliorer en continue la performance d’un modèle en prenant en compte la confirmation ou invalidation des résultats IA par l’utilisateur final. Sans vigilance rigoureuse, les modèles IA peuvent eux-mêmes créer des problèmes et de nouveaux risques pour l’entreprise lorsqu’ils proposent des recommandations non-pertinentes ou font des prédictions imprécises. Afin de s'assurer que les besoins métiers soient bien satisfaits, la conception du service IA doit permettre de capturer, si possible automatiquement, le niveau de satisfaction de l’utilisateur sur les éléments suivants :

L’analyse de la sortie du modèle doit permettre de détecter les changements dans les comportements de prédiction de l’IA, liés à sa performance, généralement évalués par l’utilisateur final. On parle de Concept Drift. Les capacités d’explicabilité du modèle sont alors souvent importantes et une analyse détaillée doit permettre d’évaluer les causes conjoncturelles ou structurelles de ces changements.
L’analyse de la donnée d’entrée du modèle doit permettre de détecter les changements qui auraient un impact sur la performance du modèle. On parle alors de Data Drift. La détection de ces déviations dans la quantité d’information peut permettre de relancer automatiquement une mise à jour du modèle ou un apprentissage sur un jeu de données spécifiques.
Le suivi de la performance opérationnelle finale est également un enjeu crucial souvent oublié. En effet, le service IA est parfois valorisé au travers d’une application ou d’un service plus général et l’IA est une composante dont les performances intrinsèques peuvent être bonnes mais qui, lors de l’utilisation, ne révèle pas de véritable surperformance, voire même, peut être contre-productif. On parle alors de Operational Performance Drift.

Combiner avec des domaines de responsabilité

Cependant, les compétences et outils techniques restent des conditions nécessaires mais pas suffisantes pour garantir un déploiement à l’échelle des produits IA dans une entreprise. Nous recommandons de considérer à minima les 3 domaines de responsabilité suivants dans une organisation :

Une fonction doit s’attacher à la gouvernance IA pour définir les standards et pratiques qui lient les équipes mais également les process d’implémentation pour livrer des produits IA fiables. Une stratégie claire définissant la vision d’entreprise devrait guider la gestion du portefeuille et la hiérarchisation des projets IA. Une bonne gestion du portefeuille nécessite également une connaissance approfondie du contexte, y compris du marché et des capacités internes IA, du point de vue data science à la perspective business des utilisateurs finaux. Par exemple, la réalisation d’un état des lieux régulier auditant les pratiques et le niveau d'intégration de l'IA dans l'entreprise permet de prévenir et limiter les risques de dérive d’un produit IA.
Une fonction doit porter le sujet lié à l’IA responsable qui entre autres chantiers est un investissement dans l'éducation et la formation continue sur les pratiques de l'IA. L'objectif est d’informer pour tous les défis et les responsabilités que soulèvent l’IA en termes d'éthique et de valeurs. C’est un moyen essentiel pour développer une culture IA et d’impliquer tous les niveaux de l’entreprise, du comité exécutif à l'ensemble des corps de métier. Cela permet de responsabiliser l’organisation sur l'auditabilité et l'explicabilité des modèles IA en production, ce qui réduit considérablement les risques liés à la conformité et au réglementaire. Des risques comme la législation sur la protection de la vie privée, l'accréditation de conformité, etc., sont sécurisés par un contrôle autonome de l'IA responsable qui est au fait des changements qui émergent rapidement.
Une fonction pour mettre à disposition une plateforme IA qui comporte tous les services et outils techniques nécessaires pour construire et superviser les modèles IA en production. Elle doit être dimensionnée de manière à garantir la performance des modèles et les services MLOps comme le feature store, le model registry, le feedback loop, le continuous monitoring/continuous training, etc. La plateforme IA doit être adossée à une plateforme data et être hautement interopérable avec les systèmes existants.

La nécessité d'avoir un comité de direction engagé

Les entreprises qui ont réussi à embarquer tous les métiers et à transformer leurs PoCs IA en véritables produits IA partage un facteur clé de succès de manière consistante : un comité de direction engagé. Les exécutifs comprennent l'importance et les possibilités que l'IA génèrent, c’est pourquoi compter sur leur engouement dans la transformation IA est dans les faits simple à atteindre. En effet, ils ont conscience des gains considérables que l’IA apporte à être implémentée de manière durable dans l’entreprise. Toutefois, l’opérationnalisation de l’IA soulève de nouveaux défis importants, elle peut par exemple créer des équipes IA cloisonnées se sentant incomprises ou déconnectées des chaînes de valeur business. Elle peut également être à l’origine de comportements réfractaires au changement en raison de croyances erronées sur l'IA. Par ailleurs, il est important que l’ensemble des exécutifs soient concernés et pas seulement ceux qui ont déjà des connaissances IA car non seulement cela affirmera une ambition intelligible, mais aussi montrera que les activités liées à l’IA sont prioritaires. En particulier, que les activités liées à l’IA sont prioritaires à court terme, là où l'IA est souvent perçue comme un nice-to-have face aux urgences opérationnelles.

Prochaine étape : Quelle est la maturité actuelle de l’IA de votre organisation ?

Comprendre le stade actuel de maturité de l'IA d'une organisation est crucial pour mettre en place les bons efforts et activer les leviers au bon moment et ainsi atteindre le niveau supérieur de maturité. PwC a développé un framework d’évaluation de la maturité IA à partir de l’accompagnement de ses clients visant à soutenir leurs efforts pour passer à une organisation véritablement axée sur l'IA. En voici brièvement les niveaux identifiés :

Le niveau “Exploration”. Ici, l'organisation encourage ses collaborateurs à l'innovation, à tester des preuves de concept et voir si l'IA peut concrètement apporter de la valeur de manière opportuniste. Aucun modèle IA n’a été déployé en production à ce stade. De nombreuses réflexions sont menées collectivement notamment pour faire état des risques potentiels et du besoin de sensibilisation que soulève les pratiques d'IA en entreprise. On peut également déjà voir à ce stade se structurer des principes très haut niveau pour cadrer les standards des développements de l'IA.
Le niveau “Expérimentation”. Ici, quelques modèles IA tournent en production sur des cas d’usages simples pour lesquels la valeur ajoutée est bien identifiée et démontrée. Ils sont généralement développés à l'aide d'outils MLOps qui permettent de stocker les métadonnées des modèles IA, telles que la version ou les paramètres d’entrée des modèles. De plus en plus de standardisation et de process sont mis en place pour permettre l'automatisation et le suivi du cycle de vie de l'IA de bout en bout. En effet, la plus grande gouvernance des produits IA gagnée à ce stade induit naturellement une meilleure visibilité sur les implications éthiques de l'IA, par exemple la prise de conscience de la responsabilité commune et la gestion des risques.
Le niveau “Optimisation”. Ici, les modèles d'IA sont déployés, supervisés et améliorés en permanence afin de renforcer les indicateurs de performance stratégiques et opérationnels (délai de mise en production, performance des modèles IA, nombre de cas d’usage implémentés, etc.) Les outils MLOps sont suffisamment robustes pour fournir l'infrastructure et les ressources nécessaires à la mise à l'échelle automatisée des modèles IA, permettant des développements efficaces et standardisés tout au long du cycle de vie de l'IA. À ce stade, un centre d'excellence s’est organisé pour jouer un rôle fort et central dans la diffusion de la culture IA pour toute l'entreprise, en veillant à ce que les standards et les process utilisés permettent une collaboration efficace entre les équipes.
Le niveau “Transformation”. Ici, les produits IA sont gérés collectivement d'une manière qui disrupte radicalement l'organisation et qui adapte continuellement le business model en fonction des apprentissages permis par l'IA. À ce stade, les modèles IA sont totalement intégrés dans les process métiers avec un suivi / une amélioration continue des indicateurs de performance stratégiques et opérationnels. Il existe des rôles et des responsabilités clairement définis qui soutiennent des mécanismes durables et autosuffisants pour faire face aux défis réglementaires et éthiques.

Passer du PoC à l'IA opérationnelle revient souvent à se poser ces questions de manière collective :

Connaissez-vous la maturité de l’IA dans votre entreprise ? Avez-vous du mal à pousser en production vos PoCs IA ?
Quel est le degré de collaboration actuelle entre ceux qui produisent l'IA (équipes techniques) et ceux qui la consomment (interne ou clients) dans l’organisation ?
Avez-vous un comité de direction suffisamment impliqué dans cette transformation ?

Vous voulez aller plus loin dans la mise à l'échelle de l’IA ? Contactez-nous pour faire une évaluation de la maturité de l’IA de votre organisation actuelle.