Pourquoi mesurer, et pourquoi se méfier des chiffres tout faits
Après une formation IA, la direction pose souvent la même question : qu’est-ce que cela a changé ? La question est légitime : une formation représente un budget et du temps de travail. Elle appelle pourtant une réponse prudente. Les pourcentages de gain de productivité qui circulent dans les présentations commerciales ou les articles de presse proviennent d’études menées dans d’autres contextes, sur d’autres tâches, avec d’autres méthodes : ils ne disent rien de votre équipe. Les reprendre dans un bilan interne revient à afficher un résultat que personne n’a mesuré. La seule mesure qui vaille est celle que vous construisez sur vos propres données, avec une méthode simple et honnête. Cet article propose une démarche en plusieurs étapes : établir un point de départ avant la formation, interroger les participants avant et après, suivre les indicateurs d’usage des outils, chronométrer quelques tâches vous-mêmes, évaluer la qualité, faire un point à 30 jours et restituer les résultats sans les embellir.
Quatre niveaux d’évaluation
Un cadre classique, le modèle de Kirkpatrick, distingue quatre niveaux d’évaluation d’une formation, et il s’applique bien à l’IA générative. Le premier niveau est la réaction : les participants ont-ils trouvé la formation utile, adaptée à leur métier, bien animée ? C’est ce que mesure l’évaluation de fin de session. Le deuxième est l’apprentissage : savent-ils formuler une demande précise, vérifier une réponse, reconnaître une donnée à ne pas saisir ? Un exercice ou une évaluation finale permet de le vérifier. Le troisième est le comportement : utilisent-ils réellement les outils dans leur travail, et de la bonne façon, quelques semaines plus tard ? C’est le niveau le plus important, et le plus souvent négligé. Le quatrième est le résultat pour l’organisation : qualité, délais, charge de travail, satisfaction des clients internes ou externes. Il est le plus difficile à attribuer à la seule formation. Une démarche réaliste couvre les trois premiers niveaux avec rigueur et aborde le quatrième avec prudence.
Avant la formation : établir un point de départ
On ne peut mesurer un changement sans savoir d’où l’on part. Avant la formation, trois informations suffisent. D’abord, les usages actuels : qui utilise déjà un assistant d’IA, pour quelles tâches, à quelle fréquence, avec quel outil et quel type de compte. Ensuite, les tâches visées : la formation doit être reliée à quelques tâches précises du métier, par exemple la rédaction de comptes rendus, la réponse aux demandes clients récurrentes ou la synthèse de documents longs. Enfin, l’état de ces tâches aujourd’hui : combien de temps elles prennent, quelle qualité elles atteignent, quelles difficultés elles posent. Le questionnaire de besoins envoyé avant une formation AI2 recueille déjà une partie de ces informations ; l’entreprise peut le compléter avec ses propres questions. Ce point de départ n’a pas besoin d’être parfait. Il doit simplement être noté, daté et conservé, pour que la comparaison ultérieure repose sur autre chose que des impressions. Sans lui, toute mesure après coup reste fragile.
Le questionnaire avant et après
Le questionnaire est l’outil le plus simple et l’un des plus utiles. Il s’adresse aux participants avant la formation, puis quelques semaines après, avec les mêmes questions, pour permettre une comparaison. Il porte sur des éléments observables plutôt que sur des opinions générales. Par exemple : à quelle fréquence utilisez-vous un assistant d’IA dans votre travail ? Pour quelles tâches ? Vous sentez-vous capable de formuler une demande qui donne un résultat exploitable du premier coup ? De vérifier une réponse ? Savez-vous quelles données vous ne devez jamais saisir ? Savez-vous à qui vous adresser en cas de doute ? Des réponses sur une échelle de un à cinq, complétées par une ou deux questions ouvertes, suffisent. Le questionnaire doit rester court pour que chacun y réponde. Les résultats sont à lire avec prudence : il s’agit d’une auto-évaluation, qui mesure la confiance et les usages déclarés, pas la performance réelle. C’est pour cela qu’il se complète par d’autres indicateurs.
Les indicateurs d’usage des outils
Lorsque l’entreprise a déployé une offre entreprise, les consoles d’administration proposent en général des rapports d’usage, selon l’éditeur et le niveau d’offre : nombre d’utilisateurs actifs, fréquence d’utilisation, parfois répartition par application ou par fonction. Pour Microsoft 365 Copilot, des rapports d’usage sont disponibles pour les administrateurs ; les offres entreprise de ChatGPT, Claude ou Gemini proposent des informations comparables, dont le détail varie. Ces indicateurs répondent à une question précise : les personnes formées utilisent-elles l’outil, et de façon régulière ? Ils permettent aussi de repérer les licences attribuées mais inutilisées. Ils ont deux limites. Ils mesurent l’activité, pas la qualité : un usage fréquent n’est pas forcément un bon usage. Et ils doivent être exploités dans le respect des règles internes et du RGPD : l’objectif est de piloter un déploiement à l’échelle de groupes, pas de surveiller individuellement les salariés. Les représentants du personnel peuvent utilement être informés de cette démarche.
Chronométrer quelques tâches, vous-mêmes
Pour mesurer un effet sur le temps de travail, la méthode la plus fiable est aussi la plus simple : chronométrer vous-mêmes quelques tâches représentatives. Choisissez deux ou trois tâches précises et répétitives, par exemple rédiger un compte rendu à partir de notes, répondre à une demande client type, synthétiser un document de vingt pages. Préparez des exemples comparables, rendus fictifs si nécessaire. Demandez à quelques volontaires de réaliser la tâche avant la formation, puis à nouveau quelques semaines après, sur un exemple de difficulté équivalente, en notant le temps passé et l’effort de correction. Le résultat vaut pour vos tâches, vos équipes et vos outils, et pour rien d’autre. Il comporte des biais connus : les participants progressent aussi parce qu’ils refont un exercice similaire, et un petit échantillon donne des résultats variables. Présentez donc les chiffres obtenus comme des observations internes, avec la méthode utilisée et ses limites, et non comme une mesure générale de productivité.
La qualité, pas seulement la vitesse
Mesurer uniquement le temps est un piège. Un compte rendu produit plus vite mais moins exact, ou une réponse client plus rapide mais plus impersonnelle, ne constituent pas un progrès. La qualité doit donc faire partie de l’évaluation. Plusieurs approches sont possibles. Faire relire un échantillon de documents produits avant et après la formation par une personne qui connaît le métier, selon des critères définis à l’avance : exactitude, complétude, clarté, ton, respect des consignes. Suivre quelques indicateurs déjà disponibles dans l’entreprise, lorsque c’est pertinent : nombre d’allers-retours avant validation d’un document, réclamations liées à des erreurs, retours des destinataires. Vérifier aussi le respect des règles : les données sensibles restent-elles hors des outils non validés ? Les productions sont-elles relues avant diffusion ? Une formation qui augmenterait l’usage de l’IA tout en dégradant la confidentialité ou la fiabilité serait un échec, même si les indicateurs d’usage progressent.
Le point à 30 jours
Trente jours après la formation, les nouveaux usages se sont installés ou ont disparu. C’est le bon moment pour faire le point. Les formations de deux jours de la gamme Premium d’AI2 incluent un point de suivi à 30 jours, en visioconférence, avec le formateur. Pour une formation d’une journée, l’entreprise peut l’organiser elle-même, avec le manager ou le référent IA. Ce point répond à quelques questions simples. Quels usages chaque participant a-t-il adoptés ? Lesquels a-t-il abandonnés, et pourquoi ? Quelles difficultés rencontre-t-il : accès aux outils, qualité des résultats, doutes sur les règles ? Quels prompts de la bibliothèque sont réellement utilisés ? Quelles questions restent sans réponse ? Le point à 30 jours est aussi le moment de relancer le questionnaire et de refaire les tâches chronométrées. Il fait souvent apparaître des obstacles très concrets, comme une licence non attribuée ou un outil bloqué, qui expliquent un usage faible mieux qu’un défaut de formation.
Les signaux qualitatifs à recueillir
Tout ne se mesure pas par un chiffre, et certains signaux qualitatifs sont très parlants. Les exemples d’usage partagés spontanément dans l’équipe, lors d’une réunion ou dans un canal dédié. Les contributions à la bibliothèque de prompts commune : des prompts ajoutés, améliorés, commentés. Les questions posées au référent IA ou au manager, qui montrent que les règles sont connues et prises au sérieux. Les demandes de formation complémentaire, qui signalent un intérêt réel pour aller plus loin. À l’inverse, certains signaux doivent alerter : un silence complet après la formation, des usages qui continuent sur des comptes personnels, des documents diffusés sans relecture. Le manager est le mieux placé pour recueillir ces signaux, à condition de les rechercher activement et de les noter. Quelques entretiens courts avec des participants, menés de façon ouverte, complètent utilement les questionnaires. Ils permettent de comprendre pourquoi un usage a pris ou non, ce qu’aucun indicateur d’activité ne dit.
Restituer les résultats et décider de la suite
La mesure n’a d’intérêt que si elle éclaire une décision. La restitution à la direction tient sur une ou deux pages : le point de départ, ce qui a été mesuré et comment, les résultats observés, leurs limites, et les recommandations. Ces recommandations portent sur des choix concrets : étendre la formation à d’autres services, proposer un approfondissement par métier, ajuster la charte, réattribuer des licences inutilisées, désigner des référents supplémentaires. La présentation doit rester honnête : un résultat modeste mais réel vaut mieux qu’un chiffre spectaculaire que personne ne peut justifier. Pour préparer cette démarche, AI2 propose un diagnostic offert de trente minutes avec un conseiller, qui aide à préciser les objectifs et les tâches à suivre. Les formations courtes, d’une ou deux journées, comprennent un questionnaire de besoins avant la session, une évaluation finale et une attestation de réalisation par participant, qui alimentent le dossier de suivi. La mesure fait ainsi partie du projet dès le départ.
Pour aller plus loin
Devenez un professionnel de l'IA avec AI2 — Paris
Bachelor (RNCP 6) et Mastère (RNCP 7) en Intelligence Artificielle & Data Science. Alternance, CPF et financement entreprise possibles. Candidatures ouvertes pour la rentrée de janvier 2027.
Être rappelé gratuitement sous 24h
Laissez votre numéro — notre équipe vous rappelle pour tout vous expliquer (programmes, financement, rentrée de janvier 2027). Sans engagement.
Articles similaires
Intégrer l’IA au plan de développement des compétences 2027 : la méthode
Calendrier budgétaire, priorités par métier, intra ou inter, financement OPCO selon ses critères et documentation au titre de l’AI Act : intégrer l’IA au plan de formation 2027.
Former les managers à l’IA : accompagner l’équipe, fixer les règles, repérer les risques
Rôle du manager, règles d’équipe, usages à risque, conduite du changement et contenu d’une formation dédiée : comment préparer les managers à accompagner leurs équipes dans l’usage de l’IA.
ChatGPT pour les commerciaux : 12 prompts concrets, du ciblage au compte rendu
Ciblage, recherche de compte, premier message, rendez-vous, objections, proposition, relance, compte rendu : douze prompts à adapter pour chaque étape du cycle de vente, et les règles RGPD.