Mesurer les soft skills avec le modèle de Kirkpatrick

1. Le modèle de Kirkpatrick distingue quatre niveaux d'évaluation.

Le modèle trouve son origine dans une série de quatre articles que Donald Kirkpatrick a publiés en 1959 et 1960 dans la revue de l'ASTD, l'association américaine des professionnels de la formation devenue depuis l'ATD. Kirkpatrick lui-même ne parlait pas de « modèle » : les quatre mots Reaction, Learning, Behavior et Results figurent bien dans ces articles, et ce sont d'autres praticiens qui les ont ensuite numérotés pour en faire des « niveaux ». Jim et Wendy Kirkpatrick, qui ont repris ses travaux, pensent d'ailleurs qu'il s'était inspiré de quatre étapes proposées à la même époque par le psychologue Raymond Katzell.

Dans la version actualisée qu'ils diffusent aujourd'hui sous le nom de New World Kirkpatrick Model, chaque niveau correspond à une question assez simple à formuler :

• Le niveau 1 porte sur la réaction des participants. Il cherche à savoir s'ils jugent la formation engageante et utile pour leur travail. La mesure intervient en fin de session, et pour les soft skills on privilégie un questionnaire centré sur l'utilité perçue.
• Le niveau 2 porte sur l'apprentissage. Il vérifie si les participants ont acquis des connaissances, un savoir-faire, de la confiance et l'intention d'appliquer ce qu'ils ont vu. On le mesure avant et après la session, et les instruments les plus adaptés aux soft skills sont la mise en situation observée avec une grille et le test de jugement situationnel.
• Le niveau 3 porte sur le comportement au travail. Il cherche à savoir si les participants appliquent ce qu'ils ont appris une fois de retour à leur poste. La mesure se fait avant la formation puis plusieurs semaines après, en s'appuyant sur l'observation du manager ou sur un 360 ciblé sur quelques comportements.
• Le niveau 4 porte sur les résultats pour l'organisation. Il vérifie si les effets attendus se produisent réellement. On le mesure plusieurs mois après la formation, à partir d'indicateurs d'équipe comme le turnover, l'absentéisme ou l'engagement.

Cette version apporte deux idées particulièrement utiles quand on travaille sur des compétences relationnelles. La première est la notion de « comportements critiques », c'est-à-dire les quelques actions précises qui pèsent le plus sur les résultats et sur lesquelles il vaut mieux concentrer l'observation au niveau 3. La seconde concerne l'ordre de travail, puisque les auteurs recommandent de concevoir l'évaluation en partant des résultats que l'on cherche à obtenir au niveau 4, puis de redescendre jusqu'au niveau 1, la mesure se faisant ensuite dans l'ordre inverse, au fil de la formation et des mois qui la suivent.

2. Les soft skills sont plus difficiles à mesurer que les compétences techniques.

Quand on forme quelqu'un à un tableur, la réussite se vérifie assez facilement, puisque le tableau croisé dynamique fonctionne ou ne fonctionne pas. Avec une compétence relationnelle, les choses se compliquent pour au moins trois raisons.

La première tient au fait qu'il n'existe pas de bonne réponse unique. Un même recadrage peut être réussi de plusieurs façons selon la personne en face et le contexte, si bien qu'une grille d'évaluation utile décrit des comportements observables, comme « reformule le point de vue de l'autre avant de répondre », plutôt qu'un script à suivre mot pour mot.

La deuxième raison est que la personne évaluée est rarement le meilleur juge de ses propres progrès. Une méta-analyse portant sur 115 échantillons et 37 752 personnes montre que la corrélation entre l'autoévaluation de la performance et l'évaluation faite par le supérieur ne dépasse pas 0,22 (0,34 une fois corrigées les erreurs de mesure), et que chacun a en moyenne tendance à se noter plus généreusement que ne le fait son manager (Heidemeier & Moser, 2009).

La troisième raison est plus prosaïque : les situations que l'on cherche à observer ne se présentent pas tous les jours. Un manager ne mène pas un entretien de recadrage chaque semaine, ce qui oblige soit à attendre que l'occasion se présente, soit à la provoquer dans un cadre contrôlé.

On arrive ainsi à une définition de travail qui guide tout le reste de l'article.

Mesurer une soft skill consiste à observer un comportement dans une situation bien définie, en s'appuyant sur le regard de quelqu'un d'autre que la personne elle-même.

Précisons au passage que l'on évalue ici l'effet d'une formation sur des comportements ; dresser le profil psychologique des participants est un tout autre exercice, que le modèle de Kirkpatrick n'a jamais prétendu couvrir.

3. Les niveaux 1 et 2 mesurent ce qui se passe pendant la formation.

Le niveau 1 est le plus facile à collecter, et c'est aussi celui qui en dit le moins sur ce que les participants ont réellement appris. Une méta-analyse de 34 études (Alliger, Tannenbaum, Bennett, Traver & Shotland, 1997) distingue deux familles de réactions. Les réactions affectives, du type « j'ai apprécié la formation », n'ont pratiquement aucun lien avec la suite : leur corrélation est de 0,02 avec l'apprentissage immédiat et de 0,07 avec le transfert au poste. Les réactions d'utilité, du type « cette formation me servira dans mon travail », s'en sortent un peu mieux, avec des corrélations respectives de 0,26 et de 0,18.

La conséquence pratique est assez directe : un questionnaire de fin de session gagne à interroger l'utilité perçue et l'intention d'usage, par exemple en demandant au participant quelle situation de la semaine suivante il compte aborder autrement, plutôt qu'à mesurer le plaisir qu'il a pris à la journée.

Au niveau 2, la difficulté change de nature. Un questionnaire de connaissances se corrige facilement et permet de savoir ce que le participant a retenu sur la compétence, sans dire grand-chose de sa capacité à la mettre en œuvre face à un vrai interlocuteur. Pour les soft skills, l'instrument le plus adapté reste la mise en situation observée, sous la forme d'un jeu de rôle ou d'une simulation évalués sur une grille de comportements, idéalement avant et après la formation pour pouvoir parler de progression. Le test de jugement situationnel, qui consiste à choisir la réponse la plus appropriée dans un scénario écrit, coûte moins cher à organiser et se situe plutôt du côté du savoir que du savoir-faire.

Il faut enfin garder en tête qu'un niveau 2 bien mesuré ne permet pas pour autant de prédire le niveau 3. Dans la méta-analyse d'Alliger et de ses collègues, l'apprentissage immédiat ne présente qu'une corrélation de 0,11 avec le transfert au poste, et la démonstration d'un savoir-faire pendant la formation une corrélation de 0,18, ce qui rappelle que ce que l'on réussit en salle ne se retrouve pas automatiquement au bureau.

4. Les niveaux 3 et 4 mesurent ce qui se passe après la formation.

Le niveau 3 est celui qui demande le plus de préparation, et sa qualité dépend en grande partie de quatre choix faits en amont.

Le premier porte sur le nombre de comportements suivis, qu'il vaut mieux limiter à trois ou cinq en les formulant de façon à ce que quelqu'un d'autre puisse les constater. Un collaborateur peut dire si son manager « conclut l'entretien par un objectif daté », alors qu'une formule comme « communique bien » laisse chacun libre d'y projeter ce qu'il veut.

Le deuxième concerne les observateurs. Interroger le manager, deux ou trois collaborateurs et un pair permet de croiser les regards, et la faible corrélation entre autoévaluation et évaluation par le supérieur évoquée plus haut montre qu'on ne peut pas s'en remettre au seul avis du participant.

Le troisième tient au calendrier. Un score obtenu trois mois après la formation ne dit rien d'une progression si l'on ne connaît pas le point de départ, d'où l'intérêt d'une première mesure avant la session ; et lorsque l'organisation le permet, la comparaison avec un groupe qui n'a pas encore été formé rend la conclusion nettement plus solide.

Le dernier consiste à regarder l'environnement de travail autant que le participant. Une synthèse de la méta-analyse de Taylor, Russ-Eft & Chan (2005) sur la formation par modélisation comportementale rapporte des effets importants sur les connaissances et les savoir-faire, et des effets plus modestes sur le comportement au travail. Le transfert progresse quand les participants se fixent des objectifs précis, quand l'usage des nouvelles compétences a des conséquences, par exemple dans l'entretien annuel, et quand leurs propres managers ont eux aussi été formés. Le New World Kirkpatrick Model regroupe ces leviers sous le nom de « required drivers ».

Le niveau 4 soulève une autre difficulté, celle de l'attribution. Le turnover d'une équipe ou son score d'engagement dépendent de bien d'autres facteurs que la formation suivie par son manager, ce qui pousse à s'appuyer sur des indicateurs intermédiaires plus proches du comportement, comme le nombre d'entretiens individuels réellement tenus ou l'évolution d'un baromètre d'équipe. Certains praticiens, à la suite de Jack Phillips, ajoutent même un cinquième niveau consacré au retour sur investissement financier.

Quand on se donne les moyens de les mesurer, les effets apparaissent pourtant à chaque niveau. Pour les formations aux compétences interpersonnelles, Arthur, Bennett, Edens & Bell (2003) obtiennent des tailles d'effet de 0,68 sur l'apprentissage, 0,54 sur le comportement et 0,88 sur les résultats, ce dernier chiffre ne reposant que sur 7 observations. Pour les formations au leadership, Lacerenza, Reyes, Marlow, Joseph & Salas (2017) trouvent, sur 335 échantillons, des valeurs de 0,73 pour l'apprentissage, 0,82 pour le transfert et 0,72 pour les résultats.

Pour se représenter ce que cela signifie, une taille d'effet de 0,6 veut dire que le participant moyen fait mieux, après la formation, qu'environ 73 % des personnes du groupe de référence (en supposant des distributions normales).

Ces effets existent donc bel et bien au-delà de la salle, et la question devient alors celle du coût de leur mesure.

5. Combien coûte une évaluation complète ?

Pour se faire une idée, prenons le cas d'un groupe de 10 managers qui suit deux jours de formation à la conduite d'entretiens difficiles, ce qui représente 140 heures-participants. Si l'on veut évaluer les quatre niveaux en respectant les principes décrits plus haut, on peut additionner les postes suivants :

• Niveau 1 : 10 participants × 5 à 10 min de questionnaire, plus 1 h d'analyse\

→ 2 à 3 h

• Niveau 2 : 10 participants × 2 mises en situation observées (avant, après) × 30 à 45 min, passage et cotation compris\

→ 10 à 15 h

• Niveau 3 : 10 participants × 2 vagues (avant, à trois mois) × 5 répondants (le participant, son manager, deux collaborateurs, un pair) × 10 à 15 min, plus 30 min de restitution par participant\

→ 22 à 30 h

• Niveau 4 : 1 à 3 jours d'analyse pour choisir les indicateurs, obtenir les données et les comparer à une période ou à un groupe de référence\

→ 7 à 21 h

On arrive ainsi à un ordre de grandeur de 40 à 70 heures d'évaluation, soit 30 à 50 % du volume de la formation elle-même. On peut retenir une valeur centrale de 55 heures, soit environ 40 %.

Ce calcul fait apparaître deux choses. Les niveaux 3 et 4 représentent à eux seuls plus de 70 % du total, alors que les niveaux 1 et 2 sont souvent les seuls à être prévus dans le budget de la formation. Quant aux heures du niveau 3, elles reposent surtout sur les managers et les collègues des participants, qui n'ont ni suivi la formation ni décidé de la commander, et dont il faut obtenir la disponibilité plusieurs semaines après la fin de la session.

Chacun peut refaire le calcul avec ses propres paramètres, en jouant sur la taille des groupes, le nombre d'observateurs ou le nombre de vagues de mesure. Avec seulement 10 participants, il faut aussi savoir qu'un indicateur de niveau 4 aura rarement assez de puissance statistique pour isoler l'effet de la formation, et qu'il devient plus parlant lorsqu'on cumule les données de plusieurs sessions.

6. Les pratiques actuelles privilégient les deux premiers niveaux.

Les pratiques déclarées par les professionnels suivent assez fidèlement ce gradient de coût. Dans l'enquête publiée par l'ATD en 2019 auprès de 779 professionnels de la formation, environ huit organisations sur dix évaluent aux niveaux 1 et 2, 54 % au niveau 3, 38 % au niveau 4, et 16 % vont jusqu'au calcul d'un retour sur investissement. Ce sont des chiffres déclaratifs, qui ne disent rien de la fréquence ni de la rigueur avec lesquelles chaque niveau est mesuré. Des chiffres du même ordre circulent pour la France, sans échantillon ni méthode publiés, et nous avons préféré ne pas les reprendre.

La recherche publiée, de son côté, suit la logique inverse. Dans la méta-analyse d'Arthur et de ses collègues, les mesures de réaction ne représentent que 4 % des données, contre 59 % pour l'apprentissage et 31 % pour le comportement, alors même qu'elles sont les plus utilisées sur le terrain.

En France, le cadre réglementaire pèse évidemment sur ces pratiques. Le référentiel national qualité, plus connu sous le nom de Qualiopi, comporte deux indicateurs directement liés à l'évaluation. L'indicateur 11 demande d'évaluer l'atteinte des objectifs par les bénéficiaires, et son guide de lecture cite comme preuves possibles des outils d'évaluation des acquis « à chaud et à froid », des outils d'autoévaluation ou des bilans intermédiaires, en rappelant qu'un non-respect, même partiel, entraîne une non-conformité majeure. L'indicateur 30 porte sur le recueil des appréciations des parties prenantes (bénéficiaires, financeurs, équipes pédagogiques et entreprises), et le guide précise que les évaluations des acquis ne constituent pas une preuve probante pour cet indicateur.

Qualiopi rend donc obligatoires des équivalents des niveaux 1 et 2, sans exiger de mesure du comportement au travail par des tiers. Dans ce cadre, l'évaluation « à froid » prend parfois la forme d'un simple questionnaire envoyé au participant quelques semaines après la session, ce qui revient à mesurer le niveau 3 par autoévaluation, avec toutes les limites évoquées plus haut.

Une évaluation à froid ne relève donc pas automatiquement du niveau 3, car tout dépend de ce qu'elle mesure et de la personne qui y répond.

7. Le modèle ne dit pas tout.

Le modèle a aussi ses critiques. La plus connue, formulée par Holton en 1996, lui reproche d'être une taxonomie plutôt qu'un véritable modèle, au sens où il classe les effets possibles d'une formation sans expliquer ce qui les relie entre eux. L'idée implicite d'une chaîne causale, dans laquelle la satisfaction entraînerait l'apprentissage, qui entraînerait à son tour le changement de comportement puis les résultats, n'est d'ailleurs pas confirmée par les données, puisque les corrélations entre niveaux mesurées par Alliger et ses collègues restent faibles.

Kirkpatrick n'a jamais vraiment contesté ce point. Interrogé en 2004 par le magazine de l'ASTD, il répondait avec une certaine décontraction :

« Et alors ? Peu m'importe que ce soit une taxonomie ou un modèle. Ce sont quatre niveaux, et les gens les trouvent utiles. »

>

Donald Kirkpatrick, 2004 (notre traduction)

Les deux positions sont en réalité assez compatibles. Le modèle fournit une grille pour décider de ce que l'on veut mesurer, sans dire comment le mesurer de façon fiable ni pourquoi une formation fonctionne ou échoue. La fiabilité dépend du protocole que l'on construit autour de lui, et ce protocole doit prévoir une mesure initiale, plusieurs observateurs, un groupe de comparaison quand c'est possible, et un délai suffisant pour que les comportements aient eu l'occasion de se manifester.

Conclusion

Le modèle de Kirkpatrick s'applique tout à fait aux soft skills, à condition d'adapter les instruments à chaque niveau. On interroge alors l'utilité perçue plutôt que la satisfaction au niveau 1, on préfère la mise en situation observée au questionnaire au niveau 2, on prévoit une mesure initiale et plusieurs observateurs au niveau 3, et on s'appuie sur des indicateurs intermédiaires au niveau 4.

Les pratiques actuelles se concentrent largement sur les deux premiers niveaux, qui sont à la fois ceux que Qualiopi exige et ceux qui coûtent le moins cher. Ce sont aussi ceux qui renseignent le moins sur le changement de comportement, qui est pourtant la raison d'être d'une formation aux soft skills. Pour ces compétences, la mesure la plus informative se fait donc après la formation, et elle passe par le regard de celles et ceux qui travaillent au quotidien avec le participant.

Chez YouMight, nous construisons une plateforme dédiée à la simulation IA qui prolonge vos formations et en mesure l'impact.

Sources

• Kirkpatrick Partners : Introduction to The New World Kirkpatrick Model, définitions actualisées des quatre niveaux
• Jim & Wendy Kirkpatrick, Kirkpatrick Partners : origine des quatre niveaux, articles de 1956 et 1959
• Alliger, Tannenbaum, Bennett, Traver & Shotland (1997), Personnel Psychology : corrélations entre réactions, apprentissage et transfert (version rapport technique AFRL)
• Arthur, Bennett, Edens & Bell (2003), Journal of Applied Psychology : efficacité des formations selon le critère et le type de compétence
• Lacerenza, Reyes, Marlow, Joseph & Salas (2017), Journal of Applied Psychology : méta-analyse de 335 échantillons de formations au leadership
• Heidemeier & Moser (2009), Journal of Applied Psychology : accord entre autoévaluation et évaluation par le supérieur
• QIC-WD : synthèse de Taylor, Russ-Eft & Chan (2005) sur la formation par modélisation comportementale
• ATD (2019) : pratiques d'évaluation déclarées par 779 professionnels de la formation
• Ministère du Travail (2021), guide de lecture du référentiel national qualité : indicateurs 11 et 30
• TD Magazine (2004), The Evaluation Heavyweight Match : entretien avec Donald Kirkpatrick et Jack Phillips, critique de Holton