PKO BP et ses 38,3 millions d’échanges : l’illusion des métriques IA

État des lieux : 10 octobre 2026

La banque polonaise PKO BP a publié un rapport illustrant l’ampleur de l’utilisation de ses agents conversationnels. Les compteurs enregistrent les interactions à travers divers processus, de l’assistant IKO à la confirmation de l’activation du service d’identité numérique mObywatel. Cela met en lumière le volume d’activité de l’automatisation, mais ne constitue en rien une preuve de résolution efficace des demandes. Dans cette série d’analyses de cas d’usage de l’IA, j’examine l’écart entre un déploiement massif et un résultat solidement étayé.

Chronologie

1. 31.12.2025 - point de référence retenu pour calculer la progression, indiqué dans le rapport du 14.05.2026.
2. 14.05.2026 - parution du rapport financier pour le premier trimestre 2026 ; la date de publication est postérieure à la période d’observation.

Volumes observés sur les principaux parcours

Du reporting d’activité à la mesure de l’efficacité

Le document confronte plusieurs déploiements et souligne l’augmentation brute des volumes. Tous les robots concernés ne relèvent pas de l’IA générative. De plus, rien n’indique que ces segments soient mutuellement exclusifs ; il ne faut donc pas additionner ces chiffres. Les données ne prouvent ni réduction d’effectifs ni économies financières directes (14.05.2026).

Pourquoi un échange n’est pas une unité de valeur

La distinction fondamentale repose sur la différence entre une sollicitation et un résultat concret. Le relevé des interactions montre l’activité de l’infrastructure logicielle. Pour évaluer la qualité du service, la question est tout autre : qu’a-t-on effectivement résolu grâce à cette activité ? Le simple fait qu’une conversation se termine ne caractérise pas une réussite. Il faut une mesure axée sur l’objectif de l’utilisateur, et non uniquement sur l’état de l’interface.

Une hausse de volume permet des conclusions totalement contradictoires. Elle peut traduire une adoption plus forte de l’outil, mais aussi refléter des tentatives répétées nécessaires pour parvenir à ses fins. Pour trancher, il est indispensable de relier les prises de contact aux dossiers traités. Sans cette nuance, une démarche immédiatement résolue et des relances multiples figurent dans la même statistique, alors que leur valeur pour le client est diamétralement opposée.

Il convient donc de séparer nettement les critères de succès. Fournir une réponse exacte, finaliser une transaction, délivrer une confirmation claire et offrir une solution de repli rapide en cas d’échec ne s’équivalent pas. Un agent conversationnel peut très bien décrire une procédure sans l’exécuter. Il peut aussi finaliser une action tout en affichant un état final ambigu. Chacun de ces aspects nécessite un contrôle distinct.

Le basculement vers un conseiller humain ne doit pas déprécier la performance de l’outil. Une réorientation bien pensée fait partie intégrante d’un système robuste. Ce qui compte, c’est qu’elle intervienne au bon moment, que l’usager en saisisse la raison et que le fil contextuel soit préservé. Fixer pour seul objectif le maintien absolu dans le circuit automatisé incite à prolonger inutilement le dialogue au détriment de l’efficacité.

Le même raisonnement s’applique à l’accessibilité. Permettre d’ouvrir une session n’est que la porte d’entrée. Un parcours satisfaisant exige des instructions claires, la possibilité de reprendre une tâche interrompue et une alternative efficace lorsque l’IA échoue. L’évaluation doit aussi prendre en compte les abandons en cours de route, au lieu de se limiter aux utilisateurs arrivés au terme du scénario.

Bénéfices réels et risques de reports de charge

Le seul constat documenté ici concerne l’intensité d’usage, et non les gains effectifs pour les parties prenantes. Le bénéfice espéré pour une entreprise réside dans une exécution plus fluide des démarches récurrentes. Pour valider ce gain économique, il faudrait comparer les coûts opérationnels globaux avant et après la mise en service, en intégrant la maintenance corrective, le traitement des erreurs et la gestion des cas particuliers. Un volume brut de dialogues ne remplace pas ce bilan financier.

Pour l’usager, le bénéfice théorique est un gain de temps et d’effort. Le risque inverse est un transfert de contraintes : multiplications des démarches, déchiffrage de messages imprécis ou obligation de réexpliquer son dossier sur un autre canal. Il ne s’agit pas d’affirmer que ce scénario dégradé est celui vécu chez PKO BP, mais ce sont les critères indispensables pour juger de la pertinence d’un outil.

La situation des collaborateurs appelle également une grille de lecture attentive. Automatiser les démarches simples pour ne conserver que les litiges complexes modifie profondément l’organisation interne. L’analyse doit porter sur le périmètre des missions, l’accès à l’information, la possibilité de corriger un traitement automatique et la gestion de la responsabilité face aux exceptions. Un gain supposé pour la structure ne préjuge pas des conditions de travail de ses équipes.

Ce que les organisations et les usagers doivent retenir

Une organisation gagne à définir précisément la réussite d’un parcours avant même d’interpréter les volumes de connexion. Cette définition doit distinguer une démarche finalisée d’une simple session clôturée. Elle doit également qualifier les réitérations rapprochées, les interruptions de parcours et les escalades humaines. Dans le cas contraire, le résultat mesuré dépendra des artifices de calcul plutôt que de la qualité du service.

• Distinguez l’activité des résultats concrets : volumes de dialogue, actes finalisés et satisfaction doivent former des indicateurs distincts.
• Surveillez les relances sur une même demande afin d’éviter de comptabiliser l’effort supplémentaire du client comme un succès.
• Évaluez le transfert vers l’humain selon sa pertinence plutôt que comme un échec de l’automatisation.
• Ne comparez des solutions qu’après avoir qualifié leur périmètre et les conséquences potentielles d’une erreur.
• Ne confondez pas innovation technique et efficacité : mentionner une IA ne garantit pas la performance du service.

L’utilisateur n’a pas à maîtriser les rouages techniques du système. En revanche, il a besoin de savoir avec certitude si son opération a abouti, si elle est en attente ou s’il doit entreprendre une autre démarche. Un indicateur fiable d’utilisabilité réside dans la clarté du statut transmis, sans nécessiter d’interprétation. En présence d’un doute, il est toujours préférable de recourir aux voies d’assistance habituelles plutôt que de présumer qu’un échange interactif valide automatiquement une démarche.

Mise en application pratique d’une métrique d’impact

Imaginons la mise en place d’un assistant conversationnel dédié au changement de coordonnées postales ou téléphoniques. Cet exemple sert d’illustration et ne décrit pas le fonctionnement interne de la banque citée. La question centrale se pose à la fermeture de la session : doit-on considérer comme un succès l’affichage de la notice explicative, la prise en compte de la demande ou l’enregistrement effectif de la nouvelle adresse ? Ce choix dépend de la finalité de l’outil. Si le robot ne fait que guider le client, le rapport doit mentionner une assistance délivrée, jamais une mise à jour effectuée.

Une difficulté similaire survient face aux états indéterminés. L’utilisateur attend une confirmation claire, tandis que le gestionnaire du service cherche souvent à limiter les renvois vers un agent. Une conception rigoureuse évite d’obliger le client à tout reprendre depuis le début : elle affiche l’état exact de l’opération et fournit un moyen de finaliser le dossier. L’évaluation prend alors en compte le dénouement effectif et l’énergie requise pour l’obtenir. De cette façon, un second contact n’est pas faussement comptabilisé comme une preuve d’adoption positive.

Quels indicateurs privilégier au-delà du nombre de dialogues ?

Je préconise de mesurer la durée totale nécessaire pour résoudre un problème, en observant si le client a été forcé de changer de support en cours de route. Ainsi, un échange très bref qui n’a rien résolu ne risquera pas d’être catalogué à tort comme un traitement rapide. Il convient aussi d’auditer la manière dont les enquêtes de satisfaction sont soumises : recueillir uniquement l’avis de ceux qui sont allés au bout de la démarche fausse l’analyse en ignorant ceux qui ont renoncé. Ce sont des pistes méthodologiques destinées à guider vos propres déploiements, et non des chiffres additionnels issus de la banque citée.

Les zones d’ombre du rapport

Pour dresser un constat impartial, plusieurs données essentielles font défaut : la définition contractuelle d’une « conversation », le ratio de litiges réellement réglés, la récurrence des appels, les taux d’erreur et le bon fonctionnement des transferts vers les agents. La façon dont sont quantifiés les abandons reste également indéterminée. La conclusion s’impose d’elle-même : un volume massif suscite l’intérêt pour un projet, mais la valeur ajoutée d’un système se juge sur ses accomplissements finaux, jamais sur de simples compteurs bruts.

Comment documenter les retours d’un déploiement

Lorsque vous communiquez sur votre propre dispositif, veillez à expliciter ce qui constitue un échange complet et l’événement exact qui valide la résolution du problème. Présentez séparément les passages de relais à un conseiller et les réitérations d’usagers confrontés au même blocage. Une communication ainsi calibrée permet d’apprécier la pertinence opérationnelle d’une solution automatisée sans obliger le public à décoder ce que l’émetteur a décrété être une réussite. Il s’agit d’une recommandation d’évaluation, non de conclusions supplémentaires sur le cas de PKO BP.

Sources

• Rapport trimestriel du Groupe PKO BP pour le T1 2026, publié le 14.05.2026.