http://internetactu.blog.lemonde.fr/2018/09/29/de-la-tyrannie-des-chiffres/?xtor=RSS-3208

On n’a pas attendu le numérique pour produire des métriques, mais celui-ci a incontestablement simplifié et amplifié leur production. Quitte à produire un peu n’importe quelles mesures puisque celles-ci semblent désormais accessibles et ajustables en quelques clics. On connaît la rengaine : « ce qui ne peut être mesuré ne peut être géré » (même si la formule de Peter Drucker est en fait plus pertinente que ce que nous en avons retenu). Est-ce pour autant qu’on ne gère que ce que l’on sait chiffrer ?

Non. C’est en tout cas ce que répond le stimulant petit livre du professeur d’histoire de l’université catholique d’Amérique, Jerry Z. Muller(@jerryzmuller), The Tyranny of Metrics (La tyrannie des métriques, Princeton University Press, 2018, non traduit), qui se révèle être un très bon petit guide pour nous inviter à prendre un peu de recul sur notre obsession pour les chiffres.

Le propos de Jerry Muller relève pour beaucoup du simple bon sens.

« Il y a des choses qui peuvent être mesurées. Il y a des choses qui valent d’être mesurées. Mais ce que nous pouvons mesurer n’est pas toujours ce qui vaut d’être mesuré ; ce qui est mesuré peut n’avoir aucune relation avec ce que nous voulons vraiment savoir. Le coût de la mesure peut-être plus fort que ses bénéfices. Les choses que nous mesurons peuvent nous éloigner des choses dont nous voulons vraiment prendre soin. Et la mesure nous apporte souvent une connaissance altérée – une connaissance qui semble solide, mais demeure plutôt décevante. »

De l’excès de mesure… au paradoxe de la mesure

Relier la responsabilité aux mesures et à leur transparence s’avère souvent décevant. La responsabilité signifie être responsable de ses actions. Mais, par un glissement de sens, la responsabilité signifie souvent démontrer une réussite via des mesures standardisées, comme si seulement ce qui était mesurable comptait vraiment. Pour Muller, nous sommes obsédés par les chiffres. Nous avons une pression irrépressible à mesurer la performance, à en publier les chiffres, et à récompenser les performances depuis ceux-ci, quand bien même l’évidence nous montre que cela ne fonctionne pas si bien. Pour Muller, notre problème n’est pas tant la mesure que ses excès. Trop souvent nous préférons substituer des chiffres, des mesures, à un jugement personnel. Trop souvent le jugement est compris comme personnel, subjectif, orienté par celui qui le produit, alors que les chiffres, en retour, eux, sont supposés fournir une information sûre et objective. S’il y a beaucoup de situations où prendre des décisions basées sur une mesure est supérieur au jugement basé sur l’expérience… reste que les chiffres sont utiles quand l’expérience de quelqu’un est limitée pour développer son intuition. Certes, comme le montrait le livre Moneyball, l’analyse statistique est parfois capable de mesurer des caractéristiques négligées qui sont plus significatives que celles sur lesquelles s’appuie l’expérience et l’intuition. Mais ce n’est pas toujours le cas. Trop souvent, les métriques sont contre-productives, notamment quand elles peinent à mesurer ce qui ne l’est pas, à quantifier ce qui ne peut l’être.

Muller montre par de nombreux exemples comment nous nous ingénions à contourner les mesures, à l’image des hôpitaux britanniques qui avaient décidé de pénaliser les services dont les temps d’attente aux urgences étaient supérieurs à 4 heures. La plupart des hôpitaux avaient résolu le problème en faisant attendre les ambulances et leurs patients en dehors de l’hôpital ! Comme le rappelle la loi de Goodhart : « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure. » Plus qu’une obsession, nous sommes coincés dans un paradoxe de la mesure. Plus nous en produisons, plus elles sont précises, plus nous nous ingénions à les contourner à mesure qu’elles ne parviennent pas à remplir ce qu’elles étaient censées accomplir. Pour Muller, si les chiffres sont potentiellement des outils précieux, leurs vertus nous a été survendu, et leurs coûts toujours sous-estimés, comme l’explique le sociologue Jérôme Denis dans son livre Le travail invisible des données, qui souligne combien celles-ci sont toujours travaillées, « obtenues »… et donc que les standards qu’elles sont censées produire ont toujours un caractère « potentiellement conflictuel » !

La transparence des chiffres n’induit pas la responsabilité

Pour Muller, l’obsession des métriques repose sur : la croyance qu’il est possible et désirable de remplacer le jugement acquis par l’expérience personnelle et le talent, avec des indicateurs numériques de performance comparative basés sur des données standardisées ; la croyance que rendre ces mesures publiques (c’est-à-dire transparentes) assure que les institutions effectuent leurs buts (c’est-à-dire leur responsabilité) ; la croyance que la meilleure façon de motiver les gens dans les organisations est de les attacher à des récompenses ou des pénalités depuis ces mesures de performance (que les récompenses soient monétaires ou réputationnelles). L’obsession des métriques repose sur la persistance de ces croyances malgré les conséquences négatives qu’elles entraînent quand elles sont mises en pratique. Mais, si cela ne fonctionne pas, c’est d’abord et avant tout parce que tout ce qui est important n’est pas toujours mesurable et beaucoup de ce qui est mesurable n’est pas toujours important. À nouveau, toute mesure utilisée comme objectif, utilisée comme outil de contrôle devient douteuse. Par nature, toute mesure sera détournée ! Pire, rappelle Muller : forcer les gens à se conformer à des objectifs mesurés à tendance à étouffer l’innovation et la créativité, et renforce la poursuite d’objectifs à court terme sur ceux à long terme. La mesure a fait plus de progrès que le progrès lui-même, ironise Muller.

Le petit livre de Jerry Muller assène bien des évidences, certes. Mais des évidences qui font du bien, tant la démultiplication des chiffres dans le monde dans lequel nous vivons semble nous avoir fait perdre de vue toute raison.

Il souligne que trop souvent, on mesure le plus ce qui est le plus facile à mesurer, le plus simple. Mais c’est rarement le plus important. En mesurant le plus simple, on en oublie la complexité : ainsi quand on mesure les objectifs d’un employé, on oublie souvent que son travail est plus complexe que cela. On mesure plus facilement les sommes dépensées ou les ressources qu’on injecte dans un projet que les résultats des efforts accomplis. Les organisations mesurent plus ce qu’elles dépensent que ce qu’elles produisent. Bien souvent, la mesure, sous prétexte de standardisation, dégrade l’information, notamment pour rendre les choses comparables au détriment des ambiguïtés et de l’incertitude.

Quant aux manières de se jouer des métriques, elles sont là aussi nombreuses : simplifier les objectifs permet souvent de les atteindre au détriment des cas difficiles ; améliorer les chiffres se fait souvent en abaissant les standards… sans parler de la triche, on ne peut plus courante.

Les métriques au détriment du jugement, les chiffres au détriment de l’intangible

L’historien, bien sûr, tente de retracer rapidement l’origine de la mesure et tente d’expliquer pourquoi elle est devenue si populaire. C’est vraiment avec Frederick Taylor, cet ingénieur américain qui va inventer le management scientifique au début du 20e siècle, que la mesure va s’imposer. Le but même du taylorisme était de remplacer le savoir implicite des ouvriers avec des méthodes de production de masse, développées, planifiées, surveillées et contrôlées par les managers. Le Taylorisme va s’imposer en promouvant l’efficacité par la standardisation et la mesure, d’abord dans l’industrie avant de coloniser avec le siècle, tous les autres secteurs productifs. Le Taylorisme a été développé par les ingénieurs, mais aussi par les comptables. L’expertise nécessitait des méthodes quantitatives. Les décisions basées sur des chiffres étaient vues comme scientifiques, comme objectives et précises. La performance de toute organisation pouvait alors être optimisée en utilisant les mêmes outils et techniques de management. Ceux qui calculaient les coûts et les marges de profits s’alliaient avec ceux qui retiraient l’expérience des travailleurs pour les fondre dans des machines qui décomposaient les tâches pour mieux mesurer chacune et pour les rendre non spécialisée, permettant de remplacer n’importe quel travailleur par un autre. Le calcul s’est immiscé partout. Le biais matérialiste également : il était partout plus facile de mesurer les apports et rendements tangibles que les facteurs humains intangibles – comme la stratégie, la cohésion, la morale… La confiance et la dépendance dans les chiffres ont minimisé et réduit le besoin de connaître les institutions de l’intérieur. « Ce qui pouvait être mesuré a éclipsé ce qui était important ». Et la culture du management a exigé toujours plus de données… mais en parvenant à mesurer certains critères plutôt que d’autres, à favoriser donc certaines valeurs au détriment d’autres.

Muller explique encore que si les métriques sont devenues si populaires c’est parce qu’elles permettaient de se passer du jugement individuel. Elle permettait de remplacer ceux qui avaient la connaissance pour juger, par n’importe qui sachant lire les chiffres. L’objectivité des chiffres semblait supérieure au jugement subjectif et ce d’autant que les chiffres et les courbes étaient compréhensibles par tous. Les métriques se sont imposées dans les secteurs où la confiance était faible. Les décisions humaines sont devenues trop dangereuses à mesure qu’elles impliquaient une trop grande complexité de facteurs : d’où la prolifération des métriques, des process, des règles… La demande d’un flux constant de rapports, de données, de chiffres… a finalement diminué l’autonomie de ceux qui étaient les plus bas dans les organisations. La feuille de calcul est devenue l’outil phare du calcul, une façon de voir la réalité par les chiffres. La feuille de calcul qu’analysait Paul Dourish a créé une illusion d’analyse en profondeur. Alors que les données sont toujours plus faciles à collecter et à traiter, le chiffre et son traitement sont devenus la réponse à toute question posée par les organisations.

Dans les organisations, la mesure a remplacé la confiance. « Les nombres sont vus comme une garantie d’objectivité, un moyen de remplacer la connaissance intime et la confiance ». Les indicateurs de performance sont devenus des stratégies. Muller rappelle que la connaissance pratique est le produit de l’expérience… Si elle peut-être apprise par la pratique, elle ne se résume pas en formule générale. Alors que la connaissance abstraite, chiffrée, n’est qu’une question de technique, qui peut être systématisée, communiquée et appliquée.

Dans son livre, Muller évoque nombre de secteurs où les chiffres n’ont pas produit ce qu’on attendait d’eux. Dans le domaine scolaire, en médecine, dans le domaine militaire, dans la police et bien sûr dans les affaires… les chiffres sont souvent mal utilisés et ne parviennent pas à mesurer l’important. Bien souvent, les chiffres déplacent les objectifs, favorisent le court-termisme, découragent la prise de risque, l’innovation, la coopération… coûtent du temps (« Bien souvent, la métrique du succès est le nombre et la taille des rapports générés, comme si rien n’était accompli jusqu’à ce qu’il soit extensivement documenté »), voire sont dommageable pour la productivité elle-même (« Une question qui devrait être posée est de savoir dans quelle mesure la culture des métriques a elle-même contribué à la stagnation économique ? »)…

Interroger la légitimité des chiffres et assumer ses jugements !

Pour conclure son livre, Jerry Muller propose une checklist pour évaluer la légitimité de ce que vous cherchez à mesurer. Malgré ses critiques, nourries, il ne rejette pas tout chiffre, mais souligne qu’on devrait plus souvent penser à s’en passer.

Pour lui, il faut d’abord se poser la question de ce que l’on cherche à mesurer en se souvenant que plus un objet mesuré est influencé par la procédure de mesure, moins il est fiable. Et que ce constat empire quand la mesure repose sur l’activité humaine, plus capable de réagir au fait d’être mesurée, et pire encore quand des systèmes de récompenses ou de punition sont introduits…

L’information est-elle utile ? Le fait que quelque chose soit mesurable ne signifie pas qu’il faille le faire (au contraire, bien souvent la facilité à mesurer est inversement proportionnelle à sa signification !). « Posez-vous la question de ce que vous voulez vraiment savoir ! », conseille l’historien.

Est-ce que plus d’information est utile ? Si la mesure est utile, cela ne signifie pas pour autant que plus de mesure est plus utile.

D’autres indicateurs sont-ils disponibles ?

À qui profite la mesure ? Pour qui l’information sera-t-elle transparente ? – Et donc, pour qui ne le sera-t-elle pas ?

Quels sont les coûts pour acquérir ces métriques ?

Qui demande des chiffres et pourquoi ?

Comment et par qui ces mesures sont-elles faites (notamment pour souligner que bien souvent les métriques des uns ne devraient pas être celles des autres) ?

Comment corrompre vos chiffres ou faire diversion sur les objectifs ?

Souvenez-vous enfin que reconnaître ses limites est le début de la sagesse. Tout ne peut pas être amélioré par des chiffres. Et rendre un problème plus transparent par des chiffres peut rendre le problème plus saillant sans le rendre plus soluble.

Les métriques ne sont pas là pour remplacer le jugement, rappelle Muller, mais plutôt pour l’informer. Et pour cela, cela nécessite aussi de savoir quel poids donner aux mesures, savoir reconnaître ce qu’elles déforment, apprécier aussi ce qui n’est pas mesurable.

Oui, Jerry Muller semble égrainer des évidences. Mais c’est pour mieux souligner combien les chiffres participent à nous les faire perdre de vue. Souvenons-nous de ce que disait Dan Ariely : la précision, l’exactitude, l’immédiateté, la granularité ou la transparence ne sont pas toujours les meilleures façons de présenter les choses. La précision des chiffres ne rend pas les données plus utiles. Parfois produire des données moins fines, des indicateurs sans chiffres… sont des options qui peuvent aisément remplacer des données qui calculent mal ce qu’elles sont censées calculer… Trop souvent, les chiffres servent à faire passer des jugements dans les biais qui les masquent. La précision des chiffres, bien souvent, comme le rappelle le journaliste spécialiste des données Nicolas Kayser-Bril sur son blog, sert à nous faire croire en leur fiabilité, alors qu’ils sont comme tout savoirs, incertains !

À l’heure où le monde semble si facilement mesurable, souvenons-nous que ces mesures ne produisent pas toujours du sens, au contraire. Comme disait Pablo Jensen, le modèle du social que les chiffres induisent présupposent une forme de social qui n’a rien de la neutralité sous laquelle elle se présente.

Le monde numérique, qui produit des chiffres avec tant de facilité, peine bien souvent à prendre un peu de recul sur la validité des métriques qu’il démultiplie, oubliant de trouver le bon indicateur, qui n’est que rarement celui qui est produit. Sans compter que les indicateurs des uns ont tendance à devenir les indicateurs des autres, alors que trop souvent les métriques devraient être différentes et différenciées, afin que les indicateurs des uns ne soient pas nécessairement les indicateurs des autres.

La facilité à produire une tyrannie ne doit pas nous faire oublier ce que nous produisons. Si nous avons les moyens de la produire, il nous faut nous interroger sur comment y résister et comment réduire, atténuer voire contester cette production. Si nous sommes capables d’imposer une tyrannie, il faut nous interroger sur comment la défaire.

Hubert Guillaud