Intervention au Conseil d’État sur « L’évaluation des politiques publiques : résultats et mise en œuvre », 17 juin 2000

Anne Revillard, intervention lors de la conférence de clôture du cycle de conférences sur l’évaluation des politiques publiques : « L’évaluation des politiques publiques : résultats et mise en œuvre », Conseil d’État, 17 juin 2000

Présentation de la conférence sur le site du Conseil d’Etat

Vidéo de la conférence

Anne Revillard : Je tiens d’abord à remercier le conseil d’État pour l’organisation de ce cycle de conférences, et pour inclure les acteurs universitaires autour de la table. Comme je serai amenée à le préciser dans mon intervention, cela participe d’un renforcement des liens entre recherche et acteurs publics qui est particulièrement bienvenu dans une optique d’évaluation des politiques publiques.

Le thème de cette conférence de clôture est « l’évaluation des politiques publiques : résultats et mise en œuvre ». La question générale qui est posée est celle des usages de l’évaluation, et plus spécifiquement de la mise en œuvre des résultats des évaluations dans l’action publique.

Pour commencer à répondre à cette question, je préciserai au préalable la définition de l’évaluation à partir de laquelle je développerai mon analyse ; cette question des définitions fait beaucoup débat dans le champ, et les définitions sont forcément influencées par le point de vue à partir duquel on parle : le mien est celui de la recherche. Je m’appuie donc sur une définition de l’évaluation comme une pratique de recherche appliquée, qui consiste à mobiliser différentes méthodes issues des sciences sociales pour apporter une réponse scientifiquement fondée à la question des enjeux et des conséquences d’une politique publique (Suchman, 1967). À ce titre, l’évaluation peut porter aussi bien sur la conception des politiques publiques, leur mise en œuvre et leur impact.

Je citerai à l’appui de ce positionnement un des grands théoriciens de l’évaluation, Michael Patton, qui a récemment insisté sur l’importance de revendiquer cette dimension scientifique de l’évaluation dans un contexte de scientoscepticisme et d’attaques politiques contre la science : « La science consiste à étudier de façon systématique comment le monde fonctionne. La science de l’évaluation consiste à étudier de façon systématique comment, et avec quel succès, des interventions visant à changer le monde fonctionnent » (Patton, 2018a, p. 2). L’évaluation peut donc se définir comme une pratique de sciences sociales appliquée, visant la production de connaissances utiles pour l’action publique.

Ce positionnement à l’interface entre recherche et action publique soulève de nombreuses difficultés qui ont été anciennement théorisées par les sciences sociales, et qui sont toujours d’actualité.

L’appropriation de la démarche d’évaluation ne va pas de soi pour le monde politique, et je vais y venir dans la suite de mon intervention, mais je voudrais souligner au préalable qu’elle ne va pas non plus forcément de soi pour le monde scientifique. Comme Virginie Besrest a eu l’occasion de le rappeler lors d’une conférence précédente de ce cycle[1], les universitaires occupent actuellement une place très minoritaire dans les évaluations réalisées (de l’ordre de 3% à 4 % selon une étude de la Société française d’évaluation). Ceci peut sembler paradoxal dès lors que l’évaluation relève d’une pratique de recherche, qui certes n’est pas le monopole de l’université, mais où l’on pourrait attendre que le monde académique joue un rôle plus central. Des efforts sont encore nécessaires pour favoriser l’appropriation de la démarche d’évaluation par les chercheurs, et c’est un de nos axes d’intervention au LIEPP.

Cette difficulté correspond pour une part à des réserves que peuvent avoir certaines disciplines vis-à-vis de la démarche d’évaluation, vis-à-vis du fait de se placer dans une démarche de recherche appliquée. Mais cela correspond aussi à une situation d’épuisement général dans les milieux de la recherche, qui sont globalement en manque de moyens et en sous-effectif. Les enseignants chercheurs à l’université, notamment, peinent de plus en plus à faire une place aux travaux de recherche du fait de la pression liée aux tâches d’enseignement et aux tâches administratives. Dans ce contexte, l’investissement dans des démarches de recherche évaluative est un effort supplémentaire qu’il est difficile d’exiger et d’obtenir.

Et on ne peut que le regretter, car la recherche a des contributions essentielles à faire à l’évaluation. C’est la recherche qui apporte à l’évaluation ses méthodes, sa rigueur, mais elle a aussi un apport original grâce à son autonomie, à sa capacité d’auto-saisine et au regard décalé qu’elle peut apporter dans ce domaine par rapport à la logique habituelle de commande. Et c’est ici qu’on peut faire le lien avec la question du rapport au politique. Bien sûr, les universitaires peuvent répondre à des commandes d’évaluation et ils le font, mais leur apport à l’évaluation peut être plus original lorsqu’ils se saisissent eux-mêmes de questions évaluatives et en définissent les termes de manière autonome, à partir de leur connaissance du champ d’intervention concerné. Le document de présentation de cette conférence place d’emblée l’évaluation dans une logique classique de commande : un commanditaire passe commande d’une évaluation, qui va être réalisé par des chercheurs. Mais la recherche gagne aussi à se faire une place dans la définition de l’agenda d’évaluation, indépendamment ou en amont d’une commande qui risque toujours d’être indexée à un agenda politique. Cette initiative possible de la recherche dans la définition de l’agenda évaluatif ne signifie pas pour autant que l’évaluation devrait se faire à distance des acteurs de la politique concernée, bien au contraire, j’insisterai dans un instant sur l’importance de leur participation. Mais il s’agit de faire émerger à partir des pratiques et des questionnements de la recherche des questions évaluatives originales.

Enfin, l’évaluation a aussi intérêt à s’arrimer plus solidement à la recherche car la recherche a une capacité de prospective à partir de son travail au long cours. Ici je prendrai momentanément à rebours l’argument habituel sur le décalage de temporalité entre temps court du politique et temps long de la recherche – argument tout à fait juste par ailleurs. Le temps de la recherche est effectivement un temps long, plus long que celui du politique, comme on le déplore souvent, mais ce temps long conduit aussi à une accumulation de connaissances qui pourraient être mobilisables de façon prospective. Quand un besoin d’évaluation émerge, il peut certes y avoir besoin de faire une nouvelle évaluation, mais les chercheuses et les chercheurs peuvent aussi avoir des choses pertinentes à dire sur la base de ce qu’elles et ils savent des effets de politiques précédentes, ou plus généralement des mécanismes de fonctionnement du domaine d’intervention concernée. Elles et ils peuvent aider à clarifier les enjeux, la signification d’une politique, et le type d’effets qu’on peut raisonnablement en attendre. Cela ne dispense évidemment pas d’évaluation, mais cela pourrait contribuer à instiller un peu plus d’intelligence scientifique dans les décisions publiques.

J’en viens donc à l’enjeu de l’appropriation de l’évaluation par les pouvoirs publics. Je voudrais d’abord souligner qu’il n’y a rien d’étonnant à ce que la prise de décision en matière de politiques publiques prenne peu appui sur l’évaluation. Carol Weiss, une autre figure centrale du champ de l’évaluation, le soulignait dès la fin des années 80 dans un article intitulé « si seulement les décisions de politiques publiques reposaient uniquement sur l’information » (Weiss, 1988). On peut le déplorer, certes, mais il n’y a là rien d’étonnant, insistait-elle, au regard de tout ce que la science politique nous dit des mécanismes de prise de décision en matière de politique publique, qui dépendent d’abord de stratégies électorales ou professionnelles, d’héritages institutionnels, d’effets de cadrage cognitif, d’influences idéologiques, de contraintes budgétaires et organisationnelles, bien plus qu’elles ne relèvent d’un choix rationnel entre une diversité d’options qui seraient posément examinées au regard de leurs effets attendus sur la base des savoirs scientifiques disponibles. Il est important de prendre acte du fait que les décisions politiques relèvent de ces nombreux déterminants très forts beaucoup plus que d’un choix éclairé par le savoir scientifique, pour mesurer la difficulté réelle qu’il y a à promouvoir des politiques publiques qui prendraient plus volontiers appui sur ce savoir–ce que désigne l’idée de politique fondée sur des données probantes, ou evidence-based policy. Quand on sait ce que nous dit la science politique sur les modalités effectives de prise de décision politique, on peut alors prendre toute la mesure du risque qu’il y a à ce que ce courant de l’evidence-based policy ne débouche sur de la production de policy-based evidence, c’est-à-dire des données supposées probantes reposant en réalité sur des orientations politiques préalablement adoptées, auxquelles elles viennent seulement donner une caution scientifique (Pawson, 2006). Le risque est réel et sérieux, et il impose une vigilance particulière et même une intransigeance, sur les garanties données à l’indépendance des évaluations.

Deuxième mise au point importante : cette réalité étant posée, sur le plan normatif l’utilisation de l’évaluation dans l’action publique ne devrait pas non plus être conçue selon un modèle où l’évaluation dicterait aux politiques les décisions à prendre. La décision politique engage comme son nom l’indique des dimensions proprement politiques, des choix de valeurs, de la délibération… C’est une activité d’une autre nature que l’activité qui consiste à analyser l’action publique et ses conséquences. Ce que peut faire l’évaluation, c’est aider à clarifier les enjeux d’une politique, à expliciter les valeurs qui la sous-tendent, mais aussi aider à anticiper les difficultés de la mise en œuvre, et à anticiper et documenter ses conséquences probables. L’appui sur l’évaluation peut aider les responsables politiques à prendre des décisions plus informées, mais la décision reste une décision politique.

3ème remarque : l’enjeu politique de l’évaluation ne se résume pas à un face-à-face entre évaluateur et décideur. L’évaluation répond à un enjeu démocratique beaucoup plus fondamental. Comme le souligne Patrice Duran dans ses travaux sur la question (Duran, 2009, 2018), dans un régime rationnel légal au sens de Weber, la légitimité des pouvoirs publics devrait logiquement reposer sur l’efficacité de leur action ; l’évaluation est alors un levier démocratique essentiel en tant qu’elle met en évidence les conséquences réelles et anticipées des interventions des pouvoirs publics, et permet de juger de leur efficacité ; elle permet donc de placer les dirigeants face à leurs responsabilités, que ce soit ex ante ou ex post. Dans cette optique, le public de l’évaluation, ce sont bien sûrs les dirigeants et les dirigeantes qui sont ainsi placés face à leurs responsabilités, mais ce sont aussi et surtout les citoyennes et les citoyens, qui en démocratie sont les arbitres en dernier ressort de la légitimité des pouvoirs publics par le vote. Donc l’appropriation de l’évaluation par les citoyens est essentielle – d’où aussi, on y reviendra sûrement, le rôle de l’information et du journalisme dans cette affaire.

Ces précisions étant apportées, comment peut-on favoriser une meilleure intégration de l’évaluation dans la conduite des politiques publiques ? Je développerai à ce sujet trois idées.

Le premier élément de réponse issu des travaux sur la question en évaluation est l’importance de la participation des parties prenantes au processus d’évaluation, qu’il s’agisse des décideurs, mais aussi des agents de la mise en œuvre et du public cible (Patton, 2018b ; Ridde et Dagenais, 2009). Plus les parties prenantes de la politique évaluée sont associés à la conception et à la mise en œuvre de l’évaluation, plus on favorisera leur appropriation de celle-ci. Cette participation doit être bien préparée et accompagnée, afin d’être fructueuse pour l’évaluation et son appropriation sans risquer de mettre en péril l’indépendance du processus évaluatif. Les rôles doivent rester clairement définis et l’indépendance de la recherche garantie, mais sous réserve de cette clarification nécessaire, le fait d’échanger à toutes les étapes est très utile pour favoriser l’appropriation de l’évaluation.

Et je voudrais insister à ce sujet sur le fait que l’apport de l’évaluation à cet égard ne doit pas être conçu seulement sous l’angle de l’apport des résultats, des conclusions (du type : est-ce que telle intervention fonctionne ou ne fonctionne pas ?), mais aussi sous l’angle de l’apport du processus réflexif induit par la démarche d’évaluation, qui pousse à réfléchir sur les enjeux de la politique, ses objectifs, les valeurs qui la sous-tendent… le fait de se placer dans une démarche d’évaluation induit une réflexivité qui n’est pas toujours initialement présente dans l’action publique : du fait par exemple de valeurs qui sont tellement prégnantes qu’elles ne sont jamais rendues explicites, ou de phénomènes de dépendance au sentier emprunté qui font en sorte qu’on n’identifie pas les alternatives possibles à la politique qu’on est en train de mettre en œuvre.

Deuxième idée en vue d’une meilleure appropriation des évaluations dans l’action publique : il faut construire et consolider des ponts entre la recherche et les politiques publiques. Cela passe par un travail de synthèse et de traduction des résultats de la recherche, mais aussi de ses questionnements, auprès des acteurs publics. Ce rôle de médiation entre recherche et action publique fait appel à des compétences spécifiques, combinant une bonne connaissance des milieux de la recherche avec des capacités de communication auprès d’un public plus large. Il y a là, très concrètement, des métiers à développer autour de cette fonction de courtage ou de médiation des connaissances. Cela passe aussi, du côté de la recherche, par le développement et la valorisation de pratiques de synthèse des connaissances existantes, par le biais de revues de la littérature. Les pratiques de revues systématiques de la littérature sont devenues sur le plan international un outil de plus en plus important de l’évaluation des politiques publiques (Belaid et Ridde, 2020). Or elles restent encore peu courantes en France relativement à d’autres pays, qu’il s’agisse de leur production par les chercheurs ou de leur usage par les acteurs publics. Du côté des chercheurs, cela suppose de mieux valoriser un format de publication qui est souvent jugé secondaire, et inégalement valorisé selon les disciplines. Mais encore une fois, au-delà des efforts que les uns les autres peuvent faire en ce sens, le renforcement des ponts entre la recherche et l’action publique passe surtout par le développement de métiers spécifiques.

Troisièmement, et dans le prolongement de cette idée, il faut plus généralement réfléchir à la question de l’appropriation des évaluations dans des termes institutionnels et organisationnels. Insuffler une culture de l’évaluation dans l’action publique en France, cela ne peut justement pas se faire sur la seule base d’un souffle culturel ou de l’invocation de grands principes. Il faut que cela ait une base institutionnelle, organisationnelle, en termes de financement, de ressources humaines… C’est dans ces termes très concrets qu’il faut réfléchir au développement des pratiques évaluatives. L’évaluation suppose des ressources humaines, du temps, des financements, des supports de publication, des métiers spécifiques. Cela passe par des soutiens à la recherche et aux fonctions intermédiaires entre la recherche et l’action publique, mais aussi par le développement de services plus conséquents dédiés à cette mission d’évaluation au sein des institutions publiques qui ont cette vocation : par exemple, le Parlement dispose actuellement de moyens bien trop insuffisants pour remplir sa mission dédiée aux études d’impact (de Padirac et Rozenberg, 2019).

C’est donc à mon sens en jouant sur ces différents leviers, à la fois du côté de la recherche et de l’action publique, que l’on pourra favoriser une meilleure appropriation des évaluations.

Références citées

Belaid L., Ridde V., 2020, « Une cartographie de quelques méthodes de revues systématiques », Working Paper CEPED n°44.

Duran P., 2009, Penser l’action publique, Paris, LGDJ-Droit et société.

Duran P., 2018, « L’évaluation des politiques publiques: les sciences sociales comme sciences de gouvernement », Idées économiques et sociales, 193, 3, p. 6‑27.

Padirac H. de, Rozenberg O., 2019, « L’évaluation au Parlement français : l’heure des choix », LIEPP Policy Brief n°41.

Patton M.Q., 2018a, « Evaluation Science », American Journal of Evaluation, 39, 2, p. 183–200.

Patton M.Q., 2018b, Utilization-focused evaluation, London, Sage.

Pawson R., 2006, Evidence-Based Policy: A Realist Perspective, London, Sage.

Ridde V., Dagenais C., 2009, Approches et pratiques en évaluation de programme, Montréal, Presses de l’Université de Montréal.

Suchman E.A., 1967, Evaluative research. Principles and practice in public service and social action programs, New York, Russell Sage Foundation.

Weiss C.H., 1988, « If Program Decisions Hinged Only on Information: A Response to Patton », Evaluation Practice/American Journal of Evaluation, 9, 3, p. 15‑28.


[1] Conseil d’Etat, 2020, L’évaluation des politiques publiques, une compétence partagée – 2e table ronde https://www.youtube.com/watch?v=zRA3pcJaPxw