L'évaluation des politiques publiques

Une double volonté :

• une volonté d’amélioration continue : en mesurant l’impact et l’efficacité sur le terrain d’un dispositif, notamment à travers des témoignages de professionnels et d’usagers directement concernés, la collectivité cherche à améliorer le service rendu aux habitants.
• une volonté de transparence démocratique : en évaluant sa politique la collectivité se questionne sur l’atteinte de ses objectifs stratégiques et sur les orientations prises et rend transparents les résultats de l’action publique.

L’évaluation de politiques publiques vise à optimiser l'efficacité d'une collectivité. Elle consiste à observer ce qui fonctionne et ce qui fonctionne moins dans les actions menées, dans le but de renforcer, rectifier, corriger, améliorer et réorienter ultérieurement.

L’évaluation permet de répondre à trois questions :

• comment fonctionne une politique publique et quels sont ses effets ?
• les résultats sont-ils à la hauteur des objectifs ?
• peut-on faire mieux et comment ?
   

Pourquoi est-il si compliqué de dire si une politique publique fonctionne ou pas ?
Pour une entreprise, les profits réalisés sont un indicateur objectif de son fonctionnement et de sa réussite. Pour une administration, la question est différente. Les indicateurs concernent la qualité des services rendus aux habitants.

Par ailleurs, ce n’est pas facile de savoir ce qui fonctionne ou pas…
Il n'est pas possible d’évaluer la totalité de l’action publique de l’Etat ou des collectivités. Il faut pour cela définir un périmètre à évaluer : une politique, un programme, un projet public, sur une période et un territoire. Qu'est-ce qu'une politique change pour les citoyens ? Que se serait-il passé pour eux sans cette politique ?  Les changements constatés sont-ils exclusivement l’effet de cette politique ? Veut-on vraiment savoir si une politique est efficace ? Il n’est pas facile de reconnaître que sa politique n’a pas eu les effets escomptés.

Une évaluation de politique publique doit être menée :

• au bon moment : il est inutile d’évaluer si les décisions sont déjà prises !
• de la bonne manière : l'évaluation doit être crédible et bénéficier de garanties, sinon elle est inefficace. La méthodologie doit être robuste, les investigations de terrain (enquête, rencontres, analyse de statistiques) fiables et s’inspirer des méthodes de la recherche scientifique (économie, sociologie, sciences politiques, etc.). L’évaluateur doit être indépendant et objectif.

Le Comité de suivi et de la redevabilité (CoSER), une instance pluraliste politique au service de l’évaluation
Présidé par le vice-président de la Région en charge de l’évaluation, le CoSER est composé également du vice-président en charge des fonds européens, d’élus de chaque groupe politique, de représentants du Conseil économique, social et environnemental régional (CESER) et de la direction générale.

Sa mission :

• débattre et élaborer, sur la base des propositions des services régionaux, le programme annuel d’évaluation,
• émettre un avis sur la pertinence des propositions (faisabilité et valeur ajoutée),
• valider le cadre méthodologique générale de l’évaluation,
• assurer une veille sur la mise en œuvre des recommandations adoptées.

De haut en bas et de gauche à droite : Hicham Boujlilat (président), Patrick Molinoz, Sarah Persil, Eric Houlley, Catherine Barthelet, Patrick Blin, Martine Déchaud, Dominique-Alexandre Bourgois, Caroline Debouvry, Olivier Brasseur-Legry.

Un service dédié à l’évaluation
Le service évaluation comprend quatre personnes dont trois chargés de mission des politiques régionales et des politiques européennes. Pour des raisons de neutralité, la Région a fait le choix de confier les évaluations à des prestataires extérieurs.
Le service évaluation est en charge de préparer la commande d’évaluation puis de s’assurer de son bon déroulement, du respect du cahier des charges et de la qualité des rapports remis.

Sa mission en lien étroit avec les directions opérationnelles concernées :

• identifier avec les directions concernées les objectifs et préciser les résultats attendus,
• rédiger le cahier des charges et les documents afin de lancer la consultation,
• analyser les offres reçues à partir d’une grille d’analyse et faire le choix de prestataire,
• organiser les réunions des comités techniques et de pilotage (a minima trois fois durant l’évaluation : au lancement de travaux, en étape intermédiaire et à la fin de l’évaluation),
• communiquer sur l’évaluation et ses résultats,
• assurer le suivi des recommandations formulées par l’évaluateur.

Le suivi des recommandations formulées par les cabinets est systématiquement présenté en assemblée plénière au moment du dialogue d’orientations budgétaires.

A quel moment évaluer ?

Une évaluation peut être réalisée à plusieurs stades de l’intervention publique.

• Avant, on parle d’évaluation ex-ante : elle constitue une aide à la conception de la politique publique, un outil de mesure de cohérence et de pertinence.
• Pendant, on parle d’évaluation in itinere : réalisée au moment du déploiement de la politique, cette évaluation vise à vérifier que la politique menée correspond bien aux objectifs fixés, à en apprécier les premiers effets et à ajuster si besoin.
• Après, on parle d’évaluation finale ou d’évaluation ex-post : elle prend en compte l’ensemble de la politique publique mise en œuvre et cherche à mettre en évidence ses résultats.

Les outils de l’évaluation

Pour collecter des données auprès des acteurs concernés sur le terrain, les évaluateurs utilisent plusieurs méthodes :

• entretiens individuels et collectifs de bénéficiaires, d’acteurs clés du dispositif, des élus en charge de la politique évaluée…,
• ,
• réunions de travail avec des partenaires, des agents ressources,
• questionnaires en ligne,
• observations sur le terrain pour constater et récupérer des informations sur place,
• focus groupe,
• lecture d’études et de recherches menées sur ce sujet,
• comparaison ou contacts avec d’autres collectivités sur le même sujet.

Les étapes de l’évaluation

• Lancement et cadrage de l’évaluation : établir le référentiel d’évaluation, valider la méthodologie et le calendrier,
• Investigations et analyses : recueillir les informations nécessaires pour répondre au questionnement évaluatif,
• Conclusions et recommandations : rendre un jugement évaluatif quant aux effets attendus et proposer des préconisations.