Performance économique des politiques publiques: Évaluation des coûts-avantages et analyse d'impacts contrefactuels

Par Moktar Lamari

Cet ouvrage met en lumière du matériel technicopédagogique et des résultats de recherche obtenus progressivement durant une vingtaine d’années d’enseignement, de pratique et de recherche universitaire au sujet de l’évaluation socioéconomique des programmes publics. Il met à profit une expertise de recherche et une expérience internationale réalisées en la matière, notamment dans le cadre de missions, collaborations et mandats accomplis pour le compte d’organismes internationaux. L’objectif de cet ouvrage vise à renforcer les connaissances et compétences en évaluation économique de l’action gouvernementale et des politiques publiques sous ses différentes facettes au regard de ses divers paliers de gouvernance (centraux, provinciaux, locaux). La démarche didactique présentée ne s’adresse pas uniquement aux personnes férues d’économie et d’économétrie, au contraire. Elle est adaptée, illustrée et simplifiée pour cibler tous les analystes et professionnels travaillant en évaluation de programme, peu importe leurs disciplines de formation universitaire et champs d’intervention dans les institutions publiques et gouvernementales.

En plus des explications théoriques et conceptuelles, Performance économique des politiques publiques propose des approches et des exemples empiriques, mettant de l’avant les progrès et la capacité de calcul et de simulation produits par les plus récents progiciels et modules de programmation de calculs financiers et économétriques. Un intérêt particulier est accordé aux méthodes d’évaluation du risque et d’analyse d’impacts contrefactuels. Chacun des huit chapitres qui composent l’ouvrage comporte des simulations et exercices visant à faciliter le transfert du savoir, consolider l’apprentissage et affiner la maîtrise des commandes et des modélisations économétriques spécialisées.

• Langue: Français
• Éditeur: Presses de l'Université du Québec
• Date de sortie: 25 mai 2022
• ISBN: 9782760556478

Aperçu du livre

Introduction

Le présent livre valorise un matériel technicopédagogique et des résultats de recherche obtenus progressivement durant une vingtaine d’années d’enseignement, de pratique et de recherche universitaire au sujet de l’évaluation socioéconomique de programmes publics.

Le matériel utilisé est le fruit de plusieurs investigations empiriques, études de cas, simulations empiriques et modélisations économétriques développées lors de mes enseignements universitaires (niveau maîtrise) au sein de l’École nationale d’administration publique (ÉNAP), du réseau de l’Université du Québec (entre 2006 et 2020) et de l’Université Laval (entre 2000 et 2009).

Aussi, le contenu met à profit une expertise internationale réalisée en matière d’évaluation économique des programmes publics, notamment dans le cadre des missions, collaborations et mandats réalisés pour le compte d’organismes internationaux (Banque mondiale [BM], Programme des Nations unies pour le développement, etc.), et ce, dans le cadre d’une dizaine de missions et collaborations sur le sol africain, notamment.

La matière présentée dans ce livre vise à renforcer les connaissances et compétences en évaluation économique de l’action gouvernementale et des politiques publiques, dans ses différentes facettes et ses divers paliers : centraux, provinciaux et locaux. Les développements cherchent à procurer et à systématiser les évaluations économiques, dans une perspective basée sur le principe de rationalité voulant que les décideurs soupèsent et comparent l’ensemble des coûts et des bénéfices avant de prendre des décisions éclairées et fondées.

Cela dit, le livre est élaboré dans une perspective qui vise à approfondir les connaissances et à aiguiser les compétences pour les apprenants (étudiants universitaires), les praticiens et les gestionnaires voulant faire fructifier, mettre à jour et utiliser les méthodes de mesure du rendement économique.

La démarche didactique présentée dans ce manuel ne vise pas uniquement les personnes férues en économie et en économétrie. Bien au contraire, elle est adaptée et simplifiée pour cibler tous les analystes et professionnels pratiquant l’évaluation de programme, quels que soient leurs disciplines de formation universitaire et champs d’intervention dans les institutions publiques et gouvernementales.

Le but ultime consiste à outiller les compétences, à procurer des applications de modélisation et de calcul permettant de jauger et de quantifier le rendement économique des programmes et des politiques publics.

En plus des explications théoriques et conceptuelles, le manuel propose des approches et des exemples empiriques, mettant de l’avant les progrès et la capacité de calcul et de simulation produits par les progiciels et la programmation de calculs financiers et économétriques.

Le livre est principalement conçu pour renforcer les compétences pratiques des évaluateurs appelés à évaluer la performance économique des interventions et des politiques publiques. Que ceux-ci soient chercheurs, étudiants ou professionnels de l’évaluation, le livre leur apporte des réflexions conceptuelles, des cadrages théoriques, le tout soutenu par des applications, programmations et commandes conçues sur mesure pour relever les défis grandissants de l’évaluation socioéconomique des politiques publiques.

Le manuel évite dans la mesure du possible les équations économétriques complexes et se limite à valoriser leurs enjeux et leur utilité pour la pratique de l’évaluation économique. Il comporte aussi des exercices et des problèmes à résoudre pour vérifier et renforcer la compréhension des étudiants et des professionnels opérant dans le domaine.

Le livre est structuré en huit chapitres. Chacun des chapitres est illustré avec des schémas et des graphiques, en plus de comporter des exercices pour faciliter le transfert du savoir, consolider l’apprentissage et affiner la maîtrise des commandes et des modélisations économétriques spécialisées.

Chapitre 1 /

L’évaluation économique de programme

De quoi s’agit-il ?

L’évaluation des programmes publics génère de nouvelles informations, connaissances et sagesses pouvant optimiser le processus de prise de décision et la planification de l’action publique, au niveau de l’État et des organismes publics ayant des fonctions de gouvernance (État central/fédéral, région/province, municipal/local). Ultimement, l’évaluation des programmes publics vise à optimiser l’utilisation des ressources rares en vue d’améliorer le bien-être collectif. La mesure et l’évaluation de la performance économique des politiques publiques préoccupent les décideurs, les politiciens, l’opinion publique et les citoyens. Dit simplement, le bon sens veut savoir si les dépenses et les sacrifices engagés dans le cadre d’une action publique procurent au moins autant de bénéfices et d’avantages pour la société dans son ensemble. Une telle préoccupation explore si les dépenses engagées pour l’action publique sont utilisées de façon efficiente, compte tenu de tous les autres usages possibles et options de placement de ces dépenses. C’est donc une démarche évaluative par excellence.

L’évaluation de l’action publique constitue une démarche rigoureuse et systématique de collecte et d’analyses de données en vue de répondre à des questions évaluatives préalablement définies. Cette démarche analytique s’inscrit pleinement dans les approches de recherche issues des sciences sociales, en faisant appel à diverses méthodes d’investigation (qualitatives, quantitatives, mixtes, etc.), et avec l’appui de plusieurs devis de démonstration (expérimentation, audit, vérification interne, économétrie, etc.).

Au-delà de son objet (questions évaluatives), de son unité d’analyse (politique, programme, projet, réglementation, etc.) et de son niveau d’analyse (micro, méso, macro, etc.), l’évaluation de programme a une utilité stratégique et une valeur ajoutée décisionnelle axée sur l’amélioration du bien-être collectif.

Cette évaluation fait avancer les connaissances et porte un jugement sur la performance d’un programme, d’une politique, d’une intervention publics dans le but d’éclairer la prise de décision et d’optimiser la valorisation des ressources. Dans leurs évaluations, les évaluateurs traitent de diverses questions évaluatives (pertinence, efficacité, efficience, répercussions, etc.).

Le présent manuel traite de l’évaluation économique des programmes publics. Il importe alors, dès le départ, de situer la portée et l’utilité de l’évaluation dans les processus de gouvernance et d’optimisation des ressources gouvernementales. On comprendra mieux le rôle et les spécificités de l’évaluation économique en mettant en perspective la valeur ajoutée de l’évaluation des politiques publiques.

Tel est l’objet de ce chapitre introductif articulé en deux parties. La première partie met en perspective le concept de l’évaluation de programme, en insistant sur son utilité dans la prise de décision et en mettant en relief les approches méthodologiques et leur ancrage théorique. La deuxième partie traite de l’évaluation économique, en précisant sa portée, ses différences avec l’évaluation financière et ses postulats de base.

1 / Évaluer pour performer et pour optimiser

1.1 / Les enjeux liés à l’évaluation

L’évaluation constitue l’un des leviers d’intelligence stratégique qui permettent, entre autres, une amélioration de la qualité de la gestion, une gouvernance axée sur les résultats et de meilleures prestations des produits et services publics. Cela dit, quatre préoccupations liées méritent d’être soulignées.

FIGURE 1.1 / Triptyque de la performance

Source : Mazouz, 2017, p. 60.

La gouvernance axée sur les résultats. L’évaluation de programme public permet d’appuyer l’ensemble de la démarche de gouvernance par les résultats. Il s’agit d’un processus favorisant le pilotage de la performance. L’accent est mis sur le triptyque pertinence, efficacité et efficience comme leviers de la performance. Le gestionnaire peut obtenir l’évaluation de la pertinence des objectifs, des indicateurs et des cibles, ainsi que celle de l’efficacité et de l’efficience des processus, des produits et services, des mécanismes de suivi et de mesure ou des retombées du programme. En fin de compte, l’évaluation renseigne les gestionnaires sur le rendement et l’efficacité de leurs programmes.

Une planification stratégique avertie. Bien que distinctes, l’évaluation de programme et la planification stratégique sont intimement liées. La planification stratégique définit notamment les orientations qu’une organisation souhaite prendre, compte tenu des enjeux auxquels elle doit faire face. Les orientations peuvent se traduire par la modification, le maintien ou la mise en œuvre d’un nouveau programme. L’évaluation de programme permet d’apprécier la pertinence et de mesurer l’impact réel des programmes et des interventions par rapport à ce qui était souhaité ou prévu. Les résultats de l’évaluation de programme permettent d’optimiser les choix publics, les orientations stratégiques, les axes d’intervention et la planification de l’action de l’État et ses organisations gouvernementales.

Un suivi et une reddition de comptes. Dans une démarche de gouvernance axée sur la performance, la reddition de comptes informe les décideurs au sujet des moyens mobilisés pour atteindre les résultats. Ce suivi s’effectue généralement au moyen du rapport annuel de gestion. La reddition de comptes est soutenue par un suivi continu de la progression des résultats. Le suivi de la performance et l’évaluation de programme sont des fonctions complémentaires qui renforcent la crédibilité de la reddition de comptes auprès des parlementaires et des citoyens.

Un dépistage précoce de la mauvaise gouvernance. La performance de l’action gouvernementale a besoin de moyens de veille et de leviers de suivi qui peuvent sonner l’alarme quand des décisions maladroites ont été prises, quand des décideurs ont pris des décisions irrationnelles… ou encore quand des politiciens légifèrent en méconnaissance de cause et sans mesurer tous les pour et tous les contre de leurs décisions.

Le présent manuel traite de l’évaluation économique des programmes publics. À cette fin, il importe de noter ici que la notion de programme va au-delà de celle qui est traditionnellement attachée aux processus budgétaires mis en place par le nouveau management public (new public management).

Dans son acceptation la plus large, on désigne par programme un ensemble cohérent et structuré d’objectifs, d’activités et de ressources (humaines, financières, matérielles et informationnelles), regroupés et articulés de manière officielle pour offrir des produits et des services destinés à la satisfaction et à l’amélioration du bien-être d’une population prédéterminée.

L’évaluabilité de la performance économique d’un programme public n’est pas toujours aisée. Pour être évaluable, un programme public doit se prêter à l’exercice, en permettant de cerner, de déterminer et de délimiter les contours de ce qui est soumis à l’activité évaluative. Ainsi, un programme public est évaluable s’il est possible de le déterminer finement comme tel, si on dispose dès son adoption des informations fiables sur ses finalités, ses moyens, ses coûts, ses retombées, etc. de manière documentée et validée par les institutions et structures qui en sont responsables.

Un programme public qui se présente comme une simple idée, une vue de l’esprit, et qui est sans objectifs, sans structures de gouvernance, sans logiciel précis (modèle logique), un programme difficile à cerner et à déterminer comme tel (objectif, moyens, ressources, etc.) ne se prête pas à l’évaluation.

Dans une large mesure, l’évaluation de programme éclaire les décideurs et les citoyens sur ce qui fonctionne réellement dans un programme, sur ce qui ne fonctionne pas et sur les façons de faire pour atteindre les objectifs du gouvernement à moindre coût, avec la préoccupation constante du service à la clientèle et de l’atteinte des résultats attendus.

L’évaluation de programme joue donc un rôle primordial dans un modèle de gouvernance axé sur les résultats. En effet, elle vise à mesurer l’efficience, entendue comme un rapport entre tous les coûts et tous les bénéfices (directs ou indirects) associés au programme. Le défi consiste à établir les relations de cause à effet et à cerner les facteurs expliquant le niveau de performance.

1.2 / Les questions évaluatives

L’évaluation des programmes publics peut traiter de nombreux enjeux évaluatifs, dont les principaux sont les suivants :

La pertinence. L’évaluation examine la raison d’être du programme, en cherchant à déterminer les engagements ou les problématiques qui doivent justifier les dépenses publiques ayant permis la mise en œuvre d’un programme public plutôt qu’un autre.

La mise en œuvre. L’évaluation traite du modus operandi de la mise en œuvre du programme, cherchant à comprendre les modalités de concrétisation du concept de l’intervention (instruments, modalités, incitatifs, etc.) sur le terrain de celle-ci. Très souvent, le concept du programme ne correspond pas tout à fait aux leviers, moyens et instruments devant l’opérationnaliser.

L’efficacité. L’évaluation examine le niveau d’atteinte des objectifs visés et des effets escomptés par un programme ou simplement une organisation. L’enjeu d’une telle évaluation consiste à mesurer si les actions et les moyens mobilisés sont en mesure de produire les extrants et les activités envisagées ou souhaitées.

L’efficience. L’évaluation fait référence à la transformation, en biens et en services, au meilleur rendement, des ressources consenties ou investies dans le cadre d’une intervention évaluable. Il s’agit d’apprécier dans quelle mesure les ressources sont utilisées de manière optimale pour produire de la valeur, mesurée par des extrants, résultats et effets recherchés. Ici réside le principal enjeu analytique de ce manuel, puisqu’on oppose forcément l’analyse des coûts et des bénéfices, directs ou indirects, du point de vue de la société et tenant compte de toutes les externalités liées aux interventions faisant l’objet de l’analyse de l’efficience.

L’économie. L’évaluation consiste à savoir si l’on minimise les coûts et les dépenses pour une activité donnée ou un résultat donné. Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés. Il s’agit de minimiser les coûts sous contrainte de production d’un bien public donné et dans un contexte donné.

L’impact ou l’évaluation des effets. L’évaluation porte sur l’importance des retombées d’un programme sur les plans social et économique ou encore sur la protection des ressources.

L’évaluation de programme est pratiquée et enseignée dans presque toutes les disciplines des sciences sociales. Les applications sont, en conséquence, diverses et variées. Pour simplifier l’assimilation des postulats et des préceptes en jeu, on se limite dans ce qui suit à souligner quelques balises méthodologiques et contours théoriques qui leur sont liés.

2 / L’évaluation et les soubassements théoriques

L’évaluation de programme prend appui sur des théories et des approches inspirées par les disciplines dominantes en sciences sociales. Sans être exhaustif, nous présentons notamment les liens associant l’évaluation de programme et les dimensions théoriques issues des sciences sociales.

Issues des méthodes de la recherche en sciences sociales, les approches évaluatives ancrées dans les théories (grounded theory) partent d’un socle théorique bien défini au départ pour le bonifier ou le réviser. Elles ont pour objectif de construire des théories sur la base de données empiriques, sans recourir a priori à des hypothèses vérifiables, mais plutôt en construisant au fur et à mesure les hypothèses, les concepts et les corrélats en cause dans une théorie donnée.

L’évaluation ancrée dans les théories postule que l’évaluation doit rester liée aux processus de théorisation à l’œuvre en sciences sociales. La réalité observée lors des évaluations de programmes est constamment conceptualisée et décortiquée grâce à des construits, des liens et des logiques agissant sur des systèmes et sur des acteurs. Les démarches et les approches constructivistes visent ici la découverte, et moins la vérification et l’exhaustivité. L’évaluation de programme contribue ainsi à la construction de théories explicatives.

L’approche évaluative de type « fondée sur la théorie du programme » (theory-driven evaluation) fut développée par Chen (1990) dans le but de combler les failles d’une évaluation de programme faite uniquement sur la base de la congruence ou la correspondance entre objectifs et résultats obtenus. Nous l’avons mentionné précédemment, il arrive fréquemment que ces objectifs soient difficilement mesurables et atteignables par un seul et unique programme.

Pour Chen, les objectifs couvrent mal l’ensemble du problème social auquel le programme doit répondre et qu’il doit ultimement résoudre. L’auteur propose ainsi de dépasser l’évaluation de l’atteinte des objectifs fixés par le programme ou l’action à évaluer, en intégrant un ensemble plus large d’objectifs auxquels le programme pourrait, d’une façon ou d’une autre, ajouter de la valeur sociale en modifiant les paramètres et les options d’amélioration.

Ici, les évaluateurs doivent se doter d’une plus grande connaissance des problématiques traitées par un programme et, dans ce cadre, ils se doivent de paramétrer les critères de l’évaluation. Une connaissance approfondie des enjeux de la problématique de l’intervention est d’une grande utilité pour l’évaluation des retombées ou encore des effets pervers, le cas échéant.

2.1 / L’évaluation économique n’est pas toujours une recherche désincarnée

La recherche évaluative des politiques et l’évaluation de programme sont généralement considérées comme des démarches empiriques voulant déterminer comment faire plus de résultats avec moins de ressources.

Ultimement, il s’agit de mieux ajuster un programme ou une intervention plus ponctuelle au regard de l’intérêt collectif et du bien-être social d’une communauté, d’un pays, d’une région, etc. Le bien-être collectif constitue un concept clé, avec une synthèse agrégée des bienfaits pour les consommateurs, les producteurs et les acteurs de la gouvernance.

La recherche évaluative doit répondre aux critères d’excellence en recherche en sciences sociales. Elle se différencie ainsi de la recherche libre, dont l’objectif premier est l’avancement des connaissances, dans une optique choisie parfois unilatéralement par le chercheur en sciences sociales.

L’évaluation économique est, ultimement, une recherche délibérément orientée vers l’aide à la décision et à l’amélioration du bien-être collectif. Elle vise, sur la base d’informations pertinentes, à poser un jugement sur une intervention afin de lui apporter des ajustements ou encore d’améliorer des interventions ultérieures (Patton, 2002).

L’évaluation économique des politiques publiques utilise des approches scientifiques de production de connaissances utiles à la prise de décision, tout en s’adaptant au contexte et à l’objet évalué. En ce sens, l’évaluation économique peut diversifier, plus que la recherche libre et fondamentale, ses sources d’information de manière à correspondre plus précisément à la forme de l’intervention évaluée.

Contrairement à une recherche scientifique libre et autodéterminée par le chercheur (ou par ses pairs), l’évaluation économique de programme ou d’intervention donnée s’intéresse traditionnellement à des questions imposées par le contexte décisionnel et les impératifs de la gouvernance.

Notons qu’une évaluation qui se centrerait uniquement sur les objectifs et sur la conformité des résultats obtenus avec ces derniers présenterait certaines limites. En effet, les objectifs sont rarement très clairement définis et demeurent le plus souvent difficilement mesurables concrètement.

De plus, les processus qui représentent une cause d’échec ou de réussite du programme ne sont que rarement pris en compte dans ce type d’évaluation centrée sur la connaissance au sens large, plutôt que sur l’aide à la décision et à l’économie des ressources rares. Il devient alors impossible de déterminer quels changements seront pertinents à l’amélioration du programme.

2.2 / Le processus évaluatif

La réalisation d’une évaluation économique passe par de nombreuses étapes et opérations concrètes à mener avant, pendant et après ce processus évaluatif. Ces étapes confirment la rigueur, permettent de s’assurer de la fiabilité et de la validité des résultats. Ainsi, avant toute évaluation économique, l’évaluateur ou son mandataire doit prendre le temps requis pour privilégier le ciblage des questions évaluatives, qui doivent orienter et baliser le processus évaluatif.

C’est à partir de ce ciblage des questions évaluatives que l’évaluateur élabore un devis de recherche tenant compte des contingences en présence (délais, moyens, risques, etc.). On ne peut pas élaborer une évaluation économique sans devis évaluatif préalablement défini.

Dans ce devis, il importe de préciser les critères de jugement, les variables en cause et les indicateurs de mesures permettant de vérifier et de démontrer, hors de tout doute, les preuves et argumentaires soutenant les réponses obtenues aux questions évaluatives posées. Et ce devis requiert un savoir-faire et une expertise qui sont à la fois évaluatifs et économiques.

De tels devis ne sont pas à la portée de tout un chacun. Dans ce processus, l’évaluateur adoptera des approches évaluatives précises pour baliser et cadrer ses analyses. L’approche choisie doit être étayée par les connaissances (produites ou à produire) et des théories ayant traité du programme et des comportements concernés par le programme à évaluer.

L’élaboration de tels devis permet de construire un plan d’action et un ensemble d’outillage nécessaire à l’analyse (problématique, questions, approche, méthodes, critères, indicateurs, etc.). La collecte et l’analyse des données feront le reste pour dégager les constats, les argumentaires et les recommandations. L’évaluation complétée mérite une communication et une diffusion qui optimisent la prise de décision et la performance des programmes publics.

2.3 / La vocation formative contre la vocation sommative

Les évaluations de programmes publics peuvent avoir une vocation formative, éclairant la prise de décision durant le cycle de vie du programme, ou sommative, quand elle est réalisée à la fin du cycle de vie du programme et de façon rétrospective.

Mais de nombreuses évaluations économiques se font de manière ex ante et prospective. Ici, les analyses s’appuient sur des techniques de projection et d’actualisation des flux monétaires, des avantages et des coûts anticipés le long d’un horizon temporel prédéfini. La prise en compte des risques futurs est au cœur des estimations et des proxys utilisés dans ce cadre.

Ces évaluations sont menées par des experts maîtrisant les outils de calcul économique, ainsi que les théories microéconomiques analysant l’offre et la demande des biens et des services privés et publics. Ces experts sont souvent issus de l’extérieur des organisations responsables de la conception et de la mise en œuvre des politiques publiques à évaluer.

En économie sociale, l’évaluation sommative permet à des observateurs externes de juger de l’ampleur de la valeur ajoutée d’un programme, d’une intervention ou de l’ensemble de ce secteur d’activité sans avoir à se référer à l’opinion des personnes qui y sont reliées ou à d’autres données non comparables. L’évaluation sommative permet notamment de tirer les conclusions et de mesurer les effets associés aux interventions et aux dépenses publiques engagées.

Contrairement à l’évaluation sommative, l’évaluation formative vise d’abord la validité interne des résultats. Elle sert à l’amélioration d’un programme ou d’une intervention et se fait avec les personnes qui participent au développement de ce programme. Celles-ci pourront trouver les moyens d’ajuster leurs activités de manière à mieux atteindre leurs objectifs. L’évaluation formative peut examiner la performance de chacun des leviers de mise en œuvre.

2.4 / La validité et la fiabilité

L’examen de la validité, interne ou externe, des constats et des conclusions de l’évaluation détermine le niveau d’utilité et la prise en compte de ces constats par les décideurs. Il est donc important de se pencher sur ces notions avant de procéder à la collecte et à l’évaluation des données.

La validité interne d’une évaluation a trait aux liens existants entre les observations empiriques et leur fidélité aux phénomènes étudiés et aux concepts mesurés. La méthodologie employée vise à accroître cette validité interne des résultats. Plusieurs précautions sont