Évaluation de programme: De la réflexion à l'action

Par Anne-Marie Tougas, Natalie Kishchuk, Annie Bérubé et 17 de plus

L’évaluation de programme est un champ d’expertise vaste et foisonnant.

Comment mobiliser efficacement les connaissances disponibles au profit du développement, de l’adaptation et de la pérennité des interventions ou des services offerts au sein d’un milieu de pratique ? Si cette question risque de rebuter l’évaluateur novice, tout comme le gestionnaire soucieux de la qualité de ses programmes, le présent ouvrage se charge de les outiller en alliant réflexion et action au profit d’une pratique professionnelle rigoureuse de l’évaluation de programme. Rédigé par des spécialistes de divers horizons, ce livre intéressera les étudiants de cycles supérieurs, les intervenants et les administrateurs de différents domaines (éducation, santé, services sociaux, communautaire) qui souhaitent développer les connaissances et compétences nécessaires pour prendre part, de près ou de loin, à une démarche d’évaluation de programme.

Traduisant une vision intégrative de la pratique, en toute cohérence avec le référentiel de compétences de la Société canadienne d’évaluation, cet ouvrage rassemble des contenus théoriques et concrets qui guident l’évaluateur dans l’exercice des rôles qu’il peut jouer pour accompagner les différentes étapes de déploiement d’un programme, allant de l’évaluation des besoins qui orientent sa conception à l’évaluation de ses effets. Il poursuit par le fait même la visée ultime de contribuer à la formation d’ambassadeurs d’une culture évaluative au sein des organisations publiques.

• Langue: Français
• Éditeur: Presses de l'Université du Québec
• Date de sortie: 22 sept. 2021
• ISBN: 9782760555518

Anne-Marie Tougas

Anne-Marie Tougas est professeure en psychoéducation à l’Université de Sherbrooke. Elle a développé une expertise en évaluation de programme au courant de sa formation doctorale en psychologie communautaire et de son post-doctorat en psychoéducation. Cette expertise l’a ensuite menée à diriger différents travaux de recherche et de consultation dans ce domaine auprès d’organismes et d’établissements de divers secteurs (éducation, santé, services sociaux, communautaire, municipal). Ses projets actuels s’intéressent aux pratiques qui favorisent le rétablissement des jeunes vivant avec des problèmes de santé psychologique. Ils mettent à profit des méthodologies mixtes et reposent sur des approches participatives qui donne une voix aux parties prenantes et valorisent l’expertise des milieux de pratique.

Aperçu du livre

INTRODUCTION

Évaluer pour avancer sans réinventer

Par Annie Bérubé, Anne-Marie Tougas et Natalie Kishchuk

S’il fallait décrire en un mot le monde de l’intervention psychosociale des dernières décennies, le mot foisonnement viendrait sans doute à l’esprit. De nombreuses initiatives et réformes ont vu le jour autant dans le monde de l’éducation et de la santé que dans les milieux communautaires. Des milliers d’idées circulent, qui donnent lieu à autant de programmes ou de changements dans les pratiques. Cette effervescence aura permis de répondre à un grand nombre de problématiques. Ce bouillonnement aura cependant également vu éclater plusieurs initiatives qui se seront avérées plus ou moins éphémères. Devant cette situation, les expressions pérennité, transfert des connaissances et diffusion de l’information auront émergé comme autant de questionnements. Comment faire connaître et faire vivre à long terme ces idées innovantes, tout en s’assurant qu’elles répondent de manière efficace et toujours actuelle aux problématiques ciblées ?

Nous avons écrit ce livre parce que nous croyons que l’évaluation de programme permet plus que jamais de répondre à ces questions et qu’elle représente un outil essentiel pour participer à la découverte, à l’enrichissement et au maintien des meilleures initiatives en place. Pour ce faire, l’évaluation de programme doit faire partie intégrante des activités. Ce puissant mécanisme devrait être mobilisé dès les premières approches face à une problématique et être utilisé pour confirmer les besoins de la clientèle, pour réfléchir à l’initiative à mettre en place, pour vérifier si les conditions présentes permettent l’adoption de la pratique proposée, pour mesurer et documenter l’implantation de l’initiative et pour en vérifier les effets. Ainsi, l’évaluation de programme se veut un processus de réflexion continue qui permet d’accompagner les interventions dans un cycle itératif.

I.1   DÉFINITIONS CENTRALES

Dans ce livre, nous opterons pour la définition proposée par Poth et ses collaborateurs (2014), où l’évaluation de programme correspond à « l’appréciation systématique de la conception, de la mise en œuvre ou des résultats d’une initiative pour des fins d’apprentissage ou de prise de décision ». Le mot programme renvoie quant à lui largement à « un ensemble organisé, cohérent et intégré d’activités et de services réalisés simultanément ou successivement, avec les ressources nécessaires, dans le but d’atteindre des objectifs déterminés, en rapport avec des problèmes ou besoins […] précis, et ce, pour une population définie » (Pineault et Daveluy, 2020, p. 295). Ainsi, dans le cadre de ce livre, le mot programme sera utilisé pour faire référence à un service, une intervention, une pratique, une thérapie, une programmation, des ateliers, etc.

I.2   AUDITOIRE CIBLE

L’utilisation de l’évaluation de programme de manière intégrée demande une démocratisation de cette pratique. Afin d’être utile et utilisé, ce champ de pratique doit être maîtrisé par une panoplie d’intervenants de tous horizons. Ce besoin se traduit par une offre de formation grandissante. Des cours en évaluation de programme se sont ajoutés au corpus des programmes universitaires dans une grande diversité de champs disciplinaires. Que ce soit, par exemple, en psychologie, en médecine, en santé publique, en développement communautaire, en sexologie, en travail social, en criminologie ou en psychoéducation, les étudiants universitaires reçoivent une formation les initiant à l’évaluation de programme. Ce livre s’adresse à eux et aux enseignants engagés dans cette formation. Il s’adresse également aux intervenants et aux administrateurs susceptibles d’être engagés de près ou de loin dans un projet visant l’évaluation d’un programme. Dans cette optique, ce livre vise à initier le lecteur au domaine de l’évaluation de programme, à lui fournir les notions de base permettant de réaliser une évaluation de programme et à lui offrir une compréhension lui permettant d’être un participant et un consommateur plus averti en matière d’évaluation de programme. Comme prérequis, le lecteur doit idéalement disposer de connaissances de base en méthodologie de la recherche scientifique de niveau universitaire du 1er cycle.

I.3   MODÈLE UTILISÉ POUR STRUCTURER LE LIVRE

Plusieurs modèles existent pour guider et structurer la pratique de l’évaluation de programme. La Société canadienne d’évaluation (SCÉ) a élaboré un référentiel comprenant 36 compétences que les évaluateurs devraient maîtriser, lesquelles sont organisées sous cinq domaines (encadré I.1). Nous croyons qu’il s’agit là d’un modèle complet qui permet à l’évaluateur de réfléchir et de prendre position quant à plusieurs aspects relatifs à son travail. Le premier domaine de compétences mis en valeur par le modèle de la SCÉ touche à la pratique réflexive, notamment les connaissances en lien avec les notions théoriques et éthiques. Le deuxième domaine a trait au volet opérationnel, à savoir la méthodologie qui guidera l’évaluation. Le troisième domaine encourage l’évaluateur à réfléchir au contexte dans lequel l’évaluation se déroule. Le quatrième domaine fait appel aux compétences de gestion nécessaires dans la réalisation du projet. Finalement, le cinquième domaine met l’accent sur les qualités personnelles et interpersonnelles nécessaires. Tout au long du livre, une attention particulière a été apportée afin d’aborder chaque domaine de compétences. Certains domaines font l’objet de chapitres particuliers, alors que d’autres sont abordés de manière transversale.

Le livre est divisé en deux parties. La première partie aborde les compétences plus générales qui doivent guider la pratique de l’évaluateur dans son ensemble, alors que dans la deuxième partie, chaque chapitre est dédié à une forme d’évaluation en particulier.

I.3.1   

Partie I : Fondements théoriques et pratiques

Les chapitres de la partie I abordent des compétences transversales qui devraient guider l’évaluateur, peu importe le type d’évaluation qu’il effectue. Cette partie importante du livre présente les postures théoriques adoptées dans le livre, ainsi que des modèles permettant de prendre en considération le contexte dans lequel l’évaluation se déroule. Des méthodes répandues pour collecter des données en évaluation de programme sont également présentées. Des pistes de réflexion sont aussi proposées afin d’amener l’évaluateur à poser un regard réflexif sur sa pratique, ses aptitudes personnelles et ses considérations face au contexte dans lequel s’inscrit le programme à évaluer.

À cet effet, le chapitre 1 présente l’approche d’évaluation que nous avons privilégiée, à savoir l’approche basée sur la théorie de programme (Chen, 2015). Le chapitre permet de situer ce modèle parmi les autres approches en vigueur dans le champ de l’évaluation de programmes et de comprendre ses avantages, mais également ses limites. Ce chapitre est ainsi très particulier aux compétences du domaine des pratiques réflexives.

Le chapitre 2 poursuit sur les pratiques réflexives en décortiquant la théorie de programme qui est au cœur du modèle de Chen (2015). Ce faisant, ce chapitre s’intéresse également aux compétences contenues dans le domaine des pratiques contextuelles. En effet, l’utilisation de la théorie de programme encourage l’évaluateur à considérer le contexte dans lequel le programme s’insère.

ENCADRÉ I.1   Cinq domaines de compétences professionnelles selon la Société canadienne d’évaluation

1 Pratique réflexive. Ces compétences réfèrent aux connaissances portant sur la théorie et la pratique de l’évaluation ; sur le recours aux normes et lignes de conduite en éthique. Elles incluent aussi la conscience de soi, ce qui réfère à une réflexion sur sa pratique professionnelle et la nécessité d’une formation continue et d’un développement professionnel.

2 Pratique technique. Ces compétences mettent l’accent sur les décisions stratégiques, méthodologiques et interprétatives nécessaires pour mener une évaluation.

3 Pratique contextuelle. Ces compétences visent avant toute chose à comprendre, analyser et inclure les nombreuses circonstances qui rendent chaque évaluation unique, compte tenu de la culture, des parties prenantes et du contexte.

4 Pratique de gestion. Ces compétences mettent l’accent sur l’application de solides aptitudes en gestion de projet tout au long du projet d’évaluation.

5 Pratique concernant les relations interpersonnelles. Ces compétences mettent l’accent sur les habiletés sociales et personnelles qui sont requises pour communiquer et interagir efficacement avec toutes les parties prenantes.

Source : Société canadienne d’évaluation (SCÉ), 2018, p. 4.

Le chapitre 3 porte sur les pratiques techniques en visitant les méthodes les plus fréquemment utilisées en évaluation de programme. Le chapitre propose des méthodes de collecte d’informations qui sont autant de nature quantitative que qualitative. Le chapitre fait également une place importante aux méthodes mixtes, reconnaissant ainsi qu’une majorité des évaluations de programme utilisent plusieurs types de données récoltées auprès de plusieurs sources différentes.

Le chapitre 4 se penche sur le mandat de l’évaluation. Il s’agit d’un concept large permettant de poser des questions cruciales en lien avec les enjeux de pouvoir et la posture que l’évaluateur se doit d’aborder face aux parties prenantes. Ces éléments sont en lien avec les compétences figurant dans la pratique concernant les relations interpersonnelles. Le chapitre examine également les enjeux en lien avec la pratique de gestion de la démarche, notamment l’organisation de l’évaluation par l’élaboration d’une matrice, ainsi que l’élaboration et la gestion des budgets.

Le chapitre 5 propose une réflexion sur les pratiques contextuelles. Ce chapitre porte sur les contextes culturels qui imprègnent les interventions et sur la nécessité de les reconnaître au moment de faire une évaluation. Ce chapitre est d’une grande importance au moment où les sociétés prennent de plus en plus conscience des biais culturels qui guident leurs actions. L’évaluation de programme doit certainement faire partie de ce grand réveil sociétal et les pratiques évaluatives doivent refléter les contextes dans lesquels elles s’inscrivent.

Enfin, le chapitre 6 présente les notions en lien avec l’utilisation de l’évaluation. Ce chapitre fait appel à plusieurs compétences comprises dans les domaines de la pratique contextuelle et de la pratique concernant les relations interpersonnelles. L’évaluateur doit travailler avec les parties prenantes afin de s’assurer que l’évaluation sera utile et utilisée. Il doit également comprendre le contexte organisationnel dans lequel s’insère son mandat et les diverses formes d’utilisation (ou non-utilisation) que ce contexte pourrait soutenir. Les compétences en lien avec la pratique contextuelle sont également considérées, permettant le développement de stratégies de communication et de diffusion des résultats adaptées au contexte.

Nous avons alors trouvé pertinent, à l’intérieur de quelques chapitres de ce livre, de fournir des indications sur l’utilité de certains éléments des approches consœurs pour la pratique d’évaluation telle qu’on la présente : la pratique basée sur les données probantes (PBDP, evidence-based practice) et de son proche parent, la prise de décision éclairée par les preuves (PDEP, evidence-informed decision-making).

I.3.2   

Partie II : Principaux types de mandat d’évaluation

Les chapitres de la partie II portent sur les types d’évaluation les plus utilisés en évaluation de programme. Ces chapitres font donc appel de manière plus particulière au volet opérationnel des compétences de la SCÉ. La SCÉ a défini 10 compétences particulières au volet opérationnel. Ces compétences permettent de mener une évaluation, de sa planification à la diffusion de ses résultats. Ainsi, les chapitres de la partie II ont tous été structurés en fonction de ces 10 compétences (encadré I.2). En utilisant l’exemple d’une évaluation de programme ayant été réalisée, les auteurs de chaque chapitre présentent les étapes leur ayant permis de clarifier les mandats, de mettre en place un comité d’évaluation, d’examiner la théorie de programme et de proposer des questions d’évaluation accompagnées d’indicateurs. La méthodologie utilisée pour collecter les informations sur le terrain est ensuite présentée, de même que les défis affrontés et le travail réalisé afin de transformer les données en résultats. Enfin, le travail de diffusion des résultats est présenté, de même que l’utilisation faite par les milieux des fruits de l’évaluation.

Suivant ce modèle, le chapitre 7 présente l’évaluation des besoins. Les auteurs nous guident au cœur des différentes étapes ayant permis de réaliser une évaluation des besoins en matière d’éducation sexuelle d’une population d’hommes en traitement pour une dépendance aux substances. Ce chapitre met, entre autres, l’accent sur des méthodes de collecte de données innovantes afin de recueillir des informations.

Le chapitre 8 porte sur les étapes permettant d’effectuer une évaluation de la préimplantation d’un programme. Cette forme d’évaluation, souvent négligée, permet de vérifier dans quelle mesure un milieu est prêt à adopter une nouvelle intervention. Un exemple en milieu hospitalier est utilisé afin d’illustrer comment ce type d’évaluation permet d’entrevoir les défis à considérer avant d’implanter une nouvelle pratique dans un milieu.

Le chapitre 9 aborde l’évaluation de l’implantation. L’exemple d’une évaluation d’un programme en négligence envers les enfants permet de suivre les étapes de deux formes d’évaluation de l’implantation. Une partie des questions de l’évaluation permet de mesurer l’implantation du programme et de comparer le degré d’implantation entre différents milieux où le programme est mis en place. Une autre partie des questions d’évaluation permet de documenter l’implantation et d’offrir des réponses ayant trait aux obstacles et aux éléments ayant facilité l’implantation, tout en documentant les ajustements réalisés par les milieux afin que le programme s’adapte à leur réalité.

Enfin, le chapitre 10 porte sur l’évaluation des effets. Les auteurs décrivent les étapes effectuées afin d’évaluer un programme implanté en milieu scolaire. Au-delà de la méthodologie utilisée, les défis vécus lors de ce type d’évaluation et les menaces à la validité des résultats sont abordés dans le chapitre.

La conclusion du livre rappelle que l’évaluation de programme devrait être largement intégrée dans l’ensemble des milieux qui font de l’intervention. Le concept de culture évaluative y est abordé. L’application d’une telle culture permet de reprendre le contenu de chaque chapitre et de le faire vivre au quotidien.

ENCADRÉ I.2   Dix compétences professionnelles associées au domaine des pratiques techniques, selon la Société canadienne d’évaluation

Pratique technique. Ces compétences mettent l’accent sur les décisions stratégiques, méthodologiques et interprétatives nécessaires pour mener une évaluation.

2.1 Clarifier le but et l’étendue de l’évaluation.

2.2 Évaluer la faisabilité de l’évaluation.

2.3 Clarifier la théorie de programme.

2.4 Cerner les thèmes et les questions qui seront abordés dans le cadre de l’évaluation.

2.5 Planifier une évaluation.

2.6 Avoir recours à des méthodes d’évaluation appropriées.

2.7 Déterminer les données, les sources, l’échantillonnage et les outils de collecte de données requis.

2.8 Recueillir, analyser et interpréter les données en utilisant des méthodes appropriées.

2.9 Utiliser les résultats pour répondre aux questions à l’origine de la démarche évaluative et, le cas échéant, pour formuler des recommandations.

2.10 Générer des rapports d’évaluation complets et équilibrés dans le but de faciliter la prise de décision et l’apprentissage.

Source : Société canadienne d’évaluation (SCÉ), 2018, p. 5.

Nous ne pouvons terminer ce livre sans souligner l’apport important de Marc Tourigny à l’élaboration de ce projet. Marc a eu cette idée de réunir, dans un même ouvrage, des professeurs de différentes universités qui enseignent l’évaluation de programme aux étudiants de 2e cycle et de joindre leurs voix à des experts en évaluation de programmes ayant travaillé au sein de la SCÉ. Il a ainsi réuni des auteurs pouvant apporter des exemples tirés de leur pratique dans des champs disciplinaires variés, afin que les étudiants de plusieurs horizons puissent se reconnaître dans les pages qui suivent.

En bref, nous espérons que ce livre deviendra un compagnon précieux lors de vos évaluations à venir. Les notions qui y sont présentées permettent d’acquérir de bonnes connaissances en évaluation de programme. Cependant, il s’agit d’un vaste champ d’expertise, toujours en évolution. C’est pourquoi nous avons pris le soin de compiler, avec l’aide des auteurs des différents chapitres, une liste de ressources qui vous permettront d’approfondir différents sujets, ainsi que des sites Internet qui vous aideront à rester à jour dans ce domaine en ébullition. Nous vous proposons également un glossaire qui, au-delà d’offrir une description des concepts, met en contexte les définitions adoptées à la lumière des différents courants qui influencent la pratique. En espérant que ce matériel vous sera utile et que vous prendrez plaisir à parcourir les pages de notre livre !

Les codirectrices

Références

CHEN, H. T. (2015). Practical Program Evaluation. Theory-Driven Evaluation and the Integrated Evaluation Perspective (2e édition). Thousand Oaks, Sage Publications.

PINEAULT, R. ET DAVELUY, C. (2020). La planification de la santé : concepts, méthode, stratégies (2e édition). Montréal, Éditions JFD.

POTH, C., LAMARCHE, M. K., YAPP, A., SULLA, E., ET CHISAMORE, C. (2014). Towards a definition of evaluation within the Canadian context : Who knew this would be so difficult ? Canadian Journal of Program Evaluation, 29(1), 87-103.

SOCIÉTÉ CANADIENNE D’ÉVALUATION (SCÉ) (2018). Référentiel des compétences professionnelles requises à l’exercice d’évaluation de programmes au Canada. Version approuvée le 19 octobre 2018 et corrigée en janvier 2019. Renfrew, Conseil national de la SCÉ. <https://evaluationcanada.ca/txt/2_competences_cdn_pratique_evaluation.pdf>, consulté le 11 mai 2021.

I

 De la réflexion…

Fondements théoriques et pratiques

1   Choisir une approche pour guider sa pratique ou la réflexivité au profit de l’évaluation

Anne-Marie Tougas

CONCEPTS CLÉS

› Réflexivité

› Paradigme

› Approche d’évaluation

› Approche d’évaluation basée sur la théorie de programme

› Pratique d’évaluation

› Parties prenantes

› Comité d’évaluation

OBJECTIFS DU CHAPITRE

Le présent chapitre consiste à situer la pratique d’évaluation que les auteurs de cet ouvrage ont choisi de mettre en valeur au fil de ses différents chapitres. D’entrée de jeu, le lecteur sera sensibilisé au fait que la pratique d’évaluation peut se déployer sous différentes formes et que ces dernières reflètent l’approche d’évaluation choisie. Par la suite, le lecteur sera exposé à un bref survol des principales catégories d’approches d’évaluation existantes, ainsi que de la manière dont elles se déploient dans la pratique d’évaluation, en tirant profit de l’éclairage des paradigmes prédominants en recherche. Enfin, l’approche d’évaluation valorisée dans cet ouvrage, nommément l’approche basée sur la théorie de programme, sera exposée plus en détail sous l’angle de ses fondements et de leurs implications pour la pratique d’évaluation. À la fin de ce chapitre, le lecteur aura acquis les notions de base lui permettant de :

› définir ce qu’est une approche d’évaluation ;

› distinguer les principales approches d’évaluation sur la base de leurs fondements ;

› reconnaître l’influence de l’approche d’évaluation sur la pratique d’évaluation ;

› justifier le choix de recourir à l’approche d’évaluation basée sur la théorie de programme pour guider sa pratique d’évaluation.

COMPÉTENCES

Les compétences traitées dans ce chapitre concernent principalement le domaine de la pratique réflexive, car elles se rapportent aux connaissances portant sur la théorie et la pratique de l’évaluation (Société canadienne d’évaluation [SCÉ], 2018) :

1.1 Connaître les théories, modèles, méthodes et les outils associés à l’évaluation, et demeurer au fait des nouveaux courants de pensée et des meilleures pratiques.

1.7 Avoir recours à la conscience de soi et à la pensée réflexive pour améliorer sa pratique sur une base continue.

MISE EN CONTEXTE

Afin de poser les bases du présent chapitre, une courte mise en contexte tirée d’une expérience d’enseignement s’impose. À l’automne 2017, je donnais un cours de méthodologie dans le cadre du programme de doctorat en psychoéducation à l’Université de Sherbrooke. Pendant les trois premières rencontres, les principaux paradigmes en recherche étaient couverts au moyen de lectures et d’échanges. Pour sensibiliser les étudiantes au fait qu’il existe différentes façons de faire de la recherche — tout comme il existe différentes façons de faire de l’évaluation — je leur ai présenté le plan du présent chapitre. Les étudiantes ont réagi vivement à cette présentation, mais pour une raison bien différente de celle à laquelle je me serais attendue :

› Vraiment Anne-Marie… toutes ces façons de faire de l’évaluation existent ! ?

› Comment se fait-il qu’on n’ait pas appris cela pendant notre maîtrise ?

› Pourquoi avoir choisi de nous enseigner une approche plutôt qu’une autre ?

› Qu’est-ce qui devrait nous guider lorsque nous devrons en choisir une ?

J’étais alors loin de m’imaginer à quel point cette situation mettrait bien la table à la présentation du présent chapitre. En effet, contrairement à ce que la plupart des ouvrages de référence en évaluation de programme laissent croire, il existe plusieurs façons de faire de l’évaluation ! L’évaluateur est donc appelé à se positionner au regard de ces dernières pour définir sa pratique, voire la redéfinir en cours de route. Comment y arriver ? C’est précisément ce dont il est question dans les pages qui suivent.

1.1   CONCEVOIR LA PRATIQUE D’ÉVALUATION DE MANIÈRE HOLISTIQUE

Dans la mise en contexte qui précède, l’expression façon de faire de l’évaluation a été utilisée en guise d’entrée en matière. Pour la suite de cet ouvrage, il sera plutôt question de la « pratique d’évaluation ». Comme cela est défini en exergue du présent chapitre, la pratique d’évaluation désigne la manière dont l’évaluateur exploite ses connaissances, habiletés et attitudes professionnelles pour mener à bien une démarche d’évaluation. Elle se déploie de façon multidimensionnelle dans l’action, sous cinq grands domaines de compétences : la pratique réflexive, technique, contextuelle, de gestion, et concernant les relations interpersonnelles (SCÉ, 2018). C’est dire à quel point la pratique d’évaluation peut se révéler complexe !

Bien que complexité rime souvent avec difficultés, l’évaluateur est encouragé à envisager sa pratique de manière optimiste, en lui conférant un caractère riche (c’est-à-dire que sa pratique peut tirer profit d’une panoplie de ressources) et holistique (c’est-à-dire que sa pratique peut à la fois prendre en considération et avoir une portée sur un ensemble de facteurs). Autrement dit, il faut éviter à tout prix que l’évaluateur conçoive sa pratique comme une simple — pour ne pas dire bête — application de méthodes et techniques. Soyons clairs, l’utilisation judicieuse de méthodes de recherche est nécessaire, voire essentielle, à la réalisation d’une évaluation de programme de qualité appuyée sur les bonnes pratiques. C’est d’ailleurs pour cette raison qu’une grande importance est accordée aux décisions entourant les protocoles de recherche et les méthodes de collecte de données dans cet ouvrage. Néanmoins, la pratique d’évaluation ne s’y résume pas !

Si cette conception de la pratique d’évaluation implique qu’elle peut s’actualiser sous différentes formes, il importe à l’évaluateur de bien la baliser afin de faire des choix éclairés, d’agir en cohérence avec ces derniers et d’entrevoir avec clairvoyance leurs retombées. Pour ce faire, tout évaluateur gagne à connaître l’existence des approches d’évaluation. L’expression approche d’évaluation fait référence à un point de vue ou une école de pensée qui orientent la manière de concevoir et de mettre en œuvre une démarche d’évaluation de programme. Autrement dit, l’approche renferme un ensemble de balises qui précisent les principes et procédures à utiliser pour réaliser une évaluation. Il s’agit ni plus ni moins d’une vision qui définit ce qu’est une évaluation de qualité et précise quelles sont les bonnes pratiques à mettre en œuvre pour la réaliser (Alkin, 2013 ; Chen, 2015).

1.2   DISTINGUER LES PRINCIPALES APPROCHES D’ÉVALUATION

Les théoriciens du domaine de l’évaluation de programme ont depuis longtemps tenté d’encadrer la pratique d’évaluation en balisant les approches susceptibles de la définir. Plus spécifiquement, différentes catégories d’approches ont été mises au jour à la suite d’un examen des points de ressemblance entre les postures mises de l’avant par les principaux représentants des grandes « traditions » d’évaluation. Le tableau 1.1 présente les catégories d’approches repérées au moyen d’une recension narrative des écrits théoriques dans le domaine de l’évaluation de programme.

De prime abord, les résultats de cette recension étonnent en raison du nombre élevé d’auteurs ayant proposé des manières différentes de catégoriser les approches d’évaluation existantes, et ce, malgré le caractère non systématique de cette dernière. Ensuite, le nombre de catégories déterminées témoigne d’une grande variabilité de conceptualisation des approches d’évaluation entre les auteurs. Enfin, certaines redondances peuvent être observées dans le choix des éléments sur lesquels les auteurs ont mis l’accent pour regrouper et distinguer les approches entre elles. Trois types de catégorisations paraissent particulièrement évidents. Elles sont présentées et illustrées à l’aide d’un exemple dans les sections suivantes.

1.2.1   

Exemple de catégorisation qui reflète l’évolution historique des traditions en évaluation

La catégorisation en quatre générations proposée par Guba et Lincoln (1989) met en évidence les changements encourus dans la manière d’entrevoir l’évaluation de programmes au fil du temps. La première génération, centrée sur la mesure (1st generation : Measurement), remonte au début du vingtième siècle et mettait l’accent sur l’utilisation de tests psychométriques pour évaluer la maîtrise de certaines connaissances et aptitudes par des individus, plus particulièrement au sein des milieux scolaire et militaire. La deuxième génération, centrée sur la description (2nd generation : Description), a pris racine au courant des années 1930 par la voie d’une étude d’envergure conduite en milieu scolaire (Eight Years Study ; Aikin, 1942). Cette étude innovait en juxtaposant les résultats de tests psychométriques à ceux d’une analyse descriptive du contexte d’implantation afin de réviser le curriculum scolaire à partir des résultats obtenus. La troisième génération, centrée sur le jugement (3rd generation : Judgment), a pris place vers la fin des années 1960. Elle a été marquée par un courant d’évaluation orienté vers la prise de décision et la pose d’un jugement au regard de la capacité d’un programme à atteindre ses objectifs. Les travaux de ce courant ont introduit les notions de standards et de critères au regard desquels le mérite et la valeur d’un programme peuvent être évalués. La quatrième génération, proposée par Guba et Lincoln (1989), est qualifiée de sensible et constructiviste (4th generation : Responsive constructivist). Le terme sensible renvoie ici à l’idée selon laquelle la définition des paramètres d’une évaluation résulte d’un processus de négociation qui engage étroitement les parties prenantes. Quant au terme constructiviste, il désigne une posture d’évaluation qui reconnaît le rôle des valeurs, de la subjectivité et l’interaction humaine dans la démarche de construction des connaissances.

TABLEAU 1.1   Principales catégorisations d’approches d’évaluation

1.2.2   

Exemple de catégorisation qui reflète les théories ou philosophies prédominantes en recherche

La catégorisation proposée par Frye et Hemmer (2012) regroupe les approches d’évaluation sous trois grandes théories qui en ont inspiré le développement : le réductionnisme, la théorie des systèmes et la théorie de la complexité. Selon la théorie réductionniste (Reductionism), un programme d’intervention peut être « réduit » en un nombre limité de composantes fondamentales. Suivant une logique linéaire de cause à effet, cette théorie préconise le recours à un protocole de recherche expérimentale pour expliquer l’efficacité d’un programme à partir de l’analyse de ses composantes. En revanche, la théorie des systèmes (System theory) propose une vision holistique des programmes d’intervention, c’est-à-dire qui dépasse la somme de leurs composantes. Selon cette vision, les méthodes de recherche traditionnelles permettent d’expliquer les effets d’un programme d’intervention par l’examen des liens et des interactions qui prennent place entre ses différentes composantes. Enfin, la théorie de la complexité (Complexity theory) se distingue en raison de l’importance qu’elle accorde au rôle de l’environnement, de par sa nature riche et diversifiée, sur les effets d’un programme. Cet environnement crée des zones d’ambiguïtés et d’incertitudes que la théorie de la complexité encourage à explorer en utilisant des méthodes de recherche non traditionnelles qui permettent de comprendre les effets émergeant à la confluence de facteurs à la fois internes et externes au programme.

1.2.3   

Exemple de catégorisation qui reflète les finalités, les buts ou les rôles de l’évaluation

La catégorisation proposée par Mark, Henry et Julnes (2000) regroupe les approches d’évaluation en fonction de quatre finalités pour lesquelles leurs résultats peuvent être utilisés. La première finalité concerne l’amélioration du programme ou de son organisation (Program and organizational improvement). Elle renferme des approches d’évaluation qui mettent l’accent sur les processus de rétroactions ponctuelles et permettent de modifier ou d’améliorer les opérations d’un programme. La deuxième finalité concerne la surveillance et la conformité (Oversight and compliance). Elle renferme des approches qui ont pour but de vérifier dans quelle mesure un programme respecte les directives, lois, règlements et mandats qui l’encadrent. La troisième finalité concerne l’évaluation du mérite et de la valeur (Assessment of merit and worth). Elle renferme des approches centrées sur le développement d’un jugement crédible et garanti au regard des caractéristiques importantes d’un programme et de sa valeur. La quatrième finalité concerne le développement des connaissances (Knowledge development). Elle renferme des approches qui visent à développer, tester, raffiner des théories et des hypothèses au sujet des processus sociaux en œuvre et de leur déploiement dans un contexte de programmes et de politiques.

1.3   RECONNAÎTRE LE RAPPORT ENTRE APPROCHES ET PRATIQUE D’ÉVALUATION

L’approche d’évaluation guide donc la pratique de l’évaluateur en précisant la direction de nombreux aspects du mandat à définir (voir chapitre 4), dont font partie les buts de l’évaluation, son public cible, l’utilisation qui découlera de ses résultats, les participants et leur degré d’implication, les stratégies et les méthodes à mettre en œuvre, les rôles et les responsabilités de l’évaluateur, l’interprétation et le réinvestissement des résultats, etc. De plus, l’approche d’évaluation inclut un positionnement qui se détermine dès l’élaboration du mandat et mérite d’être évalué, voire révisé, au fur et à mesure que progressent les différentes étapes de sa réalisation. Ainsi, ce positionnement n’est pas immuable. L’évaluateur n’y est pas non plus lié à tout jamais au cours de sa carrière. Autrement dit, chaque mandat d’évaluation comporte des caractéristiques, possibilités et contraintes, de même qu’une trajectoire d’évolution, qui lui sont propres et qui influencent le choix de l’approche d’évaluation à privilégier. Cette conception « en mouvement » de l’approche d’évaluation encourage la réflexivité de l’évaluateur qui est constamment appelé à (re)définir sa pratique en fonction du contexte dans lequel il évolue.

Si la pratique d’évaluation dépend directement de l’orientation donnée par l’approche privilégiée, on peut se demander à qui revient en fin de compte le choix de cette dernière : l’évaluateur ou les parties prenantes ? Selon la vision avancée dans le présent ouvrage, le choix de l’approche d’évaluation peut relever de l’un comme de l’autre, pour autant qu’il place au premier plan les intérêts des parties prenantes (Chen, 2015). Dans cette perspective, l’évaluateur qui cherche à (re)définir sa pratique doit demeurer à l’écoute des besoins de ces dernières afin de proposer, d’adapter, voire de négocier une posture qui coïncide avec les valeurs qui trouvent une résonance sur le terrain et donnent un sens aux résultats qui découleront de l’évaluation. Sans grande surprise, les choses ne se présentent pas toujours de cette manière. En effet, il arrive parfois que l’approche d’évaluation ne résulte pas du choix de l’évaluateur (p. ex. lorsque cette dernière est prescrite par le bailleur de fonds). Du coup, la pratique d’évaluation s’en trouve directement orientée. Or, cette situation comporte un risque pour l’évaluateur novice qui ne dispose pas toujours du bagage nécessaire pour entrevoir les tenants et aboutissants de ce choix imposé, notamment sur le plan des rapports de pouvoir entre les parties prenantes.

En définitive, que ce choix soit délibéré ou imposé, l’évaluateur gagne à se familiariser avec les différentes approches d’évaluation existantes et leurs implications pour sa pratique. Une bonne connaissance des principes et valeurs qui les distinguent est nécessaire pour aider ce dernier à faire preuve de jugement, à se positionner et à réajuster le tir au besoin, afin de veiller efficacement aux intérêts des parties prenantes à chacune des étapes d’un mandat. Certes, le défi est important et mérite de faire l’objet d’une démarche réflexive à long terme. Cela dit, par où commencer ? Comment l’évaluateur novice peut-il apprivoiser ces approches et en tirer des apprentissages pour alimenter sa pratique ? C’est ici qu’il s’avère utile de faire appel aux fondements de la recherche scientifique en recourant à la classification des approches d’évaluation développée par Alkin (Alkin, 2004, 2013 ; Alkin et Ellet, 1985 ; Alkin et House, 1992). Prenant appui sur les fondements des principaux paradigmes en recherche, cette classification fait partie de la deuxième catégorie d’approches présentées au tableau 1.1. Son apport sera approfondi dans la section qui suit.

1.4   DISTINGUER LES APPROCHES GRÂCE À L’ÉCLAIRAGE DES PARADIGMES

Tel que plusieurs auteurs l’ont souligné, il s’avère pertinent de discuter de la philosophie de la science pour situer la pratique de l’évaluateur (Glass et Ellett, 1980 ; Mertens, 2018 ; Potvin et Bisset, 2008 ; Shadish et al., 1991). Dans le domaine de la recherche en sciences humaines, sociales et de la santé, les différentes philosophies sont exprimées par des paradigmes. Défini à la manière de Guba et Lincoln (1989, 1994, 2005), un paradigme renferme un ensemble cohérent de croyances et de propositions philosophiques liées à la nature de l’éthique, de la réalité, de la connaissance et de la méthodologie. Chaque paradigme se distingue donc sur quatre plans. Appliqués au domaine de l’évaluation de programme, ces plans concernent : 1) l’éthique, la morale et les normes par rapport à ce qui constitue une bonne évaluation (axiologie) ; 2) la nature unique ou multiple du programme à évaluer (ontologie) ; 3) la relation évaluateur-parties prenantes nécessaire au développement des connaissances au sujet du programme (épistémologie) ; et 4) les moyens à préconiser pour recueillir les informations requises (méthodologie).

Afin de tracer les parallèles établis entre paradigmes et approches d’évaluation, les travaux phares d’Alkin demeurent les plus cités à ce jour (Alkin, 2004, 2013 ; Alkin et Ellet, 1985 ; Alkin et House, 1992). Cet auteur utilise la métaphore de l’arbre pour catégoriser les approches d’évaluation en trois « branches » : les méthodes, l’utilisation et les valeurs. Reprenant ces travaux, Mertens et Wilson (2012) ont proposé d’ajouter une quatrième « branche » à cet arbre : la justice sociale. Ces quatre « branches » (ou catégories d’approches en évaluation) font écho aux quatre paradigmes prédominants en recherche : postpositiviste, pragmatique, constructiviste et émancipateur. Sous chacune des « branches » sont regroupées des approches d’évaluation qui partagent des caractéristiques similaires en ce qui concerne 1) les enjeux qui déterminent la méthodologie utilisée ; 2) la manière dont les informations recueillies sont valorisées ; et 3) la finalité de l’évaluation pour les parties prenantes (Carden et Alkin, 2012). Un portrait des caractéristiques les plus couramment associées à chacune de ces quatre « branches » est brossé dans les prochaines sections (encadrés 1.2 à 1.5). Parallèlement, les implications qui en découlent seront illustrées à l’aide d’une mise en situation fictive (encadré 1.1), inspirée d’un programme réel¹.

ENCADRÉ 1.1   Mise en situation fictive

Date : 25 mars 2019

De : [e-mail]

À : É[e-mail],

É[e-mail],

É[e-mail],

É[e-mail]

Objet : Évaluation de l’Initiative des amis des bébés au CIUSSS de la région

Bonjour,

Je me présente, Julie Moquin, infirmière clinicienne. J’occupe le poste de conseillère clinique au sein de l’équipe de l’unité de maternité du CIUSSS de la région. Je fais appel à vous pour me soutenir en lien avec une de mes responsabilités, qui consiste à assurer le renouvellement de l’agrément du programme Initiative des amis des bébés (IAB) que notre centre hospitalier détient depuis 2013.

L’IAB est une stratégie mondiale lancée en 1991 par l’OMS et l’UNICEF. Depuis plusieurs années, elle fait partie des stratégies prioritaires en matière de santé publique au Québec. Pour recevoir la certification du programme IAB, un établissement doit favoriser le succès de l’allaitement maternel en respectant certaines normes de pratiques.

Mes premières démarches relatives au renouvellement de l’agrément m’ont conduite à jeter un regard aux informations dont nous disposons. J’ai alors constaté que le taux d’allaitement exclusif visé par le programme (75%) ne semble pas être atteint dans notre établissement. Toutefois, je doute de la fiabilité de ces données, car j’ai trouvé un grand nombre de dossiers incomplets.

Lors d’une réunion d’équipe, j’ai questionné mes collègues pour tenter d’expliquer cette tendance. Elles ont profité de cet échange pour m’informer des principaux enjeux et défis qu’elles perçoivent en lien avec le programme :

1 Les infirmières disent ressentir une pression pour atteindre le taux d’allaitement visé et s’inquiètent de l’ambiance que cela instaure pour les familles. Plus spécialement, elles ont le sentiment que l’enseignement des techniques d’allaitement auprès des mères « prend toute la place » et les empêche de répondre à leurs autres besoins, ainsi qu’à ceux de leurs partenaires qui, de leur côté, manifestent de la frustration face à l’impression d’être mis à l’écart.

2 Les infirmières prétendent que la structure du programme est rigide et qu’elles arrivent difficilement à l’adapter pour tenir compte des nouvelles réalités et configurations familiales qui émergent dans la région. Plus particulièrement, elles s’interrogent sur la manière de favoriser l’appropriation des techniques enseignées auprès des mères immigrantes qui détiennent des croyances différentes en lien avec l’allaitement.

En somme, bien qu’il s’agisse d’un programme reposant sur des preuves scientifiques, mon équipe remet en question l’efficacité de l’IAB au sein de notre établissement. J’ai donc porté cette situation à l’attention de la cheffe d’administration de programme responsable de l’unité, laquelle a offert de dégager un budget pour réaliser une évaluation en bonne et due forme du programme.

Par la présente, j’aimerais savoir si vous souhaiteriez réaliser cette évaluation.

Enfin, sachant que vous travaillez selon une approche particulière, je suis curieuse de savoir de quelle manière vous proposeriez de définir votre mandat et ce que cela signifierait pour notre équipe (ou notre établissement) d’aller de l’avant avec votre proposition.

En vous remerciant de l’attention que vous porterez envers notre demande,

Julie Moquin, Inf. B. Sc.

Conseillère clinique, programme

périnatalité-petite enfance

Centre hospitalier du CIUSSS de la région

1.4.1   

Paradigme postpositiviste

La « branche » des méthodes est associée au paradigme postpositiviste. Comme son nom le laisse deviner, elle regroupe des approches qui mettent à l’avant-plan la compétence technique de la pratique d’évaluation. À l’instar de la recherche scientifique, ces approches conçoivent l’évaluation de programme comme un moyen pour développer de nouvelles connaissances fondées sur les preuves empiriques. Les auteurs qui s’en réclament valorisent l’utilisation de protocoles de recherche expérimentaux et de procédures de randomisation (Christie et Alkin, 2008) qui, par extension, impliquent de recueillir des informations de nature quantitative. Ils portent une grande attention au contrôle des variables et à la réduction des biais afin d’obtenir des résultats considérés crédibles sur le plan de la recherche et généralisables, en raison de leur forte validité interne et externe (Carden et Alkin, 2012 ; Mertens, 2018 ; Shadish et al., 1991). Sous ce paradigme, les relations interpersonnelles représentent une source potentielle de biais (Scriven, 1997). Ainsi, les approches qui s’en réclament confèrent à l’évaluateur un rôle d’expert qui adopte une posture neutre et détachée vis-à-vis des parties prenantes (Abma et Widdershoven, 2008). En résumé, les approches d’évaluation associées à la « branche » des méthodes adoptent des principes et valeurs déterministes qui relèvent du paradigme postpositiviste et encouragent une pratique d’évaluation qui se conforme aux principes de la méthode scientifique.

1.4.2   

Paradigme pragmatique

La « branche » de l’utilisation est associée au paradigme pragmatique. Elle regroupe des approches qui valorisent l’utilisation de l’évaluation, sous l’angle de son processus ou de ses résultats, et empruntent à la philosophie utilitariste qui stipule que la valeur de toute chose dépend de ses conséquences (Christians, 2005). Les auteurs qui s’en réclament conçoivent l’évaluation comme un moyen pour soutenir les parties prenantes dans la prise de décision au regard d’un programme (Patton, 2008 ; Stufflebeam et Zhang, 2017). Ils valorisent l’établissement d’un dialogue avec les parties prenantes, dans une perspective surtout instrumentale et « pratico-pratique », où les contacts périodiques permettent d’informer les parties prenantes et de leur donner l’occasion de contribuer à l’évaluation comme d’en réinvestir les résultats (Stufflebeam et Zhang, 2017). L’évaluateur est donc appelé à définir les objets, les questions et les méthodes d’évaluation en portant une grande attention à la manière dont l’information recueillie sera utilisée (Carden et Alkin, 2012). Aucun type de données — quantitatives ou qualitatives — n’a préséance ici, pour autant que le processus ou les résultats qui découlent de l’évaluation trouvent un sens crédible aux yeux des parties prenantes. Sous ce paradigme, un rôle d’observateur est conféré à l’évaluateur ou, dans une mesure un peu plus engageante, un rôle de consultant, d’aide à la résolution de problèmes, voire d’ami critique (Rallis et Rossman, 2000 ; Weiss, 1998). En d’autres mots, les approches associées à la « branche » de l’utilisation adoptent des principes et valeurs utilitaristes qui relèvent du paradigme pragmatique et encouragent une pratique d’évaluation qui conduit à une démarche ou à des résultats jugés utiles.

ENCADRÉ 1.2   Réponse postpositiviste à la mise en situation fictive

Date : 26 mars 2019

De : É[e-mail]

À : [e-mail]

Objet : Évaluer l’IAB selon une approche centrée sur la méthode

Bonjour Mme Moquin,

Je vous remercie d’avoir pensé à moi pour évaluer le programme IAB dont vous êtes responsable au CIUSSS de la région. Je serai ravi de prendre en charge ce projet, si nous partageons une même vision de l’approche à privilégier. Étant donné mon bagage de scientifique, vous ne serez pas étonnée de constater que ma proposition s’appuie sur les standards traditionnellement reconnus dans le monde de la recherche.

À la lecture de votre message, j’ai noté votre préoccupation en ce qui a trait aux taux d’allaitement exclusif non atteints auprès de votre clientèle. Je suis d’avis que la démarche d’évaluation à venir doit permettre de répondre à cette préoccupation envers la « performance » du programme IAB au sein de votre établissement.

Face à la situation que vous décrivez, j’ai le réflexe de formuler les deux explications suivantes : soit 1) le programme IAB n’est pas implanté fidèlement dans votre établissement ou 2) le programme IAB n’est pas efficace pour l’ensemble de votre clientèle. Ce réflexe est cohérent avec l’approche que je privilégie, car il met l’accent sur la nécessité de tester empiriquement le rationnel derrière l’efficacité d’un programme. Cette façon de faire est intéressante, car elle offre la possibilité d’améliorer un programme en ciblant des aspects de son implantation qui influencent ses effets.

Pour conduire ce type d’évaluation dans les règles de