L' évaluation de programme axée sur le jugement crédible

Par Marthe Hurteau, Sylvain Houle et François Guillemette

Générer un jugement crédible s’avère un défi de taille pour tout professionnel, notamment dans le cadre d’évaluation de programmes. Les auteurs proposent des solutions en s’intéressant notamment aux contextes et aux contingences, au choix des critères et des seuils de performance ainsi qu’aux capacités personnelles de l’évaluateur.

• Langue: Français
• Éditeur: Presses de l'Université du Québec
• Date de sortie: 13 déc. 2012
• ISBN: 9782760535503

Aperçu du livre

Hurteau

DEPUIS PLUSIEURS ANNÉES, SCRIVEN (1991) SOUHAITE ALLOUER À l’évaluation le statut de mégadiscipline, étant donné qu’un ensemble de domaines est concerné par l’acte d’évaluer, c’est-à-dire de détecter la qualité des choses (Eiseley, 1962). Stake (2011) illustre ce propos par un cercle, présenté à la figure 1.

Que l’on évalue ou que l’on établisse la qualité de quelque chose, dans tous les cas, il résulte de cette opération un jugement, une synthèse ou une conclusion évaluative (Scriven, 2006). C’est probablement ce qui a amené Fitzpatrick, Christie et Mark (2009) à établir que la raison d’être de toute démarche évaluative consiste à porter un jugement. Stake (2011) fait un pas supplémentaire en définissant l’évaluation comme une discipline consciente (conscious disciplining) qui permet d’établir la qualité des objets, tout en mettant en relief leur complexité.

Le lecteur comprendra dès maintenant pourquoi nous conférons au jugement le statut de fondement à toute forme d’évaluation. Traditionnellement, on a considéré que, pour être acceptable aux yeux des parties prenantes (stakeholders), sa validité s’avérait une condition essentielle. Cependant, devant un rejet assez massif des résultats de plusieurs évaluations par celles-ci, praticiens et théoriciens en sont arrivés à la conclusion que cette condition s’avérait insuffisante pour rendre le jugement acceptable et gagner la confiance des parties. De plus, ils se sont rendu compte que ce rejet n’était pas non plus lié à la nature du jugement, c’est-à-dire, s’il plaisait ou non. Ce constat nous a amené à considérer le concept de crédibilité tel qu’énoncé par Grinnell (2009). En effet, il semble constituer un passage obligé pour toute conclusion d’une recherche ou d’une évaluation, à savoir la rendre acceptable aux yeux des personnes concernées. C’est une juge interviewée dans le cadre de la recherche de Hurteau et Houle (2008) qui introduit le mieux l’opérationnalisation du concept de crédibilité : « Je me souviens de quelqu’un qui avait été débouté en cour et qui est sorti en disant qu’il était satisfait parce qu’il avait été écouté. Je me dis que j’ai bien rempli ma fonction. » Ainsi, même si le présent ouvrage traite plus particulièrement de la pratique évaluative, il n’en demeure pas moins qu’il pourrait convenir à tout professionnel qui est appelé à porter un jugement dans le cadre de l’exercice de sa profession.

Si nous revenons à l’évaluation de programme, il semblerait que l’acceptabilité du jugement reste problématique, et ce, malgré toutes les percées réalisées dans le domaine. Plusieurs raisons ont été invoquées : 1) la démarche a failli à sa responsabilité d’identifier les besoins des principaux utilisateurs et elle n’a pas été en mesure de s’adapter au contexte ; 2) elle n’a pu cerner les problématiques les plus significatives afin de générer des résultats pertinents ; 3) elle s’est avérée peu accessible aux parties prenantes ; 4) elle n’a pas assumé sa responsabilité d’intégrer les parties prenantes dès le début de la démarche ainsi que de les tenir informées tout au long du processus. Malgré tout, le problème demeure entier, et c’est la raison pour laquelle nous lui avons consacré les 20 dernières années de notre temps.

Pourquoi avons-nous intitulé la présente introduction « Plus qu’une introduction, un énoncé » ? Parce que nous voulons aller au-delà de la présentation des objectifs de l’ouvrage et des diverses contributions pour exposer la genèse du produit actuel, soit le développement d’une modélisation des processus de production et de crédibilisation du jugement en évaluation de programme. Pour y parvenir, nous avons divisé l’introduction en deux parties. Dans la première partie, nous allons présenter la genèse de notre point de vue, c’est-à-dire d’où nous venons et ce que nous avons accompli dans le domaine à ce jour. Cela nous apparaît important afin que le lecteur puisse replacer notre propos dans son contexte. Dans la seconde partie, nous présentons les différentes contributions à l’ouvrage qui, contrairement à un collectif, sont toutes interreliées puisqu’elles complètent le chapitre pivot qui consiste à présenter les processus de production et de crédibilisation du jugement en évaluation de programme.

LA GENÈSE DE NOTRE POINT DE VUE

Avant de développer la genèse, mentionnons qu’au cours des 30 dernières années, la plupart des développements en évaluation de programme ont constitué des avis émanant d’une connaissance théorique qui s’appuie en grande partie sur l’expérience et la réflexion des théoriciens, comparativement à la connaissance pratique qui repose sur une collecte d’information et qui s’inscrit dans la tradition scientifique (Donaldson et Lipsey, 2008 ; Schwandt, 2007). Ces mêmes auteurs soulignent que cela a constitué le talon d’Achille du domaine et l’urgence d’entreprendre des recherches. Il s’avère que la présente genèse se divise en deux phases, une première phase de réflexion qui a généré une connaissance théorique et une seconde qui s’inscrit au sein de notre programme de recherche et qui génère depuis plusieurs années une connaissance pratique si l’on considère les diverses présentations et publications scientifiques qui en découlent.

La phase de réflexion

L’élément déclencheur de cette phase de réflexion a eu lieu au début des années 1990 alors que Hurteau est invitée par la Société canadienne d’évaluation (SCÉ) pour animer la session de formation Les objets et critères en évaluation de programmes dans le cadre de sa conférence annuelle. Dans les mois qui suivent la conférence, elle est invitée à participer au premier Evaluation Methods Sourcebook (1991). L’auteure approfondit alors sa réflexion et débouche sur une conception de la production d’un jugement illustrée dans la figure 2.

Elle introduit alors les concepts de choix stratégiques et de choix méthodologiques, concepts qui ont été étudiés par la suite dans les écrits. Les choix stratégiques incluent l’ensemble des éléments qui doivent être pris en considération dans la planification d’une évaluation : les enjeux, le mandat, la question, les critères retenus, etc. Ces choix constituent en quelque sorte l’âme de la démarche évaluative et il est essentiel qu’ils soient effectués par l’ensemble des groupes d’intérêt (parties prenantes) concernés afin d’assurer le succès de l’entreprise. Les choix méthodologiques, quant à eux, deviennent nécessairement évidents, puisqu’ils traduisent de façon opérationnelle les choix effectués antérieurement. Alors que l’évaluateur assume un rôle de facilitateur lors de la phase initiale, il joue un rôle plus actif dans la seconde et propose des façons de faire pour réaliser l’évaluation. À ces deux choix, s’ajoutent les principes directeurs que sont le partenariat, les considérations éthiques et la justice sociale. Le partenariat constitue une affirmation de la reconnaissance des compétences des parties prenantes qui sont mises à contribution dans le déroulement de la démarche évaluative. L’éthique s’inscrit dans la perspective d’une introspection sur ses actions, puisque la pratique professionnelle de l’évaluation n’est pas réglementée par une corporation professionnelle. Finalement, les préoccupations concernant la justice sociale et l’équité amènent l’auteure à se questionner sur la place qu’elles occupent dans une société qui est tiraillée entre, d’une part, le principe moral voulant que l’on aide les plus démunis et, d’autre part, le fait que les ressources collectives diminuent. Il faut noter que si elles constituaient un questionnement à cette époque, elles sont devenues les axes de la pratique professionnelle au fil du temps.

Ainsi, déjà à cette époque, tous les éléments apparaissaient dans le cadre de la réflexion de Hurteau et ils démontrent que l’intérêt de ces enjeux d’importance ne constitue pas une « mode » pour cette dernière, mais bien une préoccupation réelle qui s’inscrit aujourd’hui dans le cinquième principe directeur du code d’éthique (E5) élaboré par l’American Evaluation Association ou AEA (2004, p. 4) et rapporté dans les chapitres 1 et 3 du présent ouvrage, à savoir :

Les évaluateurs ont l’obligation de prendre en considération l’intérêt public et le bien public. Si cette obligation est d’autant plus importante lorsque les évaluateurs sont rémunérés au moyen de fonds publics, il n’en demeure pas moins qu’en aucun cas, des menaces au bien public ne devraient jamais être ignorées. Considérant que l’intérêt et le bien publics sont rarement conciliables avec les intérêts de groupes particuliers (incluant ceux des clients ou bailleurs de fonds), les évaluateurs doivent aller au-delà de l’analyse requise pour répondre aux intérêts de certains détenteurs d’enjeux et envisager le bien-être de la société en général.

En 1994, elle est d’ailleurs invitée à prononcer une allocution (presidential trend) à la conférence annuelle de l’AEA, dont la thématique portait sur l’évaluation et la justice sociale (1994). Elle s’intéresse aussi à la question de l’éthique dans le domaine (Hurteau, 1992, 1993a, 1993b ; Hurteau et Trahan, 1993, 1994) et elle joue un rôle actif dans la mise sur pied des premières lignes en éthique pour la SCÉ (Hurteau et al., 1994). Cette contribution est d’ailleurs officiellement reconnue par Gwen Keith (2003), présidente de la société à l’époque.

La phase de la recherche scientifique

À son retour dans le milieu universitaire, Hurteau s’associe à Houle et entreprend d’élaborer avec lui un programme de recherche fondamentale en évaluation de programme, dont plusieurs phases seront subventionnées (2005, 2008).

La première phase : la modélisation du processus propre à l’évaluation de programme

Cette phase initiale porte sur l’élaboration et la validation d’une modélisation du processus propre à l’évaluation de programme qui s’inspire du processus logique sous-jacent à l’évaluation (the logic of evaluation) mis en place par Scriven (1980) ainsi que des travaux de Fournier (1995) et Stake (2004). En plus des présentations dans des colloques scientifiques (Hurteau, Houle et Duval, 2005a, 2005b), elle a aussi fait l’objet d’une publication scientifique (Hurteau, Lachapelle et Houle, 2006).

La deuxième phase : une première définition du jugement crédible en évaluation de programme

Les chercheurs précisent la nature du jugement en le qualifiant de crédible, c’est-à-dire qu’il doit être légitime et justifié. Alors que le jugement légitime s’appuie sur une question d’évaluation, de critères et de seuils de réussite, le jugement justifié, pour sa part, doit aussi documenter la procédure retenue pour analyser l’information et assurer sa production. L’étude démontre que peu d’évaluations génèrent des jugements et que, lorsqu’elles le font, ceux-ci sont rarement légitimés et encore moins justifiés. L’étude a fait l’objet de plusieurs présentations (Mongiat et Hurteau, 2006 ; Hurteau et Arens, 2006 ; Hurteau et Mongiat, 2007 ; Hurteau, Houle et Mongiat, 2007) ainsi que d’une publication dans la prestigieuse revue Evaluation : The International Journal of Theory, Research and Practice (Hurteau, Houle et Mongiat, 2009).

La troisième phase : le jugement « satisfaisant »

La recherche prend alors un tournant significatif. Pour être crédible, un jugement ne peut se contenter de présenter des qualités méthodologiques, il doit aussi être satisfaisant aux yeux des parties prenantes. Ce principe directeur des premières années (Hurteau, 1991) refait donc surface. L’étude de Bossiroy (2009) met en évidence la présence des conditions afin d’assurer un jugement crédible qu’elle qualifie de « satisfaisant », à savoir, une méthodologie rigoureuse, une information de qualité, la représentation de différents points de vue et une cohérence dans le développement de l’argumentation. Toutefois, il semble qu’en dépit de la présence de ces conditions, l’absence de balise pour encadrer la démarche évaluative – notamment en ce qui a trait au passage de l’intégration et l’harmonisation des informations à la production d’un jugement – semble être un frein significatif. Enfin, quoique nécessaire, le dialogue entre les différentes parties se transforme parfois en dialogue de sourds et l’argumentation qui soutient le jugement relève souvent plus de l’art qu’autre chose. En plus de plusieurs présentations (Hurteau et Bossiroy, 2009a, 2009b ; Hurteau, Houle et Bossiroy, 2009 ; Hurteau, Valois et Bossiroy, 2009 ; Hurteau et Valois, 2011), l’étude a fait l’objet d’une publication scientifique (Hurteau, Valois et Bossiroy, 2011).

La quatrième phase : les processus de production et de crédibilisation du jugement

Cette phase de la recherche a été subventionnée par le Conseil de recherches en sciences humaines ou CRSH (Hurteau et Houle, 2008). Viennent se joindre alors à l’équipe de base, les chercheurs Ndinga, Schleifer et Guillemette ainsi que la doctorante Marchand. Nous allons développer davantage cette quatrième phase que les autres parce qu’elle constitue le cœur du présent ouvrage.

L’étude visait à mieux comprendre les processus requis pour générer un jugement crédible en évaluation de programme, en s’attachant plus particulièrement à comprendre l’argumentaire requis pour soutenir le jugement. Considérant que plusieurs professionnels doivent relever un défi similaire dans le cadre de leur pratique pour formuler un diagnostic médical, prononcer un verdict, rendre un jugement, etc., que cet acte est encadré par une pratique professionnelle bien définie, les chercheurs ont décidé de s’appuyer sur les témoignages de tels professionnels afin de mieux comprendre le processus sous-jacent à la production d’un jugement et établir les éventuelles applications à la pratique évaluative. Pour y parvenir, il a été décidé de procéder à la réalisation d’entrevues en profondeur. Un échantillon intentionnel, à variation maximale, a été élaboré à cette fin. Il regroupait 19 professionnels issus de divers domaines d’intervention. Plus spécifiquement, furent interviewés trois gestionnaires, trois formateurs, trois intervenants psychosociaux, trois intervenants en situation urgente (policiers, pompier), deux enquêteurs, un médecin, une infirmière, un avocat et deux juges. Les entrevues duraient de 90 à 120 minutes et visaient principalement à relater et à comparer deux situations : 1) une expérience dans laquelle les participants jugeaient avoir fait preuve d’un « bon » jugement ; et 2) une expérience où les participants jugeaient avoir exercé un « moins bon » jugement. Chaque entrevue a été enregistrée et retranscrite, et chacun des chercheurs a analysé le verbatim à l’aide du logiciel d’analyse de données qualitatives NVivo. Par la suite, ils ont représenté leurs diverses analyses à l’aide du logiciel Inspiration 8, créateur de cartes et de schémas conceptuels. Les représentations ont suscité de nombreuses discussions, en différentes phases puisque chaque chercheur reconsidérait individuellement son interprétation à la lumière de celle des autres et qu’il la présentait à nouveau à ses collègues dans un second temps. Ces diverses étapes ont permis l’émergence d’une modélisation des processus de production et de crédibilisation du jugement. Par la suite, elle a été soumise à une douzaine de théoriciens et de praticiens chevronnés en évaluation de programme afin d’assurer la transposition des résultats dans ce domaine. Cinq Américains ont répondu à l’invitation et leurs précieuses remarques se sont avérées très pertinentes. Ainsi, si les résultats bruts de la recherche ont une connotation québécoise, cette dernière démarche n’a pas seulement permis de vérifier l’application des résultats au domaine de l’évaluation, mais aussi, dans une certaine mesure, elle a pu obtenir une connotation significative pour nos collègues américains. Les résultats de cette recherche seront développés dans le cadre du chapitre 4 du présent ouvrage.

LES CONTRIBUTIONS DU LIVRE

La raison d’être du présent ouvrage est le chapitre 4, soit la présentation de la modélisation des processus de production et de crédibilisation du jugement, les autres chapitres contribuant à développer les différentes composantes. Comme nous l’avons mentionné précédemment, nous avons divisé l’ouvrage en deux parties. Une première qui présente les fondements et dans laquelle on retrouve les contributions de Jody Fitzpatrick qui effectue un survol de l’évaluation de programme, de Michael Schleifer et Marthe Hurteau qui nous présentent les concepts entourant le jugement crédible en évaluation, ainsi que de Jennifer C. Greene qui introduit le propos en nous expliquant pourquoi et comment le jugement crédible va au-delà des données probantes. La seconde partie du livre présente la modélisation (Marthe Hurteau, Sylvain Houle, Marie-Pier Marchand, Pascal Ndinga, François Guillemette et Michael Schleifer) ainsi que ses différentes composantes, à savoir : le contexte et les contingences (Sheila A. Arens) ; la sélection des parties prenantes (Marthe Hurteau, Sylvain Houle et Marie-Pier Marchand) ; l’établissement des seuils de réussite (J. Bradley Cousins et Lyn M. Shulha) et les compétences requises par l’évaluateur (Marie-Pier Marchand). Finalement, Sylvain Houle et Marthe Hurteau nous proposent une démarche évaluative en guise de synthèse et closent le tout par une conclusion.

Les fondements

Nous ne pouvions envisager de produire un ouvrage qui porte sur l’évaluation de programme sans introduire quelques considérations sur la façon de la traiter. Il n’est pas aisé de présenter le spectre de la pratique évaluative (chapitre 1), tout en faisant ressortir les aspects essentiels d’une pratique largement documentée. Nous avons confié cette délicate responsabilité à Jody Fitzpatrick qui a su relever le défi. En effet, l’auteure nous présente une définition de l’évaluation ainsi que de son objet en distinguant les notions de programme, de projet, de politique et de produit. Elle continue en nous détaillant les différentes visées de la démarche ainsi que les types d’évaluation, et ce, en adoptant une perspective historique, les évaluations axées sur les visées et sur les composantes du programme. Elle complète par une présentation des différents modèles ou théories et elle conclut par les six étapes requises pour réaliser une évaluation.

L’ouvrage traitant, à nos yeux, du fondement de la démarche évaluative, sa présentation devenait un passage obligé, au même titre que le chapitre précédent. Michael Schleifer et Marthe Hurteau (chapitre 2) mettent leur expertise en commun pour nous présenter ce que constitue un jugement (produit et compétence) et le distinguer du raisonnement et de la prise de décision, le raisonnement étant requis pour porter un jugement et ce dernier soutenant la prise de décision. Ils poursuivent en nous présentant le concept de crédibilité et de quelle façon celui-ci se distingue de l’argumentation et de la persuasion / conviction. Finalement, ils complètent leurs propos en nous exposant comment doit être envisagé le jugement crédible dans le contexte de l’évaluation de programme et plus particulièrement, la définition du jugement, du jugement crédible et la façon d’y parvenir.

Nous complétons cette première partie par un exposé tout aussi intéressant qu’indispensable de Jennifer C. Greene (chapitre 3). En effet, celle-ci nous démontre que si les données crédibles sont essentielles, elles ne sont pas suffisantes pour générer un jugement crédible. Elle s’attache à mieux comprendre la nature que revêtent les données probantes crédibles dans le contexte de l’évaluation de programme et plus particulièrement, de l’évaluation démocratique. En effet, contrairement à ce qui a pu être véhiculé jusqu’à ce jour, le recours aux méthodes expérimentales ne les garantit pas automatiquement. On y aspire en ayant recours à des façons de recueillir et d’interpréter les données qui s’avèrent inclusives, relationnelles et dialogiques, qui s’opérationnalisent sur le terrain, au sein de contextes particuliers et qui incluent les parties prenantes. C’est ce qui nous amène à affirmer qu’on ne peut qu’aspirer à produire des données probantes crédibles dans le contexte d’une évaluation démocratique. Afin d’appuyer cette affirmation, elle traite de l’évaluation démocratique au service du bien public, de la logique sous-jacente pour aspirer à produire des données probantes crédibles et complète par une étude de cas qui illustre ce propos.

La crédibilisation du jugement

La seconde partie du livre commence par la présentation des processus de production et de crédibilisation du jugement en évaluation dans un chapitre signé Marthe Hurteau, Sylvain Houle, Marie-Pier Marchand, Pascal Ndinga, François Guillemette et Michael Schleifer (chapitre 4). Ces auteurs font état des résultats d’une recherche expliquée dans le cadre de la première partie de la présente introduction (quatrième phase de la recherche scientifique). Ils présentent ces résultats sous la forme de six principes : 1) la synchronicité des processus de production et de crédibilisation du jugement ; 2) la production de données probantes valides pour appuyer ces processus ; 3) la flexibilité et l’adaptabilité de l’évaluateur ; 4) l’argumentation, qui est essentielle et non linéaire ; 5) l’évaluation qui constitue une expérience d’apprentissage qui inclut les parties prenantes ; et 6) les compétences de l’évaluateur qui vont bien au-delà de celles identifiées dans le cadre des divers référentiels élaborés au cours des 10 dernières années.

C’est dans cette perspective que le chapitre de Sheila A. Arens (chapitre 5) porte sur le contexte et les contingences. Après les avoir définis, l’auteure présente la complexité de leur prise en compte au sein d’une démarche évaluative, et ce, dans les différentes phases. Elle ne manque cependant pas l’occasion de nous présenter par la suite leur contribution significative. Tout comme Jennifer C. Greene, Arens se montre généreuse en illustrant son propos au moyen de sa riche expérience.

La modélisation présentée par Hurteau, Houle, Marchand, Ndinga, Guillemette et Schleifer met en évidence la contribution essentielle des parties prenantes. C’est ce qui amène Marthe Hurteau, Sylvain Houle et Marie-Pier Marchand (chapitre 6) à s’intéresser au problème de leur sélection. Après avoir identifié les parties prenantes, les auteurs nous présentent les différents critères qui peuvent être retenus pour les sélectionner. Ils finissent par nous présenter une cartographie facilitant par le fait même cette sélection.

Le texte de J. Bradley Cousins et Lyn M. Shulha (chapitre 7) s’inscrit dans la suite des choses puisqu’il traite de l’établissement des seuils de réussite au sein de l’évaluation collaborative. Après avoir pris connaissance de cette contribution dans le cadre de la publication dans Smith et Branton (2008), Hurteau entreprend les formalités requises auprès de la maison d’édition et obtient le droit de traduction de l’article. Dans un premier temps, les auteurs établissent leur conception de l’évaluation collaborative pour, par la suite, traiter de l’établissement des seuils de réussite et de la valeur selon une perspective normative et descriptive. Ils abordent par la suite la question des choix méthodologiques et de la sensibilité culturelle pour conclure avec une illustration bien détaillée.

Marie-Pier Marchand (chapitre 8) sort des sentiers battus pour nous exposer des compétences ignorées jusqu’ici par les référentiels, mais ô combien essentielles. En effet, la recherche de Hurteau et Houle (2008) met en évidence l’importance de compétences personnelles (des qualités, des talents, pourrions-nous dire) de tout professionnel qui intervient avec des personnes et qui doit émettre un jugement. Cela est aussi vrai chez l’évaluateur et, quoique essentielles, il faut avouer que les théoriciens ne se sont pas attardés à ces compétences parce qu’elles sont difficilement cernables et mesurables. L’équipe des chercheurs a confié à Marchand la difficile tâche de nous les présenter.

Sylvain Houle et Marthe Hurteau (chapitre 9) effectuent une synthèse des différentes contributions et nous proposent une démarche évaluative. Si celle-ci s’avère probablement insuffisante pour un novice, elle offre une réflexion intéressante pour les praticiens ayant plus d’expérience. Ces auteurs concluent en présentant au lecteur leur conception de l’évaluation.

Finalement, il est important de mentionner que le titre du présent ouvrage ne réfère qu’aux programmes alors que son contenu s’avère tout aussi pertinent pour les politiques, les produits, les services, les processus ou le fonctionnement d’organisations entières.

RÉFÉRENCES BIBLIOGRAPHIQUES

American Evaluation Association – AEA (2004). Guiding Principles for Evaluators, <http://www.eval.org/Publications/GuidingPrinciples.asp>, consulté le 6 juin 2011.

Arens, S.A. (2005). Understanding Practice through Exemplary Evaluation Cases, Conférence du Joint Committee on Standards for Educational Evaluation, Toronto, American Evaluation Association.

Bossiroy, A. (2009). Mieux comprendre la pratique évaluative : les éléments qui contribuent à la production d’un jugement fondé et argumenté, Mémoire de maîtrise en éducation, Montréal, Université du Québec à Montréal.

Donaldson, S.I. et M.W. Lipsey (2008).