Analyse Des Pratiques D’évaluation Dans Les Organismes .
Analysedes pratiques d’évaluationdans les organismes communautairesRapport de rechercheDécembre 2005TRPOCB1
Photo de la couverture :Marie LeclercGraphisme et conception de la couverture :Luciano BenvenutoRévision :Monique MoisanMise en page :Monique MoisanSoutien financier :Ministère du Développement économique, de l’Innovation et de l’ExportationMinistère de l’Éducation, du Loisir et du SportMinistère de la Santé et des Services sociauxSecrétariat à l’action communautaire autonomeService aux collectivités de l’Université du Québec à MontréalCase postale 8888Succursale Centre-VilleMontréal (Québec)Canada, H3C 3P8Téléphone : (514) 987-3177Télécopieur : (514) 987-6845www.sac.uqam.caMontréal, décembre 2005ISBN : 2-9801745-9-9Dépôt légal : Bibliothèque nationale du Québec
Analysedes pratiques d’évaluationdans les organismes communautairesRapport de rechercheÉquipe de recherche :Jacques Hébert, professeur, UQÀMDaniel Fortin, Professeur, UQÀMFrédéric Fournier, Professeur, UQÀMMireille Desrochers, Agente de recherche, UQÀMMartine Vézina, Agente de recherche, UQÀMSimon Archambault, Assistant de recherche, UQÀMOlivier René, Assistant de recherche, UQÀMComité d’encadrement :René Doré, Centre de formation populaireLise Gervais, Relais-femmesJacques Lachance, Table des regroupementsprovinciaux d’organismes communautaires et bénévolesCéline Métivier, Comité aviseur de l’action communautaire autonomeLina Trudel, Service aux collectivités, UQÀMResponsable de la rédaction :Marie LeclercDécembre 20051
RÉSUMÉLe rapport de recherche ARPÉOC (Analyse et renforcement des pratiques évaluatives dansles organismes communautaires) dresse un état des lieux des pratiques d’évaluation dans lesorganismes communautaires, visant à mettre en évidence tant les obstacles rencontrés par lesgroupes que les conditions facilitant le renforcement de leurs pratiques évaluatives. Pour cefaire, une étude exploratoire a été réalisée qui comportait un volet qualitatif, comprenant deuxétudes de cas et des entrevues auprès de 18 spécialistes, et un volet quantitatif, basé sur uneenquête par questionnaire auprès de 532 organismes.S’appuyant sur une recension des écrits concernant l’évaluation dans les organismescommunautaires, la recherche trace le portrait des pratiques évaluatives des organismesau regard de leurs conditions de réalisation. L’analyse effectuée permet de dégager uneperspective idéale de l’évaluation comportant trois attributs : la systématisation, la participationet la réflexion critique. Cette perspective est schématisée sous la forme d’une pyramide.Il ressort de cette étude que les organismes sont plus ouverts à l’évaluation que parle passé et réalisent davantage d’évaluations de façon autonome. Le financement de baseet les ressources humaines et techniques constituent des conditions sine qua non pourqu’un organisme communautaire puisse mener des démarches d’évaluation significatives. Unorganisme qui veut procéder à une évaluation doit aussi s’assurer que les relations entre lesacteurs sont en appui à la démarche. De nombreuses conditions de renforcement doiventêtre mises en œuvre pour en arriver à un processus participatif et systématisé de réflexioncritique visant à poser un jugement sur la valeur d’une pratique, qui représente selon ARPÉOCl’idéal à atteindre.Les organismes communautaires aspirent de plus en plus à se doter d’outils pour améliorerla qualité de leurs interventions et faire reconnaître davantage leurs pratiques. Le portraittracé par cette étude démontre qu’il faut supporter davantage leurs efforts. Le projet ARPÉOCconstituera et supportera, dans sa seconde phase, un réseau de personnes-ressourcesissues des milieux communautaires pour répondre aux besoins des organismes en matièred’évaluation.1
REMERCIEMENTSCette recherche a pu être menée à terme grâce à l’appui financier du Secrétariat à l’actioncommunautaire autonome et de trois ministères : le ministère de la Santé et des Servicessociaux, le ministère de l’Éducation, du Loisir et du Sport et le ministère du Développementéconomique, de l'Innovation et de l’Exportation.Le soutien du Service aux collectivités de l’Université du Québec à Montréal a été des plusprécieux, aux diverses étapes de la réalisation.La collaboration des organismes communautaires ayant participé aux études de cas et àl’enquête est digne de mention ainsi que celle des personnes ressources.Un gros merci aux membres de l’équipe de recherche et du comité d’encadrementpour leur contribution et une mention toute spéciale à Marie Leclerc pour la qualité deson travail de rédaction.Nous ne pouvons passer sous silence que cette recherche a fait l’objet d’une véritablesaga. Deux membres de l’équipe de recherche et deux membres du comité d’encadrementont ainsi connu des ennuis de santé qui les ont mis au repos forcé pendant plusieurs mois.Ces imprévus n’ont pas facilité la réalisation des travaux. Nous savons gré à l’ensembledes personnes associées à la Phase I du projet ARPÉOC d’avoir démontré dans ce contextesolidarité et générosité, en temps et en énergies.Jacques Hébert, responsable de la recherche
AVA N T- P R O P O SDresser un portrait des pratiques évaluatives dans les organismes communautaires duQuébec a constitué un défi emballant. Comment des organismes régulièrement préoccupéspar leur survie financière réussissent-ils à juger leurs actions ?Dans la recherche que nous avons entreprise, nous avons opté pour une étude desconditions de pratique des groupes, qui portait tant sur les évaluations menées de façonautonome que sur celles réalisées à la suite d’exigences externes. Il nous est apparu importantde contribuer ainsi à l’identification des démarches propres au milieu communautaire età leur reconnaissance.Le monde de l’évaluation comporte inévitablement des enjeux politiques. Les organismescommunautaires se voient de plus en plus proposer des modèles d’évaluation souvent issusde l’épidémiologie sociale (populations et environnements à risque) et confronter à unelogique de programme axée sur l’efficacité et les résultats mesurables. Ces choix permettentdifficilement de cerner l’originalité et les retombées des actions communautaires. Dansce contexte, les organismes communautaires auraient avantage à mieux développer leurargumentaire vis-à-vis de ces approches et à mieux documenter la richesse de leur savoirfaire.Les rapports entre l’État et les organismes communautaires risquent de devenir plus tendusdans une conjoncture de rationalisation budgétaire. Il sera probablement nécessaire d’ouvrir undébat public et des négociations sur les apports novateurs des organismes communautaires. Ilen va, en dernière instance, du mieux-être de la société québécoise.Jacques Hébert, responsable de la recherche
TA B L E D E S M AT I È R E SINTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1Des pratiques d’évaluation à mieux connaître et renforcer . . . . . . . . . . . . . . . . . . . . .L’évaluation : un outil pour le milieu communautaire . . . . . . . . . . . . . . . . . . . . . . . . .Apport de NOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Les buts et objectifs du projet ARPÉOC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Contexte de réalisation de la recherche et aperçu des résultats . . . . . . . . . . . . . . . . .Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133458CHAPITRE I : CONTEXTE SOCIOPOLITIQUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91.1 La décentralisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2 La reconnaissance du mouvement communautaire . . . . . . . . . . . . . . . . . . . . . . .1.3 Les acteurs face à l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.4 De nouvelles lignes directrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.5 Un paradigme gestionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.6 Nouveaux rapports et paradoxe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9101213141618CHAPITRE II : RECENSION DES AUTEURS SUR L’ÉVALUATION . . . . . . . . . . . . . . . . . . . .192.1 Quelques résultats d’études sur l’évaluation en milieu communautaire . . . . . . .2.1.1 Évaluation du projet NOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.1.2 Démarche d’autoévaluation Epsilon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.1.3 Évolution des pratiques dans la santé et les services sociaux . . . . . . . . . . . . . .2.1.4 Évaluation dans le secteur bénévole au Canada . . . . . . . . . . . . . . . . . . . . . . . .2.1.5 Pratiques d’évaluation de programmes aux États-Unis . . . . . . . . . . . . . . . . . . .1919202123242.2 Les enjeux associés à l’évaluation dans les organismes communautaires . . . . . .2.2.1 Ressources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.2.2 Rapports entre les acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.2.2.1 Milieu communautaire et État . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.2.2.2 Organismes communautaires et spécialistes en évaluation . . . . . . . . . . . . . .2.2.2.3 Chocs de cultures et rapports de pouvoir : vers une troisième voie ? . . . . . .Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .252527293538401
viiiCHAPITRE III : MÉTHODOLOGIE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .413.1 Les enjeux associés aux pratiques évaluatives internes et externes . . . . . . . . . . .3.2 Les limites de la recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.3 Le volet qualitatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.3.1 Études de cas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.3.2 Entrevues auprès des personnes-clés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.4 Le volet quantitatif : l’enquête . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.4.1 Méthode d’échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.4.2 Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.4.3 Procédure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42444545474848484950CHAPITRE IV :PORTRAIT DES PRATIQUES ÉVALUATIVES DANS LES MILIEUX COMMUNAUTAIRES . . .514.1 Deux études de cas : description de pratiques exemplaires . . . . . . . . . . . . . . . . .4.1.1 Étude de cas d’une association et d’un organisme en santé mentale . . . . . . . .4.1.1.1 Description générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.1.2 Présentation de la démarche d’évaluation . . . . . . . . . . . . . . . . . . . . . . .4.1.2 Étude de cas d’un organisme d’éducation et d'insertion sociale . . . . . . . . . . . .4.1.2.1 Description générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1.2.2 Première expérience : évaluation du programme d’alphabétisation . . .4.1.2.3 Deuxième expérience : évaluation du programme PACE . . . . . . . . . . . .4.1.3 Éléments de bilan des deux études de cas et perspectives . . . . . . . . . . . . . . . .4.1.3.1 Facteurs qui ont favorisé les démarches d’évaluation . . . . . . . . . . . . . .4.1.3.2 Facteurs qui ont nui aux démarches d’évaluation . . . . . . . . . . . . . . . . .4.1.3.3 Suggestions pour le renforcement des pratiques d’évaluation . . . . . . .4.1.3.4 Suggestions spécifiques concernant la formation . . . . . . . . . . . . . . . . .515252535959606469697071734.2 Le point de vue des spécialistes en évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . .4.2.1 Regard d’ensemble sur les pratiques évaluatives . . . . . . . . . . . . . . . . . . . . . . . .4.2.2 Enjeux liés aux ressources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.2.3 Enjeux liés aux rapports entre les acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.2.3.1 Rapports entre les organismes et les bailleurs de fonds . . . . . . . . . . . .4.2.3.2 Rapports entre les spécialistes en évaluation et les organismes . . . . . .4.2.3.3 Rapports internes du milieu communautaire . . . . . . . . . . . . . . . . . . . . .4.2.4 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7474757676808283
4.3 Le portrait quantitatif des pratiques d’évaluation . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1 Profil des organismes ayant participé à notre enquête . . . . . . . . . . . . . . . . . . . .4.3.1.1 Fonction et ancienneté . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.2 Secteurs et catégories d’organismes . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.3 Territoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.4 Région . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.5 Appartenance à un regroupement . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.6 Année de fondation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.7 Taille des groupes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.1.8 Type de financement et provenance . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.2 Perception générale de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.3 Portrait des pratiques internes d’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.4 Portrait des pratiques d’évaluation en réponse à des demandes externes . . . .4.3.5 Recours à une aide extérieure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.3.6 Constats issus de l’analyse quantitative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85858586878788888990909092939496CHAPITRE V : ANALYSE ET DISCUSSION SUR LES PRATIQUES ÉVALUATIVES . . . . . . . . .1015.1 La perspective stratégique de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.1 Conditions de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.1.1 Ressources nécessaires aux pratiques évaluatives . . . . . . . . . . . . . . . . .5.1.1.2 Rapports entre les acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.2 Perspective du projet ARPÉOC : les trois attributs de l’évaluation . . . . . . . . . . .5.1.2.1 Systématisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.2.2 Participation des acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.2.3 Réflexion critique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.1.3 Schématisation de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2 Les conditions de renforcement des pratiques évaluatives . . . . . . . . . . . . . . . . .5.2.1 Du côté des organismes communautaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.2 Du côté des bailleurs de fonds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.2.3 Du côté des spécialistes en évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .123RÉFÉRENCES.127ANNEXESAnnexe 1 : Lexique de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Annexe 2 : Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133137ix
LISTE DES ncadréEncadréEncadré12345678::::::::Contenu du rapport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Un défi de taille : faire face aux exigences des bailleurs de fonds . . . . . . . .Des traditions communautaires en matière d'évaluation . . . . . . . . . . . . . . .L'évaluation comme outil de renforcement des milieux communautaires . .Définitions utilisées dans le questionnaire de l'enquête ARPÉOC . . . . . . . .Résumé de l'expérience de l'Association en santé mentale . . . . . . . . . . . . .Résumé des deux expériences de l'organisme d'éducation . . . . . . . . . . . . .Quelques questions à se poserpour bien choisir une ou un spécialiste en évaluation . . . . . . . . . . . . . . . . .Encadré 9 : Les deux phases du projet ARPÉOC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7263034425360107126LISTE DES FIGURESFigure 1 :Rapports entre les acteurs des pratiques évaluativesdans les organismes communautaires québécois . . . . . . . . . . . . . . . . . . . . .Trois attributs de la pratique évaluative . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Perspective stratégique de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Figure 2 :Figure 3 :28108113LISTE DES ionselonselonselonselonles secteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .les catégories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .l’année de fondation . . . . . . . . . . . . . . . . . . . . . . . . . . .le budget annuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .86878889
S I G L E S U T ILISÉS DANS L'OUVRAGEARPÉOC : Analyse et renforcement des pratiques d’évaluation des organismes communautairesCFP : Centre de formation populaireCLSC : Centre local de services communautairesCOCQ-Sida : Coalition des organismes communautaires québécois contre le sidaCSSS : Centre de santé et de services sociauxGAP : Groupes d’appréciation partagéeIPAC : Initiative de partenariat pour l’action communautaire en itinéranceLAREPPS : Laboratoire de recherche sur les pratiques et les politiques socialesMSSS : Ministère de la Santé et des Services sociauxNOVA : Projet pour le maintien de pratiques novatrices en milieu communautairePACE : Programme d’action communautaire pour les enfantsSAC : Service aux collectivités de l'UQÀMSACA : Secrétariat à l’action communautaire autonomeSOC : Soutien aux organismes communautairesSPSS : Statistical Program for Social SciencesTRPOCB : Table des regroupements provinciaux des organismes communautaires et bénévolesUQÀM : Université du Québec à Montréa
études de cas et des entrevues auprès de 18 spécialistes, et un volet quantitatif, basé sur une enquête par questionnaire auprès de 532 organismes. S’appuyant sur une recension des écrits concernant l’évaluation dans les organismes communautaires, la recherche trace le portrait des pratiques évaluatives des organismes
EVOLUTION DES PRATIQUES SPORTIVES 2000-2010. Gre nob le 5 oct obr e 201 3 Les pratiques sportives depuis 1985. Tendances générales Massification de la pratique sportive à partir des 70’s Diversification des pratiques et des modalités de pratique (dé-institutionnalisation)
3.3 Diagramme de distribution du Poivre de Penja 69 IV. Analyse des pratiques dans la filière Poivre de Penja & recommandations générales en matière d’hygiène 71 4.1 Analyse des pratiques et identification des sources de risques (5M) 71 4.2 Recommandations générales en matière d’hygiène (PRP ; PrPo) 75
compte de l’évolution sociétale, des pratiques innovantes et le dépassement des dualités. Ce cadre, produit de l’expérience du praticien, tiré des connaissances du clinicien, devient un vecteur d’inclusion tant des personnes que des pratiques ou des modèles théoriques actuels.
Traitement des données Chapitre 4 : Analyse factorielle des correspondances, rev 11/03 Chapitre 4 : Analyse factorielle des correspondances binaires Objet - L'analyse Factorielle des Correspondances ou AFC constitue une technique d'analyse statistique d'un ou de
psychosociologie Toulouse, Erès, 2013, 11e, p. 302 & Anne Marie Lagadec, « L'analyse des pratiques professionnelles comme moyen de développement des compétences :ancrage théorique, processus à l'œuvre et limites de ces dispositifs », Reche
type de livres lus, et la télévision, avec la mention des programmes et des chaînes regardées, permettent, dans l'ordre des pratiques culturelles, d'aller un peu au-delà du seul enregistrement de l'occurrence et de la fréquence des pratiques. La liste des activités spor-tives est assez détaillée, mais la faible occurrence de
Automated Valuation Models (AVMs) are computer-based systems which encompass all data concerning real estate in a particular area and are capable of producing more consistent valuation reports within a short time. Traditional valuation methods employed by valuers somewhat delay the valuation process. For
planning a business event D1 evaluate the management of a business event making recommendations for future improvements P2 explain the role of an event organiser [IE] P3 prepare a plan for a business event [TW] P4 arrange and organise a venue for a business event, ensuring health and safety requirements are met [SM, EP] M2 analyse the arrangements
