Post on 09-Feb-2023
1
1
"ÉCOLE NATIONALE D' ADMINISTRATIO~ PUBLIQUE
Les modèles théoriques de l'évaluation de programme appliqués à la vérification de l'optimisation des ressources
en vérification législative
Par Marthe Baril
Rapport de travail dirigé présenté à l'ENAP, en vue de l'obtention de la maîtrise en administration publique
option pour analystes (Évalt.tation de programmes)
Québec
4 mars 2010
r
1
1
1 l
0 0 C\J
c:r.: > ·~ \()
N
TABLE DES MATIÈRES
AVANT -PROPOS ............ ..... ............................ .................. ............... ............................... 5
1. Introduction ............ ............................ ............................................. ~ ......................... 6
2. Contexte de l'étude ................................................................................................... 9
2 .. 1 La vérification de 1' optimisation des ressources ...... ............................................... 9
2.2 Le cadre de gestion axée sur les résultats .............................................................. 12
2.3 La notion de programme dans le contexte gouvernemental.. .................. ...... ... ...... 14
2.4 L'approche par les processus ........... ..... .............. .... ... .. ....... .................................. 16
3. · Cadre théorique ....................................................................................................... 17
3.1 La logique de l' évaluation de programme ... ....................... .. ....... ..... .. ..... ............. 17 3.1.1 La description d'un programme ....................................................... .. ....... 18 3 .1.2 La problématique de l'évaluation .............................................................. 23 3 .1.3 L'opérationnalisation de l'évaluation ........................................................ 24 3.1.4 Les choix stratégiques de l'évaluation ....................................................... 25 3.1.5 Le jugement fondé ... ..... .... ... ... .. ... ..... .... .... .. ....... .. ............................. ........ 26
3.2 L'évaluation participative ..................................................................................... 27
4. Cadre d'analyse ....................................................................................................... 34
4.1 Les modèles théoriques ............... .. ... ............................... ~ ........ .... ...... ..... ...... ..... ... 35
4.2 Les autres considérations ...................................................................................... 38 .
4.3 Définition des risques, enjeux et lacunes .............................................................. 40
5. Analyse des approches ................................. .... .... ................................................... 42
5.1 Description de la phase de constitution de mandats .............................................. 42
5.2 Démarche générale en constitution de mandats ...... .. ........... ............... ..... ... .......... 43 5.2.1 Approche par déficiences appréhendées ........................ ...... ... .... .... ... ....... 44 5.2.2 Approche par les risques .... ................ ....... .................... .. ... ...... ... .. ..... ... .... 46
5.3 Sommaire des résultats de la participation des entités .................... ..... .. ..... .......... 47
6. Conclusion ................................................................................... ~ ........................... 49
2
1
1
1
TABLE DES TABLEAUX
Tableau 1 :Origine de la vérification de l'optimisation des ressources au Canada ...... ... 10
Tableau 2: Champs et portée en évaluation (SCT, 2002) ...................... .......................... 23
Tableau 3 :Les cinq générations de l'évaluation de programme ..... ............ ....... .. ... ........ 29
Tableau 4 :Échelle de participation de l' ACDI (2005) ........... ... .......... .... .... .. .......... ........ 33
Tableau 5 :Typologie de la participation adaptée au processus de VOR ....... .... ............. 37
Tableau 6: Sommaire de la participation- Approche par déficiences appréhendées ...... 45
Tableau 7: Sommaire de la participation- Approche par les risques .......................... .... 47
TABLE DES FIGURES
Figure 1 : Le contexte de la participation des entités en VOR ...... ... .... .... ...... .................. 12
Figure 2: La VOR et l' évaluation de programme au gouvernement du Québec .......... ... 14
Figure 3 :Modèle logique d'un objet d'évaluation (tiré de Chen, 2005) .. ..... ....... ....... .... 19
Figure 4 :Modèle logique de type« enchaînement de résultats » .... ........ ...... .................. 20
Figure 5 :Processus en vérification de l'optimisation des re'ssources ... .... .. ...... .... ........... 21
Figure 6 :Modèle logique de l'administration publique .. ... .... .... ..... .. .... ....... ... ........ ...... .. 22
Figure 7 : Modèle de participation en évaluation de programme ... .... .. ......... .. ... .. ............ 32
Figure 8 : Modèle logique du processus de VOR, relations avec les entités ...... ......... ..... 35
Figure 9 :Modèle de participation pour la phase de constitution de mandats ..... ......... .... 38
Figure 10: Risques, enjeux et lacunes ............... .. ...... ....... ... : ..... ..... ...... ..... ..... .................. 40
Figure 11 :Relation entre le risque et l'incertitude ............................... ............ ............... 42
Figure 12 : La représentation de la participation ....... .. ... ........ .. .. ........ .............. ...... .......... 48
3
LISTE DES ABRÉVIATIONS
ACDI
CDRI
ENAP
FCVI
GAR
INTOSAI
OCDE
SCT
SCTC
THCU
VGC
VGQ
VOR
Agence canadienne de développement international
Centre de recherche pour le développement international
École nationale de 1' administration publique
Fondation canadienne pour la vérification intégrée
Gestion axée sur les résultats
Organisation Internationale des Institutions Supérieures de Contrôle des Finances Publiques
Organisation de coopération et de développement économiques
Secrétariat du Conseil du trésor du Québec
Secrétariat du Conseil du trésor du Canada
The Health Communication Unit
Vérificateur général du Canada
Vérificateur général du Québec
Vérification de 1' optimisation des ressources
4
1
(
AVANT-PROPOS
La présente étude constitue la deuxième phase d'un travail dirigé, dont la première a été
accomplie au sein de l'institution du Vérificateur général du Québec (VGQ) en
vérification de l'optimisation des ressources (VOR). Elle s'inscrit dans le cadre du
programme de maîtrise à l'École nationale de l'administration publique (ENAP),
concentration «Évaluation de programmes». L'objectif de cette démarche académique
était d'acquérir des connaissances dans une discipline, connexe à la fonction de
vérification de l'optimisation des ressources (VOR), dans le cadre de la vérification
législative.
La ·première partie du travail dirigé a consisté à produire une stratégie sectorielle
d'intervention en VOR. Les stratégies sectorielles visent à identifier des sujets de
vérification sur un horizon de cinq ans et sont utilisées à des fins internes au Vérificateur
général du Québec. Pour des raisons confidentielles, la stratégie d'intervention n'apparaît
pas dans le présent rapport, mais elle a toutefois été validée par les responsables à
l'interne et a été accomplie dans les délais prévus. Cette partie pratique a débuté en avril
2008; pour se terminer en octobre 2008.
La deuxième partie, qui fait l'objet du présent rapport, a porté sur une réflexion
exploratoire théorique des fondements de la VOR et de l'évaluation de programme
centrée sur la participation des parties prenantes au processus de vérification ou
d'évaluation. Cette partie a été réalisée au cours de l'année 2009, sous la direction de M.
Moktar Lamari, professeur à l'ENAP. Ses précieux conseils ont su éclairer ma réflexion '
et contribuer à l'atteinte de mon objectif premier, soit d'appliquer les connaissances
acquises en évaluation de programine à la vérification de l'optimisation des ressources.
5
1. Introduction
Le Vérificateur général du Québec est au service de l'Assemblée nationale pour favoriser,
par la vérification, le contrôle parlementaire sur les fonds et autres biens publics, au
bénéfice des citoyennes et citoyens du Québec. Il réalise trois types de vérification:
i) l'attestation des comptes publics, ii) la vérification de l'optimisation des ressources et
iii) la vérification de conformité aux lois, règlements, politiques et directives. Les deux
premières sont déposées à 1' Assemblée nationale en deux rapports distincts tandis que la
vérification de conformité fait plus rarement l'objet d'un dépôt spécifique, elle est plutôt
accomplie à travers les deux autres. L'intention première du Vérificateur général du
Québec est de susciter des améliorations en matière de gestion publique (VGQ, 2009a).
La présente étude est centrée sur l'analyse de la participation des parties prenantes au
processus de vérification de l'optimisation des ressources (VOR). Sur le site officiel du
Vérificateur général du Québec, la VOR est définie comme suit:
La vérification de l'optimisation des ressources vise à faire la lumière sur les moyens que les gestionnaires mettent en place pour administrer, de façon économique, efficiente et efficace, les ressources qui leur sont confiées. La vérification de l'utilisation des subventions accordées par les organismes publics et les organismes du gouvernement de même que la vérification de la mise en application de la Loi sur le développement durable font également partie de ce type de vérification. Ces missions de vérification ne mettent toutefois pas en cause le bien-fondé des énoncés de politique et des objectifs des différents programmes (VGQ, 2009b ).
Ainsi, la VOR consiste à apprécier la gestion exercée à tous les mveaux dans
l'Administration en s'assurant que les organismes gouvernementaux gèrent leurs
ressources avec un juste souci d'économie, d'efficience et de l'environnement et qu'ils
ont mis en place les moyens pour évaluer l'efficacité des programmes et rendre compte
de leurs actes.
Cette étude utilise, comme base descriptive, les fondements théoriques de l'évaluation de
programme en raison de sa similitude avec la VOR. Elle définit un cadre théorique qui
sert à dégager certains principes qui caractérisent la VOR en appliquant des modèles
reconnus en évaluation de programme. Elle vise aussi à fournir une base de réflexion
pour l'analyse descriptive des approches de constitution de mandats relatées au dernier
6
chapitre. La VOR fait partie des pratiques évaluatives. Le cadre théorique a été élaboré à
partir de l'évaluation de programme. La VOR et la participation des parties prenantes au
processus seront reprises afin d'asseoir les modèles appropriés au contexte de la VOR.
La VOR est devenue une pratique courante à partir de la fin des années 1970 tandis que,
selon plusieurs auteurs, 1' évaluation a commencé dans les années 1880 et en est
maintenant à sa cinquième génération. La première génération (1880-1930) était centrée
sur la mesure du succès au moyen de divers tests. Essentiellement, elle permettait
d'observer l'écart entre les objectifs visés et les résultats atteints. La deuxième génération
(1930-1960) a ajouté à la mesure la description qui permet d'associer les résultats au
processus qui les génère et de mieux les mettre en contexte. C'est à partir de la troisième
génération (1960-1990) que les évaluateurs ont reconnu et intégré la nécessité de porter
des jugements sur la valeur des programmes, la valeur des objets à évaluer. On inclut
donc des éléments de jugement, soient des critères et des standards préétablis afin
d'apprécier les programmes (Guba et Lincoln, 1989, dans Bouchard et Rondot, 2003;
Côté, 2000; Dunberry et Péchard, 2007).
À partir de la quatrième génération (1990), le processus évaluatif connaît une évolution
vers une plus grande préoccupation à construire avec les acteurs du programme afin de
répondre à leurs besoins, c'est le début de l'évaluation participative. Ce qui compte alors
n'est plus l'objectivité en soi, mais la possibilité de construire avec les parties prenantes
une vision consensuelle de manière à faire avancer les choses. Les chercheurs en
évaluation de programme s'intéressent alors aux théories participatives et analysent les
conditions et les formes possibles de participation au processus d'évaluation. Dès lors, ils
considèrent qu'idéalement, la coopération et la collaboration des acteurs ne devraient pas
se limiter à 1' étape de réalisation, car plus les acteurs collaborent tôt dans le processus,
plus ils sont sensibilisés à résoudre les problématiques qui découlent d'une évaluation et
peuvent ainsi contribuer à améliorer la qualité de la gestion gouvernementale. Leur
participation favorise une meilleure compréhension mutuelle de la problématique et une
meilleure disposition à tenir compte des recommandations (Guba et Lincoln, 1989, dans
Dunberry et Péchard, 2007).
7
En VOR, dans les années 1990, en parallèle avec l'évaluation, la préoccupation d'une
association plus étroite et d'une participation plus active des entités vérifiées était
également signalée par des institutions de recherche reconnues. D'un côté, l'Organisation
de coopération et de développement économiques (OCDE) faisait observer qu'il était de
plus en plus admis que 1 'indépendance des vérificateurs ne devrait pas être synonyme
d'isolement et que ceux-ci devaient être étroitement associés aux processus de réforme
(modernisation) (Morin, 1999). D'un autre côté, la Fondation canadienne pour la
vérification intégrée· (FCVI) publiait un guide, s'adressant aux dirigeants et aux
gestionnaires des entités vérifiées, qui soulignait comment les organisations publiques
devraient éclairer les décisions à prendre dans le cadre d'une VOR et comment s'assurer
d'en tirer le meilleur parti possible (FCVI, 1991).
Le cadre théorique de cette étude est centré sur les modèles qui supportent l'évaluation de
programme et qui s'appliquent à la VOR. Les modèles décrits sont appliqués au
processus de VOR et ajustés si nécessaire selon les limites et contraintes propres à la
VOR.
Par la suite, ces fondements théoriques sont utilisés afin d'analyser une phase du
processus de VOR soit la phase de constitution de mandats. Cette phase sert au repérage
des sujets de vérification selon des critères prédéfinis. Elle est importante, car elle
contribue à contrer le risque principal de mission en vérification législative, soit le risque
de non-détection. Ce risque se concrétise si certains risques ou lacunes alors que de
grandes brèches sont présentes dans le secteur ou dans l'organisation cible ne sont pas
détectés (VGQ, 1998). Lors de cette phase, l'élaboration d'une stratégie d'intervention
par secteur ministériel assure une couverture de l'ensemble de l'administration publique
et permet de décrire un portrait d'ensemble pour chacun des secteurs.
Finalement, la conclusion permet d'achever cette réflexion en faisant un retour sur les
modèles théoriques afin de conclure sur leur application en VOR.
8
2. Contexte de l'étude L'indépendance est considérée comme la pierre angulaire de la vérification législative et est reconnue comme un facteur essentiel au développement de la confiance du public et au maintien de l'objectivité et de l'intégrité (VGC, 2003; VGQ, 2009).
Cette section permet de situer la VOR et l'évaluation de programme dans le contexte
gouvernemental. Dans un premier temps, elle décrit les origines de la VOR au Canada.
Dans un deuxième temps, elle s'attarde aux principes de la gestion axée sur les résultats
afin d'introduire les notions de programmes et de résultats dans ce cadre de gestion et
termine finalement par une courte description d'une approche en évaluation de
programme qui s'harmonise avec la vérification de l'optimisation des ressources.
2. 1 La vérification de l'optimisation des ressources
Ses origines
La fonction de vérification au gouvernement du Canada existe depuis plus de deux siècles
et prend ses racines dans le système parlementaire britannique. La première mission de
vérification a été instituée en 1763, par la Grande-Bretagne, suite ~ la Proclamation
royale (Comité permanent des comptes publics, 2007). L'indépendance par rapport au
gouvernement (pouvoir exécutif) a été accordée peu après la Confédération. C'est alors
que la fonction de vérificateur général est devenue une fonction législative.
Par la suite, une longue période s'est écoulée avant que les parlementaires élargissent la
fonction de vérification législative au-delà de la vérification des aspects financiers.
Finalement, c'est en 1977, face à l'augmentation des dépenses gouvernementales, que le
vérificateur général du Canada a été mandaté de vérifier les pratiques de gestion et que la
vérification de l'optimisation des ressources a pris racine au Canada. Les provinces ont
suivi dans les dix années suivantes et, au Québec, elle est devenue effective en 1985 par
l'adoption de la Loi sur le vérificateur général. Les législateurs mettaient alors à leur
disposition un moyen permettant d'examiner le service rendu pour l'argent dépensé
(Cutler, 1985). Le tableau 1 présente plus en détail l'origine de la VOR au Canada.
9
1 .
Tableau 1 :Origine de la vérification de l'optimisation des ressources au Canada
1867
1878 et 1883
1931- 1934
1952- 1970
1977 et 1985
Au Québec
(Vérificateur général du Québec, 1988)
Après la Confédération, le Vérificateur des Comptes publics est nommé Auditeur et obtient le rang de sous-ministre sous la direction du Département du Trésor qui vérifiait et attestait les comptes publics.
En 1883, l'Auditeur acquiert son indépendance par rapport au gouvernement. Nommé l'Auditeur de la province, il a la responsabilité de la vérification avant et après paiement, de recommander des règlements qu'il soumet à l'approbation du Bureau de la trésorerie et de faire rapport à l'Assemblée nationale.
En 1933-1934, l'Auditeur de la province commence à signaler qu'avec la vérification avant et après paiement, il se trouvait mal placé pour contester le bien-fondé de la dépense.
En 1970, adoption de la Loi sur l'administration financière qui dégage l'Auditeur de la province de toute intervention avant paiement. Cette loi lui donne le nom de Vérificateur général et lui assure son indépendance (relève directement de l'Assemblée nationale et mandat non renouvelable de dix ans). Il est remplacé par le Contrôleur des finances comme agent d'autorisation des dépenses.
Le 20 juin 1985, adoption de la Loi sur le vérificateur général a élargi la portée de la vérification législative au Québec, pour y inclure la fonction de vérification de l'optimisation des ressources (VOR).
10
Au Canada
(Comité permanent des comptes publics, 2007)
Après la Confédération, nouvelle loi qui assure le maintien de la Commission de vérification (présidée par le Vérificateur des Comptes publics) qui vérifiait et attestait les comptes publics.
En 1878, création du poste de vérificateur général, premier vérificateur général indépendant du Canada. Auparavant, cette fonction était assumée par un haut fonctionnaire, le sous-ministre des Finances.
/
En 1931, les doubles fonctions de surveillance de l'octroi des fonds et de vérification des dépenses scindées en deux postes distincts. Le vérificateur général demeurait responsable de la vérification postérieure indépendante des dépenses gouvernementales, tandis que le nouveau contrôleur du Trésor était chargé de surveiller l'octroi de fonds.
En 1952, la Loi sur le revenu consolidé et la vérification qui a été remplacée par la Loi sur la gestion des finances publiques ne modifiait pas substantiellement les responsabilités respectives du vérificateur général et du contrôleur du Trésor. À partir de 1958, l'examen du rapport du vérificateur général est devenu une activité sessionnelle régulière du Comité permanent des comptes publics.
En 1977, modification de. la Loi sur le vérificateur général afin de redéfmir et d'élargir le mandat du Bureau du vérificateur général. En plus d'évaluer les états financiers du gouvernement, le Bureau devait effectuer des vérifications de conformité et de l'optimisation des ressources portant sur les pratiques de gestion.
Son contexte
Au gouvernement du Québec, comme dans la plupart des systèmes parlementaires, le
VGQ est au service de la législature et vise à améliorer la gestion gouvernementale. En
VOR, il intervient sur deux axes principaux soit l'optimisation des ressources et la
reddition de comptes. D'une part, il informe les parlementaires sur les problématiques
dans l'administration gouvernementale (VGQ, 2009) et contribue à améliorer la gestion
publique en adressant aux ministères et organismes des recommandations axées sur les
principes de bonne gouvernance et de saine gestion axée sur les aspects de l'économie, de
l'efficience et d'efficacité. D'autre part, il s'assure que les organismes gouvernementaux
assument leur responsabilité de reddition de compte de façon adéquate et en conformité
avec la loi et il s'assure qu'ils appliquent des mesures correctives suite aux
recommandations du Vérificateur général.
La participation des entités
La collaboration des entités est jugée essentielle pour que les vérificateurs parviennent à
des conclusions pertinentes et fiables et pour que les entités vérifiées puissent
comprendre les choix importants pouvant être faits par les vérificateurs et en tirer les
meilleurs avantages possible. Cependant, les vérificateurs doivent toujours garder en
veilleuse les règles propres à la vérification législative (indépendance, autonomie et
objectivité) dans les modes de collaboration qu'ils choisissent (FCVI, 1991). Ils doivent
être conscients que la position qui est conférée au Vérificateur général du Québec par la
loi impose certaines balises qui peuvent influencer les choix de participation et,
conscients également, que même si la Loi sur le vérificateur géneral oblige les entités a fournir les renseignements demandés par le vérificateur, cet article n'est pas pour autant
un gage d'échanges constructifs.
Accès aux renseignements. Les organismes, entreprises, bénéficiaires, associations ou personnes visés à l'article 47 et leurs -administrateurs, dirigeants et employés doivent, sur demande, permettre au vérificateur général de prendre communication et de tirer copie des registres, rapports, documents ou données, quelle qu'en soit la forme, relatifs aux travaux du vérificateur général en vertu de la loi, et lui fournir tout renseignement et explication s'y rapportant Application. S'applique malgré la Loi sur l'accès aux documents des organismes publics et la protection des renseignements personnels (chapitre A-2.1). Primauté. Prévaut sur une disposition d'une loi générale ou spéciale postérieure
11
qui lui serait contraire à moins que cette dernière loi n'énonce expressément s'appliquer malgré le présent article (Loi sur le vérificateur général, article 48).
La figure 1 présente le contexte de la participation des organismes gouvernementaux au
processus de VOR. Les flèches bidirectionnelles montrent les liens de collaboration entre
les vérificateurs et les organismes vérifiés. La flèche pointillée des biens et services sert à
démontrer qu'une VOR ne peut avoir un effet direct sur les biens et services. Les
ministères et organismes doivent d'abord apporter les correctifs nécessaires afin
d'améliorer la gestion de leur programme.
1
Figure 1 : Le contexte de la participation des entités en VOR
, -------------------------------------------------~ ...
ASSEMBLÉE NATIONALE
_______ ,..
Contrôle parlementaire
Plan d'action Commission de l'administration
publique SUIVI du Plan d'action
RapportVOR
GOUVERNEMENT
POUVOIR EXÉCUTF
Premier ministre et son conseil de_s ministres
1
~
ADMINISTRA llO PUBLIQUE
Ministères et organismes
t f
c Cil Cil
0 ~ ~ !5 ;:l '= ~ :e !3 ~ liS ~ "C "C iii .'Q:i
~ > m > "C •Q)
5 :0 Q)
E E .... -g 0
(/) 0
·~ .... u u .c w Q) Q)
0 ,, 0:: .. VGQ
- '
. +
POPULATION
Bien-être des citoyens
Biens et services : -- ------- -- -
2.2 Le cadre de gestion axée sur les résultats
Pour rendre des comptes à la population, les élus doivent être bien informés et, pour cela,
disposer de mécanismes d'informations fiables. La Loi sur l'administration publique,
adoptée en 2000, a établi de nouvelles règles de gouvernance qui met en avarit le principe
de la transparence de 1' administration publique et accroît son imputabilité devant
l'Assemblée nationale. Elle reconnaît ainsi le rôle des parlementaires et l'intérêt des
12
citoyens à l'égard de l'action gouvernementale en obligeant les ministères et organismes à
rendre compte publiquement de leur gestion. L'Organisation de coopération et de
développement économiques définit la gestion axée sur les résultats comme« une
stratégie de management orientée vers la performance, la réalisation d'extrants et
l'accomplissement d'effets directs » (OCDE, 2002). Traditionnellement1 la reddition de
compte était centrée sur les intrants de ressources, les activités et les extrants,
aujourd'hui, avec la gestion axée sur les résultats, l'accent est m1s sur les résultats
(Brunet et Rocky, 2004).
Ce cadre de gestion gouvernementale est fondé sur une démarche continue de
planification et de reddition de comptes qui prévoit une évaluation des résultats sur la
base de suivi d'indicateurs. Ce suivi par indicateur est un processus qui se distingue de
l'évaluation de programme, qui est aussi considérée comme une fonction essentielle afin
d'appuyer, de façon ponctuelle, l'ensemble de la démarche de gestion axée sur les
résultats. L'évaluation de programme fait donc partie de l'instrumentation mise à la
disposition de la gouvernance afin d'appuyer la prise de décision. Elle peut, entre autres,
mettre en perspective certaines circonstances qui justifient la révision d'un plan
stratégique comme celle des objectifs ou de la raison d'être du programme. Elle vise à
accroître la productivité de l'État et à renforcer les saines pratiques de gestion au sein de
l'administration publique. Bref, en servant de soutien à la prise de décision, elle permet
d'assurer une meilleure affectation des ressources, d'évaluer et d'expliquer l'impact réel
d'un programme par rapport à ce qui était souhaité (SCT, 2002).
Elle [l'évaluation de programme] analyse les liens entre les ressources, les processus, les produits et les résultats afm d'expliquer la performance obtenue. L'évaluation de programme permet de prendre le recul nécessaire pour proposer des ajustements adéquats aux actions mises de l'avant afin d'atteindre les objectifs des plans stratégiques des ministères et des organismes (OCDE, 2002).
La figure 2 vise à schématiser les rapports entre la vérification de l'optimisation des
ressources (VOR), la gestion axée sur les résultats (GAR) et l'évaluation de programme
dans le contexte du gouvernement du Québec. Ainsi, la gestion axée sur les résultats et
. l'évaluation de programme sont au cœur de l'administration publique et sont toutes les
deux au service de la gouvernance ministérielle. Lorsqu'un dépôt à l'Assemblée nationale
est requis, celui-ci se fait par l'intermédiaire du ministre responsable. Du côté de la VOR,
13
comme montré précédemment dans la figure 1, le Vérificateur général du Québec (VGQ)
est au service direct de 1' Assemblée nationale et ne fait pas partie du gouvernement.
Figure 2 : La VOR et l'évaluation de programme au gouvernement du Québec
r ........................................................................................................................................... , ........................... l : . • GOUVERNEMENT
ASSEMBLÉE POUVOIR EXÉCUTF NATIONALE i'<:"' .............. Premier ministre et
Pouvoir législatif son conseil des ministres
Reddition de comptes
~
ADMINrSTRATION PUBLIQUE
GOUVERNANCE Hauts dirigeants
••••••••••••·•••• • GAR Évaluation de programme
Action gouvernementale
VGQ
VOR
POPULATION
Bien-être des citoyens
Biens et services
2.3 La notion de programme dans le contexte gouvernemental
La notion de programme à évaluer dans la pratique de l'évaluation de programme, qui est
plutôt axée sur une vue systémique comme nous le .verrons au chapitre suivant, est
différente de la notion de programme à la base de 1' action gouvernementale. Ainsi, dans
tout exercice d'évaluation ou de vérification, l'objet à évaluer peut aborder l'action
gouvernementale sous différents points de vue. Cette section présente trois notions
complémentaires du programme dans l'administration publique.
14
Un programme budgétaire
Les activités du programme budgétaire contribuent à la réalisation d'objectifs touchant différents champs d'intervention et pour lesquels il est possible de rendre compte (SCT, 2004).
Dans le système parlementaire britannique, le consentement parlementaire est obligatoire
pour tout prélèvement et toute dépense des deniers publics. Avec la Loi sur
l'administration publique, adoptée en 2000, le cadre de gestion axée sur les résultats est
devenu la base du processus budgétaire. Les orientations, les priorités et les objectifs du
ministère et des organismes énoncés dans les plans stratégiques sont maintenant
consignés dans le budget des dépenses et sont associés à 1' allocation des budgets qui sont
votés par programme. Un programme voté, qui peut aussi être appelé programme
budgétaire, comprend généralement plus d'un programme public et peut être associé aux
processus de soutien aux activités de l'organisation. Les budgets alloués par programmes
budgétaires sont les intrants de ressource de l'administration publique.
Les programmes publics
[Un programme public est] un ensemble cohérent, organisé et structuré, d'objectif, d'activités et de ressources humaines, matérielles, informationnelles et financières, regroupés pour offrir des produits ou des services particuliers en vue de satisfaire les besoins d'une population déterminée (Groupe des responsables de l'analyse et de l'évaluation de programme, dans MBADINGA, 2005)
Les programmes publics sont les éléments centraux de l'administration gouvernementale.
Ils découlent généralement d'un politique publique qui annonce les orientations et les
priorités du gouvernement dans un domaine d'intérêt. Ils précisent les stratégies adoptées
afin de mettre en application ces orientations et ces priorités du gouvernement. Le
programme mobilise des ressources consenties à l'intérieur d'un programme budgétaire
afin d'en assurer son développement, son fonctionnement et son évolution et offrir un
bien ou un service aux citoyens. Le programme public doit atteindre des résultats en
fonction d'objectifs préalablement établis (extrants, effets et impacts), à une utilisation
optimale des ressources de l'Administration gouvernementale (transformation des intrants
en extrants) et à une reddition de comptes qui porte sur la performance dans l'atteinte des
résultats (Loi sur l'administration publique, article 2).
15
Les processus de soutien (programme interne)
Les processus de support (appelés également processus de soutien) représentent une activité interne, généralement transversale, permettant d'assurer le bon fonctionnement de l'entreprise. Les processus de support sont généralement transparents pour le client (bénéficiaire). Il peut s'agir par exemple de la gestion financière, de la gestion des ressources humaines, la formation, etc. (Norme ISO 9001,2000, dans SAS/COQ, 2009) .
Les processus de soutien correspondent à toute fonction transversale en support direct ou
indirect à la gestion des programmes publics, comme la vérification interne, l'évaluation
de programme ou les services administratifs des ministères et organismes. Il concerne
également les services-conseils et tout autre service de soutien offerts par les organismes
centraux comme le ministère du Conseil exécutif, le ministère des Services
gouvernementaux et le Secrétariat du Conseil du Trésor. Les processus de soutien sont
essentiellement axés vers des résultats internes à 1' administration publique.
2.4 L'approche par les processus
Dans le chapitre qui traite le cadre théorique, la logique de l'évaluation sera décrite dans
un concept élargi, soit celui de l'acte d'évaluer qui est associé aux différentes approches
d'évaluation de programme. Certaines approches sont concentrées sur l'évaluation des
. extrants, d'autres sur les processus, d'autres sur les effets et les impacts. La pratique de la
VOR est exercée dans un cadre plus limité. Ainsi, contrairement à l'évaluation de
programme qui peut effectuer une évaluation au profit des différents commanditaires
(bailleurs de fonds, responsables du programme, gouvernance ministérielle ... ), la VOR a
toujours le même client, l'Assemblée nationale. De plus, la VOR est essentiellement axée
sur la vérification des pratiques exercées au sein de 1' administration gouvernementale.
Elle est plutôt centrée sur 1' évaluation des processus de 1' organisation (gouvernance,
gestion, soutien et affaires) et sur les extrants . (biens et services). Elle s'intéresse
également aux effets et aux impacts des programmes sur la population, toutefois, la
préoccupation est · généralement tournée vers les moyens mis en place par les
organisations vérifiées afin de mesurer l'efficacité des programmes (VGQ, 2009b).
Parmi les approches proposées en évaluation de programme, l'approche par processus est
une des approches recommandées lorsque 1' évaluation est fortement axée sur la
16
dynamique interne d'un programme et ne vise pas à mesurer les effets du programme.
Dans cette approche, un processus est défini comme 1' ensemble des opérations internes
d'un programme, d'une intervention ou d'un groupe d'activités permettant l'atteinte des
objectifs visés. La notion de programme est toujours utilisée, cependant, l'emphase est
davantage mise sur les façons de faire, soit les processus. Cette approche évalue les
opérations qui portent autant sur les activités formelles, et donc attendues, que sur les
activités informelles, qui parfois ont également des impacts importants. Par des
observations et des entrevues avec les acteurs du programme, il devient possible d'en
évaluer les failles et les causes de réussite ainsi que les secteurs devant être préservés ou
modifiés (Bouchard et Rondot, 2003). Ainsi, l'évaluation des processus, qui s'applique
généralement aux programmes publics en cours, peut servir à examiner les procédures et
les tâches liées à la prestation d'un programme et les services offerts pour d'apporter les
améliorations nécessaires (THCU, 2002).
3. Cadre théorique
Ce troisième chapitre est centré sur les théories descriptives de l'évaluation de
programme qui résultent, pour la plupart, de recherches et d'études sur la pratique de
1' évaluation dans le domaine social où 1' évaluation est une pratique courante, telle en
éducation, en santé et services sociaux ainsi qu'en économie sociale. Une première partie
jette les bases du modèle logique de l'évaluation de programme qui seront, par la suite,
transposées au processus de VOR. Les auteurs qui ont développé ce modèle l'ont associé
spécifiquement à un processus d'évaluation, c'est-à-dire à l'acte d'évaluer. La deuxième
partie est centrée sur l'évaluation participative qui est également associée à la VOR dans
le but de définir un modèle permettant de décrire les caractéristiques de la participation
en VOR.
3.1 La logique de l'évaluation de programme
L'évaluation est une collecte systématique d'informations à propos des activités, des caractéristiques et des effets d'un programme pour porter un jugement au sujet d'un programme, pour améliorer son efficacité et/ou pour prendre des décisions au sujet de l'avenir du programme. Elle permet d'apprécier la pertinence du programme, l'efficacité avec laquelle ses objectifs sont poursuivis, l'efficience des moyens mis en place ou sa rentabilité, ainsi que son impact. (Mongiat, 2007)
17
L'évaluation de programme v1se, sur la base d'informations pertinentes, à poser un
jugement sur une intervention afin de lui apporter des ajustements ou encore afin
d'améliorer des interventions ultérieures (Patton, 2002, dans Bouchard et Rondot, 2003).
Plusieurs travaux de recherche décrivent la démarche évaluative, toutefois, en fonction
des concepts ou encore de l'instrumentation qu'ils désirent faire connaître aux lecteurs,
celle-ci n'est pas présentée avec le même niveau de détails d'un auteur à l'autre. Au . "
milieu des années 2000, plusieurs auteurs ont contribué à définir un modèle universel axé
tout simplement sur l'acte d'évaluer, qui correspond à toute démarche évaluative. Ce
modèle, appelé la logique de l'évaluation, convient aussi à la vérification de
l'optimisation des ressources qui a la même finalité que l'évaluation de programme soit
celle porter un jugement, c'est-à-dire l'acte d'évaluer (Hurteau et Houle, 2006).
1) Description du programme: Déterminer s'il y a un programme, comprendre ses
composantes, ses fondements théoriques ainsi que son contexte.
2) Description de la problématique à l'origine de l'évaluation: Documenter les
aspects problématiques dans le programme qui sont à l'origine de la volonté de
procéder à une évaluation (question d'évaluation).
3) Opérationnalisation: Traduire les préoccupations soulevées en objectifs et critères
d'évaluation.
4) Choix stratégiques et synthèse : Définir les indicateurs et les standards qui
permettront d'évaluer l'atteinte des critères.
5) Jugement fondé: Conclure sur l'évaluation de programme sur la base des choix
stratégiques.
3.1.1 La description d'un programme
La première composante du modèle, la Description du programme, réfère aux aspects
qu'il est nécessaire de documenter afin de s'assurer qu'il y ait bien une politique, un
programme, un projet ou encore des activités qui pourront éventuellement faire l'objet
d'une évaluation (Mongiat, 2007). Elle consiste principalement à schématiser l'objet
d'évaluation en présentant le modèle logique du programme évalué. L'élaboration du
18
modèle logique du programme à évaluer est particulièrement utile afin de développer une
compréhension commune de l'objet à évaluer et de son environnement avec les parties
prenantes, soient les décideurs, les gestionnaires et les opérateurs du programme dans le
cas de la VOR.
Dans sa plus simple expression, un programme est décrit comme un système ouvert et
systémique, composé d'un ensemble de ressources (humaines, matérielles et financières)
et de moyens (interventions, activités) appelés intrants mis en œuvre à l'intérieur d'un
processus en interaction avec son environnement afin de produire les résultats souhaités
(atteinte des objectifs). Les résultats rendent compte du degré de transformation atteint
(Chen, 2005, dans Duval, 2006; Hurteau et Houle, 2006; Mongiat, ~007).
Figure 3 : Modèle logique d'un objet d'évaluation (tiré de Chen, 2005)
Un programme: un système
. } ~d~~~~~.~~ ··················· ···· .. ....... ·.· ..... . · .. .. .
:~:::~:~:::~:::::~:::::~:::::::~:::::::~:;:::::::~:::::::::::~::::::::::::::::
) :ijr-· · ~· ~ln~t~ra~n~t~s~· . ...,, < Li Pr~ce~~u~l2: c· Résultats
. . . . . . . . . . . . .::::::::::::::::::::::::.. . ..... ·.· t . . . . . . . . . . . . . ·. . .. · ... . . : , · . ... ! L _________________ R~.!f.Qê_Ç!i.Q!}. __________________ j
.. ······•
De façon sommaire, les intrants font référence aux clients et à leurs besoins qui sont
transformés en objectifs ainsi qu'aux ressources qui proviennent de l' environnement
(personnel, équipement, finances, technologie, . etc.). Le processus assure la
transformation annoncée en offrant des interventions (activités, traitements, services) à la
clientèle. Finalement, les impacts et les effets rendent compte du degré de transformation
atteint. L'environnement, quant à lui, se réfère autant aux ressources et l'ensemble des
facteurs qui imposent des balises, des contraintes au programme comme les normes
sociales, les structures politiques et économiques, la législation, les groupes de pression,
les intérêts de la société. Finalement, le système de rétroactions permet d'apporter les
ajustements requis au programme au fur et à mesure afin d'éviter qu'il ne se détériore.
19
L'évaluation de programme fait partie des moyens qui alimentent ce système de
rétroactions en fournissant de l'information pertinente et adéquate (Hurteau et Houle,
2006).
Utilisation du modèle logique
Il existe plusieurs variantes de l'utilisation du modèle logique afin d'illustrer la chaîne de
résultats d'un programme, définie comme suit par l'OCDE :
Chaîne des résultats : Suite de relations de cause à effet qui mènent d'une action de développement à l'atteinte des objectifs. La chaîne des résultats commence par la mise à disposition des ressources, se poursuit par les activités et leurs extrants. Elle conduit aux réalisations et aux impacts, et aboutit à une rétroaction. Dans quelques agences d'aide, le public concerné fait partie de la chaîne des résultats (OCDE, 2005).
Au gouvernement fédéral, le Secrétariat du Conseil du Trésor présente deux modèles
logiques différents qui illustrent la chaîne de résultats. Le premier est présenté dans une
forme fréquemment utilisée soit le modèle de type organigramme comme repris dans la
figure 5 afin de présenter le processus de VOR au Vérificateur général du Québec.
Cependant, force est de reconnaître que ce modèle ne met pas en évidence les liens avec
l'environnement, soit les zones d'influence entre les vérificateurs et les entités vérifiées
en ce qui concerne la pratique de la VOR. Dans ce deuxième modèle, présenté ci-après,
les notions de contrôle interne, de produits et services atteignant les groupes externes, de
zone d'influence externe et de facteurs externes sont clairement délimitées (SCTC, 2001).
Figure 4 : Modèle logique de type « enchaînement de résultats »
ZONE DE CONill. ÔLE
INTERNE À L"ORCAl'flS:\TION
20
ZONE D'INFLUEN<:E
EXTERNE À L'ORCANIS.o\TION
Le processus de VOR présenté ci-après est l'objet central de la présente réflexion et, pour
des fins d'utilité, seuls les activités et les résultats en lien avec les entités vérifiées sont
représentés.
Figure 5 : Processus en vérification de l'optimisation des ressources, selon le · modèle logique de type organigramme (SCTC, 2001)
Activités
Extrams
Ré su Hiis mnédiats
CoJtStitution de mandais
Straregie d'intervention du secteur minisreriel
(suje1s de VOR)
Mandat de VOR ~
' iaires RésuHiis irtennéd
RésuHiis f"n aux
.. Étude ~
Étude Suivi .---préliminaire détaillée de la VOR
Rapport Rapport VGQ Auto-évaluation d'étude (consta1s et desentires
préliminaire recommandations
~ Objectifs et crireres accep res Réponses des
Appréciation par les entires
entires du progrès
'
Sensibilisation aux problématiques de gestion relevées
Application de mesures correctives ~
Amélioration de la gestion publique
Les cases en bleu indiquent des activités ou des résultats internes-au Vérificateur général
du Québec, soit la zone de contrôle interne à 1' organisation, tandis que les cases en vert
indiquent des résultats ou des activités dans les entités vérifiées. Les flèches indiquent
l'enchaînement des résultats. Le modèle logique du processus de VOR est repris dans le
cadre d' analyse, au chapitre 4 (figure 8). Toutefois, il a été complété en s'inspirant du
deuxième modèle logique proposé par le Secrétariat du Conseil du Trésor du Canada, soit
le modèle logique de type « enchaînement de résultats ».
21
Le modèle de logique de l'administration publique
Avant de terminer la section sur la description d'un programme, le modèle logique de
l'administration publique est présenté comme un système à évaluer, soit un ensemble de
processus d'une organisation ou d'un secteur de l'administration publique qui transforme
les ressources qui lui sont allouées par l'Assemblée nationale en biens et services pour le
bien-être des citoyens. L'administration publique est l'objet d'évaluation de la VOR dont
l'objectif est de déterminer si «l'acquisition et l'utilisation de ses ressources se font en
accordant l'importance qu'il convient à l'économie, à l'efficience et à l'efficacité » et ce,
dans une perspective de développement durable (Loi sur le vérificateur général, article
28). Dans la Loi sur le vérificateur général, on entend par économie, l'acquisition, au
meilleur coût et en temps opportun, des ressources financières, humaines et matérielles,
en quantité et qualité appropriées, par efficience, la transformation, au meilleur
rendement, des ressources en biens et services et par efficacité, l'atteinte, au meilleur
degré, des objectifs ou autres effets recherchés d'un programme, d'une organisation ou
d'une activité (Loi sur le vérificateur général).
La figure 6 présente le modèle de l'administration publique selon l'axe de perception
d'un vérificateur législatif en vérification de l'optimisation des ressources.
Figure 6 : Modèle logique de l'administration publique
L'administration publique (un système à évaluer)
INTRANTS PROCESSUS
Lois, missions Processus de et programmes gestion
Budgets Processus de soutien
EXTRANTS
Reddition de Comptes
Assemblée nationale
Allocation des budgets
Bien-être des citoyens
1 J J 1 1 1 1
--------------------------------· Citoyens et entreprises
.. • • • • ••••••••••••••••••••••••••••••••••••••••
22
3.1.2 La problématique de l'évaluation
La problématique de l'évaluation consiste à cerner la rmson ou le problème qm a
déclenché l'évaluation. Elle doit tenir compte des préoccupations des gestionnaires ou des
clients qui ont demandé l'évaluation (Mongiat, 2007). Il s'agit de transposer la
problématique en question principale qui orientera la définition des objectifs d'évaluation
et ainsi de formuler le mandat d'évaluation. Cette étape permet de s'assurer de bien saisir
le contexte du projet d'évaluation ainsi que sa raison d'être.
Au gouvernement du Québec, le Secrétariat du Conseil du trésor (SCT) définit la·
question d'évaluation en termes de champs d'appréciation et de portée. Le tableau 2
reproduit ces éléments avec l'ajout d'une colonne afin de situer la VOR par rapport à
ceux-cL
Tableau 2 : Champs et portée en évaluation (SCT, 2002)
CHAMPS PORTÉE Champs & portée Évaluation de programme Évaluation de programme VOR
La pertinence ou l' évaluation des Les besoins : l'évaluation porte sur la NON (seulement en term:es de besoins ou de la raison d' être du raison d'être du programme, sur sa conformité avec les lois, programme conformité avec le besoin exprimé ou règlements, politiques et
sur les problèmes reconnus à l'origine directives) L'efficacité ou l' atteinte des Les possibilités d'action: OUI objectifs l'évaluation est centrée sur les
objectifs initiaux et la nature du programme à offrir
L'efficience ou l'évaluation du L'implantation : 1' évaluation OUI rendement qui vise à mettre en s'intéresse au fonctionnement d'un relation les résultats observés avec programme, à sa dynamique et aux les coûts engendrés ou les facteurs, tant internes qu'externes, ressources utilisées qui influent sur sa mise en œuvre ·
Le rendement: 1' évaluation OUI détermine si le coût des ressources investies justifie les bénéfices résultant du programme
L'impact ou 1' évaluation des Les résultats : l'évaluation porte sur OUI effets sur le plan de la protection l'atteinte des objectifs des ressources, et qui porte sur l ' importance des retombées d'un programme (résultats internes) L' impact ou 1' évaluation des Les effets: l'évaluation porte sur les OUI (peut être axé sur effets sur le plan social et effets et l' impact intentionnel ou non l'évaluation des mécanismes économique (résultats externes) sur la population mis en place par l' entité)
23
En VOR, la définition de la problématique est définie en phase de constitution de
mandats ou encore suite à un événement ou une circonstance qui justifie une initiative de
vérification. La problématique est toutefois revue au début de l'étude préliminaire afin de
s'assurer d'une bonne compréhension et du bien-fondé une fois celle-ci actualisée auprès
des entités concernées. Cette étape initie le processus de vérification entre les
gestionnaires des entités et l'équipe de vérification. La transparence dans l'étude de la
problématique et une bonne relation avec les gestionnaires de l'entité vérifiée contribuent
à ce que l'équipe de vérification ait une perception plus juste de la problématique et ne
peuvent qu'aider au bon déroulement de la VOR dans toutes ses phases qui suivront.
3. 1.3 L 'opérationnalisation de l'évaluation
Une fois la problématique, la ou les questions d'évaluation définies ainsi que le type
d'évaluation établi (champs et portée), l'Opérationnalisation de l'évaluation permet de
traduire ces besoins d'évaluation en langage appartenant au domaine de l'évaluation de
programme pour structurer la démarche, soit objectifs et critères (termes utilisés en
VOR).
L'objectif d'évaluation consiste en la dimension du programme sur laquelle l'évaluation
doit porter un jugement, alors gue les critères sont les points de référence sur lesquels
l'évaluateur s'appuiera pour poser un jugement objectif. Établir les critères consiste à
décider les éléments de l'objectif qui seront évalués. Dans la mesure où une évaluation
comporte plus d'un objectif, chaque objectif donnera généralement lieu à une question
d'évaluation distincte et à différents critères (Duval, 2006).
Les critères doivent être établis de manière objective et sont propres à chaque évaluation.
Ils peuvent être élaborés à partir des énoncés de politique ou de la législation ou à partir
des normes de bonnes pratiques élaborées par des instances reconnues. Pour ce faire, les
évaluateurs ou les vérificateurs doivent par exemple (INTOSAI, 2004):
• avoir une idée générale du domaine qu'ils se proposent de contrôler et connaître
les documents pertinents, juridiques et autres, ainsi que les études récentes et les
audits dans le domaine;
24
• bien connaître les motivations et la base juridique du programme ou activité
gouvernementale à contrôler et les finalités et objectifs fixés par le corps législatif
ou le gouvernement;
• connaître raisonnablement bien les attentes des principales parties prenantes et
être conscients des connaissances spécialisées de base;
• avoir des connaissances générales concernant les pratiques et l'expérience acquise
dans d'autres programmes ou activités gouvernementaux pertinents ou similaires.
En VOR, les objectifs et les critères sont validés avec les entités vérifiées lors de
l'analyse préliminaire et sont acceptés officiellement par la diffusion du rapport d'étude ~ .
préliminaire dans les entités vérifiées.
3. 1.4 Les choix stratégiques de l'évaluation
Les choix stratégiques de l'évaluation sont un préalable à la collecte de données. Ils
consistent essentiellement à identifier les indicateurs (ou variables observables) et les
standards qui serviront à porter un jugement sur l'atteinte ou · non d'un critère
d'évaluation (Hurteau, 2006). Les indicateurs sont les attributs du programme choisis
pour leur bonne représentativité de l'aspect du programme à l'évaluation et les standards
définissent les niveaux de performance acceptable (ou les normes minimales acceptables
dans l'utilisation de bonnes pratiques) servant à déterminer si les critères ont été atteints
(pondération). En VOR, ces choix sont consignés dans ce qui est appelé le programme
d'évaluation. Les standards les variables observables doivent être en lien avec les critères
(Hurteau, 2006).
En résumé, effectuer les Choix stratégiques consiste à spécifier avant la cueillette de
données, les indicateurs et les standards sur lesquels le jugement se fondera en plus
d'annoncer h~ur pondération (Mongiat, 2007).
25
[
3. 1.5 Le jugement fondé
Par nature, la vérification de résultats couvre un grand nombre de sujets et laisse la voie libre aux jugements et interprétations multiples. (INTOSAI, norme).
Construire un jugement consiste à recueillir les informations pertinentes qui seront
synthétisées en déclarations (ou constats) afin de produire un jugement. Il consiste à
appliquer le programme de vérification. Alors que la déclaration s'appuie en règle
générale sur les indicateurs (variable observable), le jugement reprend cette information
en appliquant le standard (niveau d'acceptabilité) (Ho use, 1995; Ho use et Howe, 1999;
dans Mongiat, 2007).
La dernière étape, le jugement fondé, consiste donc à synthétiser et intégrer les
informations pour produire le jugement. Le jugement doit être en lien avec les critères;
les variables observables et les standards. Un jugement est éclairant dans la mesure où il
permet d'atteindre le ou les objectifs de l'évaluation et, par le fait même, de répondre à la
question d'évaluation (Duval, 2006).
Trois pratiques sont reconnues comme nécessaires au jugement fondé (Arens, 2006; dans
Mongiat, 2007) :
• Rendre explicite la manière dont les différentes déclarations ont été synthétisées
pour produire un jugement.
• Apporter des réponses claires aux questions et objectifs d'évaluation.
• Émettre des recommandations · cohérentes avec l'aspect du programme à
l'évaluation.
En VOR, un tableau regroupant les différents éléments appuyant le jugement, soit les
constats, les causes et les conséquences, est produit et validé avec les entités vérifiées.
Les jugements sont portés à l'attention des parlementaires dans le rapport annuel du
Vérificateur général et les entités bénéficient d'une section pour donner leur version des
faits.
26
En somme, le modele logique d'évaluation peut s'appliquer à la VOR dont la base
évaluative repose essentiellement sur les notions d'objectifs et critères. La prochaine
section de ce chapitre cherche à identifier un modele de participation dans une démarche
évaluative qui pourrait aussi être applicable à la VOR.
3.2 L'évaluation participative
L'implication des parties prenantes est considérée comme une condition première afm de favoriser l'utilité des résultats d' évaluation. Entre autres, l'implication des gestionnaires et des administrateurs de haut niveau à l'étape de l'approbation du cadre d'évaluation permet de valider le choix des questions et de prendre en compte leurs besoins (Viel, 2006).
Ce chapitre aborde le deuxième volet théorique, soit la participation des parties prenantes
au processus d'évaluation ou de vérification, les parties prenantes se définissant comme
des «agences, organisations, groupes ou individus qui ont un intérêt direct ou indirect
dans l'action de développement ou dans son évaluation» (OCDE, 2002).
Évolution de la pratique évaluative
L'évaluation de programme a été reconnue par les spécialistes en recherche comme une
discipline en soi au début des années 1980, lorsque celle-ci s'est vraiment différenciée de
la recherche évaluative. Il était alors devenu évident que les besoins et les intérêts des
clients différaient sensiblement de ceux des chercheurs, l'évaluation de programme étant
une démarche d'ajustement d'un programme ou d'une intervention plus ponctuelle
orientée vers l'action tandis que l'objectif premier de la recherche est l'avancement des
connaissances (Bouchard et Rondot, 2003).·
L'évaluation était alors à sa troisième génération (1960-1990). Elle reconnaissait et
intégrait la nécessité de porter des jugements sur la valeur des programmes, ce qui
marque le début de la pratique en évaluation de programme (1960). La première
génération (1880-1930) s'çst d'abord centrée sur la mesure et la deuxième (1930-1960)
sur l'efficacité en ajoutant la description permettant d'associer les résultats au processus
qui les génère et ainsi dégager les forces et faiblesses. Les auteurs ont caractérisé ces trois
générations d'évaluation comme l' époque de l'évaluation man~gériale, en ce sens qu'elle
est faite pour et par la seule administration. Les administrateurs s'interdisaient alors
27
d'associer d'autres acteurs que l'administration responsable du programme évalué pour
garantir l'indépendance de l'évaluateur et la qualité de son jugement (01-:-05).
Vers la fin des années 1980 et début des années 1990, une quatrième génération
d'évaluation fait son apparition qui introduit le principe de négociation entre les acteurs
évalués et ceux qui demandent l'évaluation. «Elle découle d'une montée en importance
de rapport de force qui se renouvelle constamment entre les acteurs qui subissent et ceux
qui imposent» (Bouchard et Fontan, 2003). Elle vise à définir une démarche évaluative
qui consiste à répondre aux besoins et à construire avec les acteurs des programmes.
L'évaluation dite de quatrième génération s'inscrit dans une perspective constructiviste, où les acteurs sont conviés à négocier le sens de leur action dans une perspective de pluralisme et de complexité. En ce sens, elle paraît particulièrement appropriée à l'économie . sociale. L'importance accordée au contexte local où se déroule le programme ou l'action dénote de la perspective naturaliste qui caractérise également cette génération d'évaluation (Bouchard et Fontan, 1998).
Les approches de cette génération reconnaissent que les réalités vécues par les différents
acteurs peuvent être différentes et associent des tiers hors de 1' administration. Cette
4e génération marque le début de l'évaluation participative en impliquant les parties
prenantes du programme, c'est-à-dire à «l'ensemble des personnes et des groupes ayant
des intérêts dan~ son application (gestionnaires du programme, opérateurs, bénéficiaires
et société civile)» (OCDE, 2002).
Aujourd'hui, on assiste à l'émergence d'une 5e génération d'évaluation. Une approche
qui propose d'aller encore plus loin soit que la société civile «prenne le pouvoir»,
autrement dit qu'elle décide du contenu de l'évaluation, pilote elle-même les travaux, et
produise un jugement sur les actions publiques. Elle devient alors une démarche utilisée
au service de la démocratie qui signifie l'implication des citoyens au processus
d'évaluation (Fontan, 2005).
Le tableau 3 montre l'évolution de la participation de l'évaluation de programme. Il faut
toutefois noter qu'une nouvelle génération n'en remplace pas une autre, l'approche est
choisie selon les besoins et le contexte d'évaluation (Baron et Monnier, 2003).
28
Tableau 3: Les cinq générations de l'évaluation de programme, tiré de Baron et Monnier (2003)
Génération Type Qui décide du contenu Qui pilote les Qui produit le
d'évaluation de l'évaluation ? travaux jugement final ?
1ère à3ème Managériale Administration responsable de.la gestion L'équipe d'évaluation
4ième (a) Coproduite Autorités publiques Gestionnaires + L'équipe (élus ou Directeurs) Opérateurs d'évaluation
Autorités
4ième (b) Pluraliste Autorités publiques Gestionnaires + publiques+ (élus ou Directeurs) Opérateurs Société civile +
(Opérateurs)
51 ème Émancipation Société civile
Si l'on fait le parallèle avec la VOR, celle-ci a été reconnue dès le départ comme une
discipline en soi par une disposition légale en 1977, soit près de vingt ans plus tard que
1 'évaluation de programme. Sa pratique a été encadrée dès son origine par un organisme
national normatif à but non lucratif, la Fondation canadienne pour la vérification intégrée
(FCVI), créé en 1980 par le Bureau du vérificateur général du Canada afin
d'accompagner, par de la recherche et de la formation, les bureaux de vérification
législative dans la mise en œuvre de la vérification de 1' optimisation des ressources
(Cutler, 1985). Peut-être dû au fait que, dès son origine, la VOR s'est avérée une
discipline très normative, aujourd'hui, la littérature l'entourant est plus abondante en
théories normatives (portent sur l'instrumentation et les modalités, visent à établir ce que
les évaluateurs doivent faire) qu'en théories descriptives (visent à décrire et comprendre
la pratique et étudient la nature du geste posé par les évaluateurs ).
La 5e génération peut difficilement s'appliquer dans un contexte de vérification
législative, elle peut même paraître illogique dans un contexte où les parlementaires
nomment une personne désignée avec toute l'indépendance et l'autonomie qu'il se doit
afin d'être informée sur la gestion publique, par le fait même, afin d'informer les
citoyens. De plus, la figure 1 de la section précédente nous démontre que les vérificateurs
ne sont pas en lien direct avec les citoyens et la figure 5, le modèle logique de la VOR
démontre que le résultat final est l'amélioration de la gestion publique. L' amélioration du
bien-être des citoyens est une conséquence positive de la VOR liée à l'amélioration de la
gestion publique.
29
1
En VOR, la participation de l'entité est nécessaire afin de prendre connmssance des
prat~ques retenues, des risques, lacunes et enjeux qu'ils ont identifiés et des mesures
correctives qu'ils ont mises en place. Elle est essentielle à la validation des constats, '
causes et conséquences afin d'atteindre un degré d'assurance élevé, condition essentielle
de la VOR.
Description de l'évaluation participative
Par opposition à l'évaluation classique, l'évaluation participative fait référence à la participation active des personnes et institutions concernées (bénéficiaires et autres acteurs) dans un exercice d'évaluation ou de réflexion critique. C'est un processus d'apprentissage individuel et collectif de renforcement des capacités à travers lequel chacun devient conscient de ses forces et faiblesses, c'est également un outil de dialogue et de négociation (Gaye, 2008).
L'évaluation participative est considérée avant tout comme un processus social de
négociation entre les différents besoins, attentes et conceptions générales des individus
concernés. Elle vise plusieurs objectifs et présente un certain nombre d'avantages qui
peuvent être, entre autres :
• une meilleure prise en compte des préoccupations sociétales favorisant une plus
grande validité et une légitimité sociale de l'évaluation,
• une meilleure adhésion et acceptabilité des acteurs donc une prise en compte des
résultats,
• une mise en œuvre des recommandations, une contribution au débat social et à la
démocratie en donnant la parole notamment aux groupes les plus faibles,
minorités.
Ainsi, certaines évaluations participatives sont axées sur le processus d'apprentissage
(fonction formative) qui crée des conditions favorables au changement et à l'action,
d'autres sur une participation directe des parties prenantes dans la définition du cadre
d'évaluation du programme concerné. Le processus met l'accent sur des degrés variables
de participation (de faible à forte) des différents groupes de parties prenantes. Pour être
considérée comme participative, une évaluation .ne doit pas se limiter à demander aux
bénéficiaires d'un programme leur appréciation sur ses effets ou à leur restituer les
30
conclusions de l'évaluation et doit associer ces bénéficiaires à la définition des
problématiques étudiées (Baron et Monnier, 2003).
En VOR, les motifs de participation des parties prenantes ne sont pas les mêmes qu'en
évaluation dans le domaine social. La raison d'être de la VOR étant de vérifier
l'acquisition et l'utilisation des ressources (Loi sur le vérificateur général, article 28), elle
fait généralement intervenir les gestionnaires et les opérateurs des programmes plutôt que
les acteurs de la société civile qui sont les bénéficiaires du programme. L'utilisation d'un
outil de mesure de participation à une évaluation n'est valable qu'en considérant les
caractéristiques des parties prenantes selon le contexte d'évaluation ou de vérification.
Modèle de la participation en évaluation
Les chercheurs en évaluation de programme ont établi un modèle qui permet de mesurer
deux dimensions de la participation, soit la largeur et la profondeur. Ce modèle peut être
appliqué afin de définir dans quelle génération se situe une évaluation. Lorsque la
participation est faible pour les deux dimensions, l'évaluation est considérée comme de
troisième génération et lorsqu'elle est forte pour les deux, elle est considérée comme de
cinquième génération.
La largeur de la participation se mesure par la diversité des groupes d'intérêt impliqués
dans le processus sur une échelle d'un à six. La participation est considérée comme
faible, les niveaux 1 et 2, si elle inclut uniquement les décideurs et les opérateurs de mise
en œuvre de cette politique ou de ce programme, comme moyenne si elle inclut d'autres
acteurs directs, les niveaux 3 et 4, et comme forte si elle inclut des acteurs indirects, les
niveaux 5 et 6 (Baron et Monnier, 2003).
La profondeur de la participation se mesure par le degré d'implication des groupes
d'intérêt dans les différentes phases du processus. Une évaluation peut associer tous les
participants ou une partie des partiçipants aux cinq étapes principales d'un processus
évaluatif. Selon les chercheurs, la plupart des évaluations limitent leur participation à
l'étape 3 ce qui est considéré comme une profondeur de participation très faible.
31
l (
l
Cependant, certaines pratiques vont très loin en terme de participation, elles proposent
aux participants de coproduire l'évaluation de bout en bout, depuis la définition du
mandat initial, jusqu'à la formulation des recommandations, compte tenu des jugements
produits sur les réussites et les échecs de la politique.
1) À la définition en commun du contenu du projet d'évaluation les enjeux et
questions prioritaires (le mandat d'évaluation);
2) À la validation de la méthode utilisée et du programme de travail (le cahier des
charges);
3) Au pilotage et la supervision des travaux, collecte des données (participation à
une instance d'évaluation);
4) Puis à l'analyse et l'interprétation des données collectées (la production du
jugement final);
5) Et enfin, à la formulation de recommandations.
Figure 7 : Modèle de participation en évaluation de programme
Profondeur de la participation
· forte
41ème génération (a)
faible
32
Largeur dela participation
Le pnnc1pe qui découle du graphique sur la participation sera repns sur une base
théorique dans le cadre d'analyse afin d'y apporter les ajustements appropriés et l'utiliser
dans l'analyse descriptive des phases de constitution de mandats au chapitre 5.
Le Centre de recherche pour le développement international (CDRI) a développé une
typologie sur la participation des populations qui peut aussi servir à caractériser la
participation dans le 'Cadre d'une analyse. Cette typologie comprend sept échelons qui
varient du passif à l'actif et qui intègre l'interactif au dernier échelon ... . «la Recherche
participative vise surtout la participation interactive qui se situe au bas de l'échelle de la
participation » (CDRI, 2005).
Tableau 4 : Échelle de participation de I'ACDI (2005)
TYPOLOGIE EXPLICATIONS
1. Participation Les gens participent en étant informés sur ce qui est arrivé ou qui va arriver. Des passive (dite aussi représentants symboliques sont choisis mais n'ont aucun apport ou pouvoir manipulatrice) réel... La communauté subit l'action
2. Participation par Les populations participent en fournissant des réponses à des questions - le plus la fourniture souvent de nature extractive - qui leur sont posées. Les professionnels externes d'informations dirigent le processus, les résultats de a recherche ne sont ni partagés ni validés
avec la population locale
3. Participation par Les populations participent en étant consultées, et les agents extérieurs - qui consultation défmissent les problèmes et solutions - écoutent et parfois tiennent compte de
. leurs opinions. Cependant, elles ne participent pas aux prises de décisions et il n'y a aucune obligation de prendre leurs opinions en compte.
4. Participation liée à Les gens participent en fournissant des ressources, mais là encore, ils ne des avantages participent pas au processus de prise de' décisions. Les fermiers fournissent leurs matériels champs et leur temps mais ne sont pas impliqués dans l'expérimentation ou le
processus d'apprendre. C'est une forme très répandue de la « participation » dans !aMENA.
5. Participation Les gens participent en fonction d'activités prédéterminées et après que les fonctionnelle (dite stratégies des projets ainsi que leur planification aient été décidées par les aussi participation consultants externes (le plus grand risque est l'application tardive de la coopération) participation)
6. Participation Les populations participent au diagnostic des situations aboutissant à des plans interactive d'action et à la formation ou le renforcement de groupements d'intérêts. Ces
groupes s'approprient les décisions locales, en vue d'une pérennisation des activités et/ou structures mises en place. Les professionnels externes jouent le rôle de facilitateurs.
7. Auto-mobilisation Les populations participent en prenant des initiatives indépendamment de structures extérieures.
33
Quelques considérations de participation en vérification législative
En évaluation de programme, ·les communautés s'entendent sur le fait qu'il est
particulièrement utile d'impliquer divers participants/parties prenantes dans les processus
de définition de questions, de développement de méthodes, de collecte d'information et \
d'élaboration de conclusions.
Plus les parties prenantes auront le sentiment de s'approprier les résultats intellectuels du processus, plus les chances seront grandes qu'elles agissent en prenant en compte les recommandations de l'évaluation (EuropeAid, 2005).
La pratique de la VOR exige la collaboration et la coopération des entités. Cependant,
contrairement à l'évaluation de programmes où les approches choisies peuvent être très
différentes d'un projet d'évaluation à l'autre, la VOR est une discipline normative dont
chacune des phases de réalisation prévoit le rôle des entités (collecte de données,
validation, approbation ... ). Les parties prenantes n'agissent pas sur la définition et la
conduite du processus de VOR. Cependant, la VOR comporte sa part de négociation sur
la publication des constats et des conclusions. Elle est généralement axée sur la
coopération et la collaboration afin de s'assurer d'une compréhension commune à partir
des problématiques soulevées jusqu'aux résultats finaux de la VOR.
L'objectif premier en VOR n'est pas d'entreprendre un processus d'apprentissage
individuel et collectif dans les entités vérifiées. Toutefois, elle peut avoir comme effet
d'améliorer les connaissances dans les entités vérifiées en cours de processus de
vérification, résultante de la participation des entités. En ce sens, il s'agit, entre autres,
d'informer sur les objectifs, critères et standards de vérification retenus et de s'informer
sur les pratiques de gestion en cours dans l'entité ainsi que de s'assurer d'une
compréhension mutuelle de ces deux aspects.
4. Cadre d'analyse
Ce cadre d'analyse descriptive viseà définir les bases de l'analyse de la participation des
entités en phase de constitution mandats de VOR à partir de deux expériences vécues au
Vérificateur général du Québec. Les modèles théoriques de la VOR et de la participation
sont repris afin d'y situer la phase de constitution de mandats et de faire ressortir les
principales constantes.
34
4. 1 Les modèles théoriques
Modèle logique de la VOR
Le modèle logique de la VOR, présenté à la figure 5 du chapitre précédent, est repris ci
après en lui apposant les éléments permettant de délimiter 1' environnement interne et
l'environnement externe au niveau des résultats en s'inspirant du modèle logique de type
«enchaînement des résultats »(figure 4).
Figure 8 : Modèle logique du processus de VOR, relations avec les entités
&trants
Sinl<;.ie 4 'Ïilil>rTflldoll a.
so<ll!lll' mbtistlriel (sajou 4e VOR)
Réwltub ""'x
Rapporl 4'o1u4e
priU.W.m
D Activités et résultats internes
D Activités et résultats externes
RapportVGQ (c:oltStals ~•
RC:UIIIIalloladoiiS
Zone d'influence externe à l'organisation
Facteurs externes
Dans ce modèle de VOR, l'administration publique représente l'environnement externe et
l'objectif ultime (résultats finaux) du processus est l' amélioration de la gestion publique.
La barre oblique transversale divise les résultats en deux parties : zone d'influence
35
f
1
l
externe et facteurs externes. Selon ce modèle, plus on avance dans le processus, plus la
zone d'influence externe diminue et plus les facteurs externes sont présents ce qui peut
signifier que plus on avance dans le processus moins les vérificateurs (acteurs internes du
processus) ont une emprise sur l'atteinte de l'objectif ultime.
Ce modèle fait voir que la VOR n'a pas d'impact direct sur l'amélioration de la gestion
publique. Ce sont les entités qui doivent planifier les activités requises afin d'appliquer
les mesures correctives. Cependant, le Vérificateur général du Québec peut sensibiliser
les entités en cours de processus. On peut aussi noter qu'en phase de constitution de
mandats, contrairement aux autres phases, aucune relation officielle n'est édictée au
niveau des extrants entre les vérificateurs et les vérifiés et les résultats s'adressent à
l'interne. Toutefois, selon ce modèle, en phase de planification, la zone d'influence
externe est relativement importante.
Modèle de participation de la VOR
Les modèles de participation en évaluation de programme décrits précédemment ont été
peu éprouvés jusqu'à aujourd'hui relativement au modèle logique de l'évaluation et ces
modèles sont beaucoup axés sur la partièipation des citoyens. Il s'avère donc un peu
risqué de présenter un modèle et de l'utiliser comme base d'analyse afin de porter un
jugement sur le niveau de participation dans un projet ou une phase quelconque de VOR.
Ainsi, le modèle adapté ci-après vise uniquement à explorer l'applicabilité de ce type de
modèle en VOR, ce qui nous conduirait tout au plus à une hypothèse qui devrait être
vérifiée pour obtenir des résultats concluants. L'analyse des expériences au prochain
chapitre a comme objectif l'exploration.
Pour reprendre le modèle de participation en évaluation qui convient à la réalité de la
VOR, deux opérations s'avèrent utiles au préalable :
1) Définir les parties prenantes: leur niveau d'implication sert à mesurer la
profondeur de la participation;
2) Définir l'échelle de participation en fonction d'une démarche évaluative
appropriée à l'activité d'évaluation: cette échelle sert à mesurer la largeur de la
participation.
36
Les parties ,prenantes considérées en VOR pour mesurer la largeur seront catégorisées en
. fonction des rôles et responsabilités : gouvernance (administrateurs, sous-ministres, hauts
dirigeants), gestion des opérations (gestionnaires), soutien à la gouvernance (vérificateurs
internes et gestionnaires), soutien aux opérations (gestionnaires) et opérations
(employés).
Pour mesurer la participation au développement du contenu, la typologie développée par
l'Agence canadienne de développement international (ACDI) sera reprise sur une échelle
à cinq niveaux plutôt que sept. Le niveau quatre lié aux avantages matériels a été retiré
car, en VOR, les ressources que doivent fournir les entités ne caractérisent pas le niveau
de participation, elles sont plutôt la conséquence du niveau de participation. Le niveau
sept lié à l'auto-mobilisation a été retiré car, en vérification législative, le Vérificateur
général est nommé par 1 'Assemblée nationale afin de rendre compte aux parlementaires
de la gestion publique. Il ne peut substituer ce rôle à un rôle d'auto-mobilisation des
acteurs externes. Toutefois, l'administration publique s'auto-mobilise lorsqu'elle initie
ses propres processus d'évaluation et de vérification dans ses organisations.
Tableau 5: Typologie de la participation adaptée au processus de VOR
TYPOLOGIE EXPLICATIONS
1. Participation passive (dite Les fonctionnaires participent en étant informés sur ce qui est arrivé ou aussi manipulatrice) qui va arriver. Des représentants symboliques sont choisis mais n'ont
aucun apport ou pouvoir réeL L'organisation subit l'action.
2. Participation par la Les fonctionnaires participent en fournissant des réponses aux questions fourniture d'informations posées - le plus souvent de nature extractive. Les évaluateurs dirigent le
processus, les résultats ne sont ni partagés ni validés avec l'organisation.
3. Participation par Les fonctionnaires gens participent en étant consultés, et les évaluateurs -consultation qui défmissent les problèmes et solutions - écoutent et parfois tiennent
compte de leurs opinions. Cependant, les fonctionnaires ne participent pas aux prises de décisions et il n'y a aucune obligation de prendre en compte leurs opinions.
4. Participation Les fonctionnaires participent en fonction d'activités prédéterminées et fonctionnelle (dite aussi après que les stratégies des projets ainsi que leur planification aient été participation décidées par les évaluateurs (le plus grand risque est l'application tardive coopération) de la participation)
5. Participation interactive Les fonctionnaires participent au diagnostic des situations aboutissant à des plans d'action et à la formation ou le renforcement des compétences. Ainsi, ils s'approprient les décisions locales, en vue d'une pérennisation des activités et/ou structures mises en place. Les évaluateurs jouent le rôle de facilitateurs.
Source: adaptation de la typologie de l' ACDI
37
Finalement, le modèle de participation ajusté selon ces considérations permet de mesurer
la largeur et la profondeur de la participation, mais on ne peut toutefois pas caractériser
les résultats én fonction des générations d'évaluation, tel que montré dans le modèle
initial (figure 7). Toujours dans un objectif exploratoire, voici le graphique qui permettra
de mesurer la participation en phase de constitution de mandats.
Figure 9 : Modèle de participation pour la phase de constitution de mandats
forte
Profondeur de la participation
Participation au développement
du contenu (a)
Développement du .-• contenu et / 0/
,,, .. '' '
/ Nombre d~ parties / · · -prenantes représentées
,// __ /.C)/ (b)
.' . , "- ~ ' - - . - .
/
~" ··-.o~·/ Largeur dela participation
,.,,'' .
4.2 Les autres considérations
Devant l'ampleur et la complexité de l'administration publique, les sujets en VOR pouvant être très diversifiés, le Vérificateur général se retrouve devant un risque de mission. Il peut se concrétiser en ne détectant pas certains risques ou lacunes alors que de grandes brèches sont présentes dans le secteur ou dans l'organisation cible, c'est le risque de non-détection (VGQ, 1998).
Dans un mandat de constitution, l'étendue de la vérification fait partie du résultat livré.
L'analyse du secteur vise à établir, par ordre de priorités, les zones d'activité du
portefeuille ministériel qui comportent des vulnérabilités significatives. Ces zones de
vulnérabilité font immédiatement l'objet d'une analyse plus approfondie afin d'établir
1' étendue de · la vérification, soit en définir les dimensions (efficacité, efficience,
économie et durabilité), les aspects (gouvernance, projet, programme public, programme
38
de soutien, responsabilités partagées entre organismes . . . ) ainsi que la portée (un secteur,
un organisme, plus d'une entité, directions sélectionnées ... ).
La phase de constitution de mandats sert à identifier les sujets favorables à une
vérification en privilégiant les secteurs les plus susceptibles d'amélioration ainsi que la
priorisation des sujets selon leur importance relative. L'importance relative des sujets de
vérification est évaluée relativement à leur caractère significatif dans 1' organisation et
dans l'administration publique, à leur rôle décisif dans l'atteinte des résultats ·par
l'administration publique et à leur intérêt pour l'Assemblée nationale ou pour la
population.
Au Vérificateur général du Québec, les phases de constitution de mandats sont
constituées par secteur ministériel dont la structure concorde généralement avec celle du
portefeuille ministériel dans le budget de dépenses et dans certains organismes est un des
instruments qui permet au Vérificateur général de contrôler le risque de mission. Les
stratégies sectorielles et une description des sujets identifiés, élaborés en phase de
constitution, permettent d'éclairer les décisions et, ainsi, aident à contrôler le risque de
mission (VGQ, 1998).
Lors de la réalisation de ces stratégies, un des principaux facteurs qui peut augmenter les
possibilités que le risque de non-détection se concrétise est le manque de connaissances
du secteur ou de l'entité ciblé (VGQ, 1998). En principe, plus le niveau de connaissance
du secteur d'intervention est élevé moins · le risque de mission est élevé. La
communication et la collaboration des équipes à l'intérieur du bureau du Vérificateur
général ainsi que celles des entités à l'étude sont identifiées comme des moyens qui
servent à contrer le risque de non-détection, car elles favorisent une meilleure
connaissance des secteurs et des entités (VGQ, 1998).
L'analyse de contenus
La phase de constitution de mandats repose en grande partie sur t'analyse de contenu.
Dans le milieu de la recherche, l'analyse des contenus a été définie comme une technique
de recherche qui peut être adaptée à ses besoins et à ses modes d'interrogation. Il est
considéré que les diverses formes de communication orales ou écrites qui existent dans
39
toute société ou organisation présentent un potentiel énorme. Une des caractéristiques
principales associées à l'analyse de contenu est l'objectivité en ce sens qu'elle élimine
l'intervention du chercheur-intervenant auprès des sujets et diminue conséquemment le
risque de biais dû à cette interaction. De plus, elle est objective aussi par le fait que les
unités et les catégories d'analyse sont claires et précises de sorte qu'une analyse des
contenus peut être vérifiée et reproduite.
4.3 Définition des risques, enjeux et lacunes
La principale différence entre un risque, un enjeu et une lacune a trait à l'espace-temps.
Un risque concerne l'horizon le futur, un enjeu concerne le présent et une lacune ou
encore une déficience porte sur le passé mais dont les conséquences négatives se
manifestent maintenant. Les trois séries de points de la figure 10 indiquent la zone de
certitude vers laquelle on tend en phase de constitution de mandats. Les trois aspects
(risques, lacunes et enjeux) sont pris en compte. Par exemple, on peut tendre vers une
situation future tout en demeurant conservateur, le degré d'assurance (certitude) est gardé
à son niveau le plus haut possible.
Figure 10 : Risques, enjeux et lacunes
LACUNES (passé) 0
•
0
•
0
RISQUES (futur)
40
ENJEUX (présent)
Définition d'un enjeu
Les enjeux sont directement liés aux orientations de l'organisation et à l'atteinte de ses
objectifs. Selon le guide de planification stratégique adressé aux ministères et
organismes, il devrait représenter ce que les clientèles particulières peuvent perdre ou
gagner selon les stratégies mises en place par les ministères et organismes. Ils découlent
du contexte et annoncent directement les orientations proposées dans le plan stratégique.
En outre, ils spécifient les effets possibles sur le futur de l'organisation en termes de
gains ou de pertes (ministère du Conseil exécutif, 2008). Ainsi, les enjeux représentent
des gains ou des pertes possibles.
Définition du concept de déficiences appréhendées
La terminologie relative aux déficiences appréhendées est propre au contexte de
vérification de l'optimisation des ressources (VOR). Dans le cadre méthodologique, elle
est définie de la façon suivante (VGQ, 1998) :
L'existence de déficiences appréhendées est un préalable pour démontrer la pertinence d'un projet de vérification. Elle se définit comme la possibilité d'une insuffisance ou d'une incapacité, totale ou partielle, d'une entité à assurer la réalisation de résultats escomptés avec économie et efficience; à se pourvoir de systèmes et de procédés propres à garantir le contrôle, la protection et l'utilisation adéquate des fonds et autres biens publics; à se pourvoir des systèmes permettant d'évaluer l'efficacité des programmes; à assurer la conformité de ses opérations aux lois, règlements, énoncés de politique et directives; à assurer une bonne reddition de comptes.
Une déficience est jugée importante si elle concerne un sujet d'intérêt pour l' Assemblée nationale et s'il y a un risque élevé qu'elle soit un impact négatif important sur les résultats de l'entité. Le degré d'assurance à l'égard de déficiences appréhendées croît au fur et à mesure que les travaux sont exécutés. Ainsi, les déficiences qualifiées de probables à l'étape de la constitution doivent être d' un niveau de certitude beaucoup plus élevé à la fin de l'analyse préliminaire.
Définition du concept du risque
Un risque est la probabilité que survienne un évènement ayant des impacts négatifs sur
les services rendus par 1' organisme gouvernemental, ses finances et sur la confiance des
citoyens envers celle-ci et son personnel.
De façon plus adaptée à la phase de constitution de mandats, on peut définir le risque
comme la possibilité qu'un évènement, une action ou une inaction affecte la capacité de
41
{
l'organisation d'atteindre ses objectifs stratégiques. La gestion des nsques est le
recensement de l'ensemble des risques auxquels l'entité est exposée. Elle vise à définir et
à mettre en place les mesures préventives appropriées en vue de supprimer et d'atténuer
les conséquences. Ces mesures préventives constituent l'environnement de contrôle. Les
contrôles se définissant comme des mesures permettant d'atténuer l'exposition au risque
à un niveau acceptable.
Plus le pourcentage de probabilité que le risque se concrétise est inconnu, plus on tend
vers l'incertitude et un contexte inconnu.
Figure 11 : Relation entre le risque et l'incertitude
Risque et incertitude
5. Analyse des approches L'étape de sélection de sujets de vérification est cruciale, car devant la complexité et l'ampleur de l'administration publique qui comprend une vingtaine de ministères et audelà de 135 organismes, il faut choisir judicieusement les sujets de VOR à déposer devant Assemblée nationale. Les sujets peuvent concerner des fonctions, des activités ou programmes ou encore une thématique couvrant une ou plusieurs entités du secteur public (VGQ, 2009). ·
5. 1 Description de la phase de constitution de mandats
Cette phase est la première du processus de VOR et consiste à identifier les sujets
potentiels de vérification dans les ministères et organismes. Comme mentionné
42
précédemment, l'objet d'évaluation est un secteur de l'administration publique représenté
par le modèle logique défini dans le cadre théorique (figure 6). La question d'évaluation
lors de cette phase peut se résumer comme suit : Quels sont les principaux risques, enjeux
et déficiences qui méritent de faire l'objet d'une VOR au cours des cinq prochaines
années?
Lors de cette phase, une stratégie sectorielle d'intervention en VOR est réalisée. Elle se
divise généralement en trois volets : un portrait du secteur ministériel présentant les
grands erijeux, risques et lacunes qui peuvent empêcher l'atteinte des objectifs des entités
du secteur, une description sommaire des sujets de vérification pressentis qui sont
priorisés selon des critères préétablis au Vérificateur général du Québec et une analyse
plus approfondie pour les sujets de vérification jugés prioritaires.
Cette analyse descriptive qui vise à dégager les modèles de communication s'y rattachant
est centrée sur deux approches différentes de constitution de mandats qui ont été réalisées
au Vérificateur général du Québec. La première, appelée « approche par déficiences
appréhendées », est une approche traditionnelle qui fait partie des pratiques en cours
soutenues par la méthodologie de vérification de l'optimisation des ressources (VGQ,
1998) tandis que la deuxième, appelée « approche par les risques », est une expérience
pilote qui a été centrée sur une approche par les processus afin de relever les risques de
l'entité.
La démarche d'évaluation a été définie en trois phases communes aux deux approches:
1) la collecte d'informations,
2) l'analyse de l'information et
3) la sélection des sujets de vérification.
5.2 Démarche générale en constitution de mandats
La phase de constitution de mandats est généralement amorcée par une lettre
d'information aux entités ciblées afin d'obtenir leur collaboration et, de façon générale,
les dirigeants sont avisés qu'ils ne seront pas informés des conclusions de cet exercice.
43
L'identification de projets potentiels exige une bonne connaissance des affaires des
entités et du secteur concerné.
La stratégie sectorielle élaborée lors de cette phase présente, dans un premier temps, un
portrait du secteur ministériel, entre autres, la strùcture et les principales activités du
secteur, les informations financières, les risques identifiés par l'entité, les changements
significatifs et les défis des dernières années et les grand;; projets en cours. Dans un
deuxième temps, elle présente une description sommaire des sujets de vérification
proposés en indiquant leur importance relative afin d'aider à les prioriser.
5.2.1 Approche par déficiences appréhendées
Généralement, les principales activités d'une stratégie d'intervention avec l'approche par
déficiences appréhendées sont un recensement des écrits et leur analyse, une première
conclusion suivie par des entrevues afin de valider et compléter les informations. Par la
suite, on passe à l'écriture de la stratégie ainsi qu'à sa validation avec le directeur de
vérification et le directeur principal (VGQ, 1998).L'ampleur des travaux à réaliser est
influencée par la connaissance que le bureau possède sur le secteur ministériel avant de
débuterle projet.
La collecte d'informations
Lors de l'expérience qui concernait seulement une organisation, les connaissances
actualisées de l'équipe de vérification en attestation financière ainsi que leur banque
d'information ont été d'une grande utilité. La collecte d'informations a été complétée par
des recherches documentaires. Suite à une première analyse de contenu, une rencontre
avec la vérification interne de l'entité a permis d'obtenir d'autres éléments
d'informations, ainsi que des documents internes de niveau stratégique. Cette rencontre a
également permis · de valider la connaissance et la compréhension des problématiques
détectées lors de l'analyse de contenu. L'élaboration du portrait de l'organisation et le
relevé des enjeux, risques et lacunes a nécessité cette seule entrevue. Les autres entrevues
concernaient spécifiquement les sujets potentiels de vérification qui avaient été jugés
prioritaires.
44
L'analyse de l'information
Avec l'approche pàr déficiences appréhendées, l'analyse de l'information repose
principalement sur l'analyse documentaire incluant les rencontres avec l'entité. Une fois
les sujets de vérification identifiés, l'équipe de projet évalue la pertinence de chacun de
sujets ainsi que l'importance et les conséquences des déficiences qu'il présente. L'entité
peut être invitée à participer à l'identification de sujets de vérification et à donner son
avis sur l'importance qu'elle accorde à certaines enjeux, risques ou problématiques. Du
point de vue documentaire, elle peut fournir les bilans d'exercices de vérification,
d'évaluation ou encore de gestion des risques.
La sélection des sujets de vérification
Les sujets de vérification sont sélectionnés et priorisés suite à l'analyse de l'information.
L'entité ne participe pas à cette dernière étape. La stratégie d'intervention appuie la
planification interne au Vérificatepr général. Elle ri'est pas diffusée aux entités du secteur
concerné, cependant, les informations s'y trouvant .ont été validées, au besoin, avec les
entités au cours de 1' étape précédente.
Sommaire de la participation
Dans le contexte de ce mandat, la connaissance interne de 1' entité étant très élevée, la
représentativité externe a été minimale : une seule rencontre avec un seul type
d'intervenant. Cette rencontre a cependant permis de recueillir des informations
essentielles, et valider la compréhension de la problématique. La participation au .
processus se situe donc au niveau 2 pour les deux premières étapes. Toutefois, l'entité n'a
pas participé à la sélection et à la priorisation des sujets de vérification.
Tableau 6 : Sommaire de la participation- Approche par déficiences appréhendées
Étape Représentativité Participation au processus
(largeur) (profondeur)
La collecte d'informations 1 2
L'analyse de l'information 1 2
La sélection des sujets 1 1
45
1
5.2.2 Approche par les risques
Cette approche est discutée à partir d'une expérience pilote qui concernait également une
seule entité. L'approche définie reposait s'ur la participation de l'entité. Son accord a donc
été obtenu avant le démarrage du projet. L'objectif était de ~éterminer de façon la plus
efficiente possible les composantes de 1' entité qui comportent des risques importants afin
de sélectionner des sujets de vérification. Globalement, l'approche a consisté à évaluer le
niveau de risque des processus et à sélectionner les processus plus risqués, ce qui conduit
à la sélection de sujets de vérification (VGQ, 2007). Le niveau préalable de connaissance
de cette entité était très faible.
La collecte d'informations
Les sources d'information pour la recherche documentaire sont les mêmes que pour
l'approche par déficiences appréhendées, mais la façon de collecter les données auprès
des entités a été très différente. La collecte de donnée a été centrée, en majeure partie, sur
des entrevues avec les dirigeants et les gestionnaires de l'entité et avec certains
organismes externes. Les entrevues ont été planifiées pour chacun des processus de
gouvernance, de soutien et d'affaires, ce qui compte au total une quinzaine de processus.
L'analyse de l'information
L'approche par les risques prévoit une évaluation du niveau de risque pour chacun des
processus de l'entité. Une première entrevue avec les hauts dirigeants a permis d'obtenir
des éléments afin d'identifier les risques stratégiques. Par la suite, une analyse de risques
a été réalisée par processus suite à une entrevue pour chacun des processus. Une
participation active du gestionnaire responsable du processus a été nécessaire afin
d'identifier les facteurs .de risques, les risques et la sévérité des impacts. La phase
d'analyse s'est terminée par la sélection de sujets de vérification selon la priorité
accordée aux risques identifiés. L'entité ne participe pas à la sélection des sujets de
vérification.
La sélection des sujets de vérification
La validation des risques, des facteurs de risques et des conséquences s'est fait de façon
46
1
1
r
1
1
1
1
1
formelle avec les entités et a comporté plusieurs intervëntions avec les gestionnaires
responsables de processus si nécessaire. (VGQ, 2007).
Sommaire de la participation
Dans le contexte de cette expérience, la connaissance interne de l'entité était peu élevée.
L'approche a été définie sur la base d'une forte représentativité de l'entité. Tous les
gestionnaires de processus ayant été rencontrés, la rèprés~ntativité est maximale. Lors des
rencontres les gestionnaires ont été invités à exprirner leur opinion et les résultats
d'analyses des risques identifiés pour chacun des processus ont été validés avec l'entité.
La participation au processus se situe donc · au niveau 2 pour les deux premières étapes.
Toutefois, l'entité n'a pas participé à la sélection et à la priorisation des sujets de
vérification.
Tableau 7 : Sommaire de la participation -Approche par les risques
Étape Représentativité Participation au processus
(largeur) (profondeur)
La collecte d'informations 5 3
L'analyse de l'information 5 3
La sélection des sujets 1 1
5.3 Sommaire des résultats de la participation des entités
La définition de la portée de la vérification divergeait passablement pour ces deux
expériences. L'approche par déficiences appréhendées était axée sur la récupération dès
connaissances internes en limitant le plus possible le nombre d'entrevues avec l'entité.
Quant à l'approche par les risques, l'organisation sélectionnée pour l'expérience pilote ne
bénéficiait pas d'une connaissance interne au Vérificateur général du Québec ce qm
laissait toute la latitude voulue pour obtenir les informations auprès des entités.
La collecte d'informations
Avec 1' approche par déficiences appréhendées, les travaux de constitution portaient
principalement sur une analyse documentaire tandis que l'approche par les risques était
47
basée sur la participation de 1' ensemble des gestionnaires responsables des processus.
Ainsi, l'écart de représentativité (largeur) entre les deux approches est important.
Toutefois, pour les deux entités, la participation au processus (profondeur) ne dépasse pas
le niveau de la consultation.
L'analyse de l'information
Avec l'approche par déficiences appréhendées, la participation de l'entité pour l'analyse
de l'information est généralement peu requise. Au cours de ce mandat, elle s'est située au
niveau de la fourniture d'information). Le déroulement de cette étape a été très différent
avec l'approche par les risques. Cette étape était essentiellement basée sur la consultation
de l'ensemble des gestionnaires de processus.
La sélection des sujets de vérification
Pour les deux approches, les entités ne participent pas à la prise de décision (niveau 1 :
largeur et profondeur).
Représentation dans le modèle de participation
Les résultats ont été transposés dans le modèle sur la participation.
!orto
faible
Figure 12 : La représentation de la participation
ProfondB\.D" de la participatton
Participation au développement
du contenu (a)
48
Largeur dela participation
Approche par + les risques
Approche par + déficiences appréhendées
On peut noter que la profondeur de la participation est relativement faible pour les deux
expériences. Les entités ont été plus sollicitées dans l'approche par les risques, mais cette
participation demeure toujours à un niveau consultatif.
L'écart est majeur au niveau de la largeur étant donnéqu'initialement l'approche par les
risques est basée sur une consultation qui couvre tous les processus de l'organisation
(gestionnaires) incluant le processus de gouvernance (dirigeants).
Cette analyse exploratoire visait à vérifier si le modèle de participation en évaluation de
programme pouvait s'appliquer à la VOR. En adaptant les échelles de participation au
contexte de la VOR, celui-ci présente des résultats à partir desquels on peut sûrement tirer
quelques conclusions valables. Cependant, le modèle de référence qui permettrait de
déterminer si une VOR s'approche des standards de bonne pratique n'est pas défini pour
cette discipline. Sans cette base de référence, l'utilisation du modèle doit se limiter à
comparer une situation par rapport à l'autre.
6. Conclusion
Cette réflexion exploratoire a fait le . parallèle entre 1' évaluation de programme et la
vérification de l'optimisation des ressources sur deux axes : la démarche évaluative et
1' évaluation participative. Pour chacun des deux axes, un modèle a été reconduit pour des
fins exploratoires. Il s'est avéré que le modèle logique de la VOR a pu être appliqué à la
VOR sans adaptation majeure. Ce modèle, relativement connu et éprouvé, est défini
depuis une vingtaine d'années et est fréquemment utilisé par les spécialistes en
évaluation. Toutefois, dans le contexte de cette analyse, il a été opportun d'ajouter une
variante, soit un indicatif utilisé au gouvernement du Canada permettant de systématiser
la lecture des relations entre les intervenants internes et externes au processus.
La difficulté est plus grande lorsqu'on essaie d'appliquer un modèle de participation à la
V OR. Le modèle participatif en évaluation de programme est centré principalement sur la
participation des citoyens et des acteurs du programme dans la société civile ce qui
convient plus aisément aux évaluations de la pertinence, des effets et des impacts. La
vérification de l'optimisation des ressources est plutôt axée sur l'environnement interne
49
de l'administration publique. Les échelles de mesure de modèle de participation ne sont
pas universelles. Elles ont dû être définies spécifiquement pour la VOR dans le cadre de
cette analyse exploratoire. Cependant, une fois les échelles définies, les résultats
comparatifs de la participation au processus se sont avérés intéressants. L'application du
modèle permet de bien situer les zones participatives plus ou moins actives.
Cette réflexion exploratoire a également permis de mieux cerner les types d'évaluation de
programme qui sont plus près de la VOR, entre autres l'évaluation par les processus et
celle de la mise en œuvre. Ainsi, 1' application de modèles de participation à ces types
d'évaluation serait peut-être plus directement compatible avec la VOR.
Finalement, 1' analyse exploratoire de la phase de constitution de mandats a permis de
démontrer que lors de cette phase la participation de l'entité peut passer du passif au
moins passif et du moins passif à l'actif. La connaissance au préalable de l'entité étant le
facteur influençant de façon majeure le besoin de collaboration avec les entités.
L'utilisation des modèles logiques pour décrire la VOR a fait ressortir ou tout simplement
confirmer que, comme pour la plupart des évaluations de programmes, la responsabilité
et l'application de mesures correctives suite aux recommandations sont entièrement sous
le contrôle des entités vérifiées. Une coopération et une collaboration constructive entre
les deux parties revêtent alors une importance majeure pour l'amélioration de la gestion
publique.
50
Bibliographie
AUBEL, Judi, Ph. D. (2000). Manuel d'évaluation Participative de Programme: Comment assurer la participation des exécutants de programme dans le processus d'évaluation, une publication conjointe du Programme d'Appui Technique à la Survie de l'Enfant et des Services de Secours Catholique, deuxième édition, [document pdf] , Maryland, 104 pages, http://www.childsurvival.com/documents/french manual.pdf
BARON, Gaëlle et MONNIER, Eric (2003). Une approche pluraliste et participative : Coproduire l'évaluation avec la société civile, [document pdf], Paris, Revue« Informations sociales», n° 110, septembre 2003, 7 pages, http:/ /www .eureval. fr/IMG/pdf/Evaluation participative. pdf
BEAUREGARD, Claude et DUMAS, Alain (2004), Le Vérificateur général du Québec et la vérification de l'optimisation des ressources: évolutions et perspectives, Claude Beauregard est professeur à l'ENAP; Université du Québec et Alain Dumas est professeur à la retraite, Administration publique du Canada, volume 47, no 2 (été 2004), pp. 207-224
BOUCHARD, Marie et FONTAN, Jean-Marc, (1998). L'évaluation sociale à la loupe: problématique et méthodologie de l'évaluation des entreprises et organisations de l'économie sociale, [document pdf], Québec, Université Laval, Colloque du Centre interuniversitaire de recherche, d'information et d'enseignement sur les coopératives, Congrès de l'ACF AS, mai 199 8, http:/ /www .omd. uqam.ca/publications/telechargements/ evaluation. pdf
BOUCHARD, Marie et FONTAN, Jean-Marc (2003). L'évaluation de l 'économie sociale, quelques enjeux de conceptualisation et de méthodologie, assisté en recherche par Élaine Lac han ce et Laurent Fraisse, [document pdf], Québec, Centre de recherche sur les innovations sociale (CRISES), 52 pages, Collection internationale, no IN0301, https://depot.erudit.org/bitstrearn/001341 dd/l/IN030 1.pdf
BOUCHARD, Marie et RONDOT, Sylvie, (2003) . L'évaluation en économie sociale. Petit aidemémoire, [document pdf], Québec, Université du Québec à Montréal, l'Alliance de recherche universités-communautés en économie sociale (ARUC), 35 pages, http://www.aruces. uqam.ca/Portals/0/cahiers/R -03-2003. pdf
BRUNET, John, CA et ROCKY, J. Dwyer, PhD (2004). La reddition de comptes et le Centre canadien des armes à feu, [en ligne], Secrétariat du Conseil du trésor du Canada, 16 septembre 2004, http://www.tbs-sct.gc.ca/evaVdev/perf-rend/pp001 f.asp, (page consultée le 12 décembre 2009)
CRDI, Centre de recherches pour le développement international (2005), Notes Méthodologiques sur la Participation, Canada, 8 pages http://www.idrc.ca/uploads/user-S/1149153 7151Approche Pmiicipative texte.pdf
CNE, Conseil national de l'évaluation (2003). Une évaluation à l'épreuve de son utilité sociale, Yves Cousquer (Président) et Véronique Chanut (Rapporteur général), [document pdf], Paris, Rapport d'activité 2000-2002, 339 pages, http:/ /lesrapports.ladocumentationfrancaise. fr/BRP /034000 152/0000 .pdf
51
. CÔTÉ, Sébastien (2000). Les méthodes qualitatives en évaluation de programme, présenté comme travail de synthèse du séminaire de lecture comme exigence partielle du cours POL 7800, UQAM, 15 mai 2000, 29 pages · http://www.unites.uqam.ca/grieva/les%20panels/seminaire.rtf
COMITÉ PERMANENT DES COMPTES PUBLICS, Ottawa (2007), Comité permanent des comptes publics (PACP ) : Historique, 39e législature, 1ère session. 3 avril 2006 - 14 septembre 2007
CUTLER Maurice (1985), Fondation canadienne pour la vérification intégrée, directeur des Communications au bureau du Vérificateur général à Ottawa, 3 pages, http://www2.parl.gc.ca/Sites/LOP/Infoparl/3/4/03n4 80f Cutler.pdf
DUBOIS, Raymond (1990). «Responsabilité vis-à-vis le Parlement: rôle du vérificateur général», Revue parlementaire canadienne, printemps 1990, p. 28, 29
DUNBERRY, Alain et PÉCHARD, Céline (2007). L'évaluation de la formation dans l'entreprise: État de la question et perspectives, Centre interuniversitaire de recherche sur la science et la technologie (CIRDEP), Université du Québec à Montréal (UQAM), 49 pages
DUVAL, Julie (2006). Étude descriptive des pratiques évaluatives : recours à la logique de l'évaluation, mémoire présenté comme exigence partielle de la maîtrise en éducation, UQAM, 92 pages
EuropeAid, La coopération pluripartite au service du développement (2005). Synthèse des commentaires du panel d'experts sur le manuel d'évaluation d'EuropeAid, réunion qui tenue au début du mois de septembre 2005, http://ec.europa.eu/europeaid/evaluationlmethodology/examples/assessment fr.pdf
FCVI, La Fondation canadienne pour la vérification intégrée (1991), Comment on peut influencer une vérification intégrée, Guide du client, 22 pages, ISBN 0-919557-35-X
FONTAN, Jean-Marc et LACHANCE, Hélène (2005). Pour une évaluation de cinquième génération, [document pdf], Québec, Cahiers de l'ARUC-ÉS, UQAM, 29 pages, C-18-2005, http:/ /www.aruc-es. uqam.ca/Portals/0/cahiers/C-18-2005 .pdf
GAYE, Ibrahima (2008). Culture et pratique de l'évaluation au Sénégal : quel enjeu pour les politiques publiques? Qu'est ce que l'évaluation participative?, Ecole Nationale d'Economie . Appliquée, Directeur des Etudes et des Stages, [document pdf], Dakar, Sénégal, Journées Sénégalaises de l'Évaluation (JSE)- Première édition, 28-30 Octobre 2008, http://evaluation.francophonie.org/IMG/pdf/Evaluation des politiques publiques a la lumi ere du nouveau contexte de developpement - WORD - DIA.pdf
HURTEAU, Marthe. 1991. «Les choix stratégiques en évaluation de programme ».L'évaluation . en action, n 1,1991, 41p
HURTEAU, Marthe et HOULE, Sylvain (2006), L'évaluation de programme : Réflexion concernant la théorie de l'évaluation, [document pdf], Université du Québec à Montréal, Canada, XIXème Colloque ADMEE Europe - Université de Luxembourg. (sept. 2006), http://www.evaluationcanada.ca/distribution/200609 hurteau marthe houle sylvain.pdf
52
{
1
\
l l
ICCA, Institut canadien des comptables agrées (normes), Normes de certification, [en ligne], Knatio, Collections Normes et recommandations de l'ICCA, http://www.knotia.ca, (page consultée le 12 décembre 2009)
INTOSAI, Organisation Internationale des Institutions Supérieures de Contrôle des Finances Publiques (2004) Lignes directrices pour la mise en œuvre des normes de vérification de résultats Normes et lignes directrices relatives à la vérification de résultats basées sur les Normes de contrôle etl'expérience pratique de l'INTOSAI, [document PDF], Stockholm, 171 pages, http://intosai.connexcc-hosting.net/blueline/upload/ limplgperfàudf.pdf
MBADINGA, Jean-Louis (2005). La vérification d'optimisation des ressources comme instrumént d'évaluation de l'efficacité des programmes publics ?, Candidat Ph.D. en Administration Publique ENAP, Présentation au Colloque de la Société québécoise de l'évaluation de programme (SQEP), Québec.
Ministère du Conseil exécutif (2008). Planification stratégique : Phase III : Choix stratégiques, [en ligne], http://www.mce.gouv.qc.ca/planification-strategique/phases/choix.html, (page consultée le 12 décembre 2009)
MONGIAT, Stéphanie (2007). Analyse des pratiques en évaluation de programme: les éléments qui contribuent à formuler un jugement fondé, mémoire présenté comme exigence partielle de la maîtrise en éducation, UQAM, 96 pages.
MORJN, Danielle (1999), La vérification de l'optimisation des ressources dans les gouvernements du Canada et du Québec, Volume 1, thèse présentée comme exigence partielle du doctorat en administration publique, Québec, ENAP, 504 pages, Danielle Morin est la première ressortissante avec un diplôme de doctorat à l'ENAP
OCDE, Organisation de coopération de développement économique, Groupe de travail sur l'évaluation de l'aide (2002). Glossaire des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats, [document PDF], 40 pages, http:/ /www.oecd.org/ dataoecd/29/21 /2 7 54804 .pdf
SAS/COQ, Conseil en Organisation, Qualité et Risk Management (2009), Informations pratiques sur les systèmes qualité ISO 9001 V2000, [en ligne], France http://www.sascoq.com/Index.asp (page consultée le 12 décembre 2009)
SCT, Secrétariat du Conseil du trésor (2002). L'évaluation de programme: Document destiné aux dirigeants et dirigeantes de ministères et organismes, Sous-secrétariat aux politiques budgétaires et aux programmes, Québec, 34 pages, ISBN : 2-550-39080-6
SCT, Secrétariat du Conseil du trésor (2004), Le processus budgétaire au gouvernement du Québec, Budget des dépenses, Document de référence, ISBN 2-550-42042-X
SCTC, Secrétariat du Conseil du Trésor du Canada (2001). Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats, [document pdf], Ottawa, 46 pages, http://www.tbs-sct.gc.ca/eval/pubs/RMAF-CGRRJRMAF Guide f.pdf
THCU, The Health Communication Unit (2002). Évaluation des programmes de promotion de la santé, v2.0, [document pdf], Toronto, Université de Toronto, 97 pages,
53
http://www.thcu.ca/infoandresources/publications/EVAL French Master Wk bk v2 content feb.02 format aug.03.pdf
VGC, Vérificateur général du Canada (2003). Notes pour une allocution par Sheila Fraser, FCA, Vérificatrice générale du Canada, 18 mars 2003, [en ligne], Institut d'administration publique du Canada, Section de la région de la capitale nationale, Ottawa, http://www.oagbvg.gc.ca/internet/Francais/sp 2003 0318 f 23 851.html, (page consultée le 12 décembre 2009)
VGC, Vérificateur général du Canada (2006). Un peu d 'histoire, [en ligne], Ottawa, Bureau du vérificateur général du Canada, dans L'organisation, http://www.oag-bvg.gc.ca/internet/ Francais/au fs f 821.html, (page consultée le 12 décembre 2009)
VGQ, Vérificateur général du Québec (1988), La vérification législative au Québec, notes historiques et biographies, Québec, Bibliothèque de l'Assemblée nationale, 20 pages, pp. 3-6
VGQ, Vérificateur général du Québec (1998), Manuel de vérification, Tome IV, Vérification de l 'optimisation des ressources, [document interne au Vérificateur général du Québec], dernière mise à jour en septembre 2000, chapitres 4100 et 4215
VGQ, Vérificateur général du Québec (2009a), Plan stratégique 2009-2012: Au service de l 'Assemblée nationale pour une saine gestion des fonds publics, dans la perspective d 'un développement durable, Renaud Lachance, le vérificateur général du Québec, [document pdf], Québec, http://www.vgq.gouv.qc.ca/fr/organisation/Fichiers/Plan-strat.pdf
VGQ, Vérificateur général du Québec (2009b), Vérification législative :. Vérification de l'optimisation des ressources, [en ligne], Québec, · le Vérificateur général du Québec, [document pdf], Québec, http://www.vgq.qc.ca/fr/fr organisation/fr verif- legislative.aspx# Verification de 1 optimisation des ressources, (page consultée le 12 décembre 2009)
VIEL, André (2006). L'utilité de l'évaluation : des conditions favorables et des pratiques variées, Télescope, vol. 0 13, printemps-été 2006, p. 31-36
54