1

1

"ÉCOLE NATIONALE D' ADMINISTRATIO~ PUBLIQUE

Les modèles théoriques de l'évaluation de programme appliqués à la vérification de l'optimisation des ressources

en vérification législative

Par Marthe Baril

Rapport de travail dirigé présenté à l'ENAP, en vue de l'obtention de la maîtrise en administration publique

option pour analystes (Évalt.tation de programmes)

Québec

4 mars 2010

r

1

1

1 l

0 0 C\J

c:r.: > ·~ \()

N

TABLE DES MATIÈRES

AVANT -PROPOS ............ ..... ............................ .................. ............... ............................... 5

1. Introduction ............ ............................ ............................................. ~ ......................... 6

2. Contexte de l'étude ................................................................................................... 9

2 .. 1 La vérification de 1' optimisation des ressources ...... ............................................... 9

2.2 Le cadre de gestion axée sur les résultats .............................................................. 12

2.3 La notion de programme dans le contexte gouvernemental.. .................. ...... ... ...... 14

2.4 L'approche par les processus ........... ..... .............. .... ... .. ....... .................................. 16

3. · Cadre théorique ....................................................................................................... 17

3.1 La logique de l' évaluation de programme ... ....................... .. ....... ..... .. ..... ............. 17 3.1.1 La description d'un programme ....................................................... .. ....... 18 3 .1.2 La problématique de l'évaluation .............................................................. 23 3 .1.3 L'opérationnalisation de l'évaluation ........................................................ 24 3.1.4 Les choix stratégiques de l'évaluation ....................................................... 25 3.1.5 Le jugement fondé ... ..... .... ... ... .. ... ..... .... .... .. ....... .. ............................. ........ 26

3.2 L'évaluation participative ..................................................................................... 27

4. Cadre d'analyse ....................................................................................................... 34

4.1 Les modèles théoriques ............... .. ... ............................... ~ ........ .... ...... ..... ...... ..... ... 35

4.2 Les autres considérations ...................................................................................... 38 .

4.3 Définition des risques, enjeux et lacunes .............................................................. 40

5. Analyse des approches ................................. .... .... ................................................... 42

5.1 Description de la phase de constitution de mandats .............................................. 42

5.2 Démarche générale en constitution de mandats ...... .. ........... ............... ..... ... .......... 43 5.2.1 Approche par déficiences appréhendées ........................ ...... ... .... .... ... ....... 44 5.2.2 Approche par les risques .... ................ ....... .................... .. ... ...... ... .. ..... ... .... 46

5.3 Sommaire des résultats de la participation des entités .................... ..... .. ..... .......... 47

6. Conclusion ................................................................................... ~ ........................... 49

2

1

1

1

TABLE DES TABLEAUX

Tableau 1 :Origine de la vérification de l'optimisation des ressources au Canada ...... ... 10

Tableau 2: Champs et portée en évaluation (SCT, 2002) ...................... .......................... 23

Tableau 3 :Les cinq générations de l'évaluation de programme ..... ............ ....... .. ... ........ 29

Tableau 4 :Échelle de participation de l' ACDI (2005) ........... ... .......... .... .... .. .......... ........ 33

Tableau 5 :Typologie de la participation adaptée au processus de VOR ....... .... ............. 37

Tableau 6: Sommaire de la participation- Approche par déficiences appréhendées ...... 45

Tableau 7: Sommaire de la participation- Approche par les risques .......................... .... 47

TABLE DES FIGURES

Figure 1 : Le contexte de la participation des entités en VOR ...... ... .... .... ...... .................. 12

Figure 2: La VOR et l' évaluation de programme au gouvernement du Québec .......... ... 14

Figure 3 :Modèle logique d'un objet d'évaluation (tiré de Chen, 2005) .. ..... ....... ....... .... 19

Figure 4 :Modèle logique de type« enchaînement de résultats » .... ........ ...... .................. 20

Figure 5 :Processus en vérification de l'optimisation des re'ssources ... .... .. ...... .... ........... 21

Figure 6 :Modèle logique de l'administration publique .. ... .... .... ..... .. .... ....... ... ........ ...... .. 22

Figure 7 : Modèle de participation en évaluation de programme ... .... .. ......... .. ... .. ............ 32

Figure 8 : Modèle logique du processus de VOR, relations avec les entités ...... ......... ..... 35

Figure 9 :Modèle de participation pour la phase de constitution de mandats ..... ......... .... 38

Figure 10: Risques, enjeux et lacunes ............... .. ...... ....... ... : ..... ..... ...... ..... ..... .................. 40

Figure 11 :Relation entre le risque et l'incertitude ............................... ............ ............... 42

Figure 12 : La représentation de la participation ....... .. ... ........ .. .. ........ .............. ...... .......... 48

3

LISTE DES ABRÉVIATIONS

ACDI

CDRI

ENAP

FCVI

GAR

INTOSAI

OCDE

SCT

SCTC

THCU

VGC

VGQ

VOR

Agence canadienne de développement international

Centre de recherche pour le développement international

École nationale de 1' administration publique

Fondation canadienne pour la vérification intégrée

Gestion axée sur les résultats

Organisation Internationale des Institutions Supérieures de Contrôle des Finances Publiques

Organisation de coopération et de développement économiques

Secrétariat du Conseil du trésor du Québec

Secrétariat du Conseil du trésor du Canada

The Health Communication Unit

Vérificateur général du Canada

Vérificateur général du Québec

Vérification de 1' optimisation des ressources

4

1

(

AVANT-PROPOS

La présente étude constitue la deuxième phase d'un travail dirigé, dont la première a été

accomplie au sein de l'institution du Vérificateur général du Québec (VGQ) en

vérification de l'optimisation des ressources (VOR). Elle s'inscrit dans le cadre du

programme de maîtrise à l'École nationale de l'administration publique (ENAP),

concentration «Évaluation de programmes». L'objectif de cette démarche académique

était d'acquérir des connaissances dans une discipline, connexe à la fonction de

vérification de l'optimisation des ressources (VOR), dans le cadre de la vérification

législative.

La ·première partie du travail dirigé a consisté à produire une stratégie sectorielle

d'intervention en VOR. Les stratégies sectorielles visent à identifier des sujets de

vérification sur un horizon de cinq ans et sont utilisées à des fins internes au Vérificateur

général du Québec. Pour des raisons confidentielles, la stratégie d'intervention n'apparaît

pas dans le présent rapport, mais elle a toutefois été validée par les responsables à

l'interne et a été accomplie dans les délais prévus. Cette partie pratique a débuté en avril

2008; pour se terminer en octobre 2008.

La deuxième partie, qui fait l'objet du présent rapport, a porté sur une réflexion

exploratoire théorique des fondements de la VOR et de l'évaluation de programme

centrée sur la participation des parties prenantes au processus de vérification ou

d'évaluation. Cette partie a été réalisée au cours de l'année 2009, sous la direction de M.

Moktar Lamari, professeur à l'ENAP. Ses précieux conseils ont su éclairer ma réflexion '

et contribuer à l'atteinte de mon objectif premier, soit d'appliquer les connaissances

acquises en évaluation de programine à la vérification de l'optimisation des ressources.

5

1. Introduction

Le Vérificateur général du Québec est au service de l'Assemblée nationale pour favoriser,

par la vérification, le contrôle parlementaire sur les fonds et autres biens publics, au

bénéfice des citoyennes et citoyens du Québec. Il réalise trois types de vérification:

i) l'attestation des comptes publics, ii) la vérification de l'optimisation des ressources et

iii) la vérification de conformité aux lois, règlements, politiques et directives. Les deux

premières sont déposées à 1' Assemblée nationale en deux rapports distincts tandis que la

vérification de conformité fait plus rarement l'objet d'un dépôt spécifique, elle est plutôt

accomplie à travers les deux autres. L'intention première du Vérificateur général du

Québec est de susciter des améliorations en matière de gestion publique (VGQ, 2009a).

La présente étude est centrée sur l'analyse de la participation des parties prenantes au

processus de vérification de l'optimisation des ressources (VOR). Sur le site officiel du

Vérificateur général du Québec, la VOR est définie comme suit:

La vérification de l'optimisation des ressources vise à faire la lumière sur les moyens que les gestionnaires mettent en place pour administrer, de façon économique, efficiente et efficace, les ressources qui leur sont confiées. La vérification de l'utilisation des subventions accordées par les organismes publics et les organismes du gouvernement de même que la vérification de la mise en application de la Loi sur le développement durable font également partie de ce type de vérification. Ces missions de vérification ne mettent toutefois pas en cause le bien-fondé des énoncés de politique et des objectifs des différents programmes (VGQ, 2009b ).

Ainsi, la VOR consiste à apprécier la gestion exercée à tous les mveaux dans

l'Administration en s'assurant que les organismes gouvernementaux gèrent leurs

ressources avec un juste souci d'économie, d'efficience et de l'environnement et qu'ils

ont mis en place les moyens pour évaluer l'efficacité des programmes et rendre compte

de leurs actes.

Cette étude utilise, comme base descriptive, les fondements théoriques de l'évaluation de

programme en raison de sa similitude avec la VOR. Elle définit un cadre théorique qui

sert à dégager certains principes qui caractérisent la VOR en appliquant des modèles

reconnus en évaluation de programme. Elle vise aussi à fournir une base de réflexion

pour l'analyse descriptive des approches de constitution de mandats relatées au dernier

6

chapitre. La VOR fait partie des pratiques évaluatives. Le cadre théorique a été élaboré à

partir de l'évaluation de programme. La VOR et la participation des parties prenantes au

processus seront reprises afin d'asseoir les modèles appropriés au contexte de la VOR.

La VOR est devenue une pratique courante à partir de la fin des années 1970 tandis que,

selon plusieurs auteurs, 1' évaluation a commencé dans les années 1880 et en est

maintenant à sa cinquième génération. La première génération (1880-1930) était centrée

sur la mesure du succès au moyen de divers tests. Essentiellement, elle permettait

d'observer l'écart entre les objectifs visés et les résultats atteints. La deuxième génération

(1930-1960) a ajouté à la mesure la description qui permet d'associer les résultats au

processus qui les génère et de mieux les mettre en contexte. C'est à partir de la troisième

génération (1960-1990) que les évaluateurs ont reconnu et intégré la nécessité de porter

des jugements sur la valeur des programmes, la valeur des objets à évaluer. On inclut

donc des éléments de jugement, soient des critères et des standards préétablis afin

d'apprécier les programmes (Guba et Lincoln, 1989, dans Bouchard et Rondot, 2003;

Côté, 2000; Dunberry et Péchard, 2007).

À partir de la quatrième génération (1990), le processus évaluatif connaît une évolution

vers une plus grande préoccupation à construire avec les acteurs du programme afin de

répondre à leurs besoins, c'est le début de l'évaluation participative. Ce qui compte alors

n'est plus l'objectivité en soi, mais la possibilité de construire avec les parties prenantes

une vision consensuelle de manière à faire avancer les choses. Les chercheurs en

évaluation de programme s'intéressent alors aux théories participatives et analysent les

conditions et les formes possibles de participation au processus d'évaluation. Dès lors, ils

considèrent qu'idéalement, la coopération et la collaboration des acteurs ne devraient pas

se limiter à 1' étape de réalisation, car plus les acteurs collaborent tôt dans le processus,

plus ils sont sensibilisés à résoudre les problématiques qui découlent d'une évaluation et

peuvent ainsi contribuer à améliorer la qualité de la gestion gouvernementale. Leur

participation favorise une meilleure compréhension mutuelle de la problématique et une

meilleure disposition à tenir compte des recommandations (Guba et Lincoln, 1989, dans

Dunberry et Péchard, 2007).

7

En VOR, dans les années 1990, en parallèle avec l'évaluation, la préoccupation d'une

association plus étroite et d'une participation plus active des entités vérifiées était

également signalée par des institutions de recherche reconnues. D'un côté, l'Organisation

de coopération et de développement économiques (OCDE) faisait observer qu'il était de

plus en plus admis que 1 'indépendance des vérificateurs ne devrait pas être synonyme

d'isolement et que ceux-ci devaient être étroitement associés aux processus de réforme

(modernisation) (Morin, 1999). D'un autre côté, la Fondation canadienne pour la

vérification intégrée· (FCVI) publiait un guide, s'adressant aux dirigeants et aux

gestionnaires des entités vérifiées, qui soulignait comment les organisations publiques

devraient éclairer les décisions à prendre dans le cadre d'une VOR et comment s'assurer

d'en tirer le meilleur parti possible (FCVI, 1991).

Le cadre théorique de cette étude est centré sur les modèles qui supportent l'évaluation de

programme et qui s'appliquent à la VOR. Les modèles décrits sont appliqués au

processus de VOR et ajustés si nécessaire selon les limites et contraintes propres à la

VOR.

Par la suite, ces fondements théoriques sont utilisés afin d'analyser une phase du

processus de VOR soit la phase de constitution de mandats. Cette phase sert au repérage

des sujets de vérification selon des critères prédéfinis. Elle est importante, car elle

contribue à contrer le risque principal de mission en vérification législative, soit le risque

de non-détection. Ce risque se concrétise si certains risques ou lacunes alors que de

grandes brèches sont présentes dans le secteur ou dans l'organisation cible ne sont pas

détectés (VGQ, 1998). Lors de cette phase, l'élaboration d'une stratégie d'intervention

par secteur ministériel assure une couverture de l'ensemble de l'administration publique

et permet de décrire un portrait d'ensemble pour chacun des secteurs.

Finalement, la conclusion permet d'achever cette réflexion en faisant un retour sur les

modèles théoriques afin de conclure sur leur application en VOR.

8

2. Contexte de l'étude L'indépendance est considérée comme la pierre angulaire de la vérification législative et est reconnue comme un facteur essentiel au développement de la confiance du public et au maintien de l'objectivité et de l'intégrité (VGC, 2003; VGQ, 2009).

Cette section permet de situer la VOR et l'évaluation de programme dans le contexte

gouvernemental. Dans un premier temps, elle décrit les origines de la VOR au Canada.

Dans un deuxième temps, elle s'attarde aux principes de la gestion axée sur les résultats

afin d'introduire les notions de programmes et de résultats dans ce cadre de gestion et

termine finalement par une courte description d'une approche en évaluation de

programme qui s'harmonise avec la vérification de l'optimisation des ressources.

2. 1 La vérification de l'optimisation des ressources

Ses origines

La fonction de vérification au gouvernement du Canada existe depuis plus de deux siècles

et prend ses racines dans le système parlementaire britannique. La première mission de

vérification a été instituée en 1763, par la Grande-Bretagne, suite ~ la Proclamation

royale (Comité permanent des comptes publics, 2007). L'indépendance par rapport au

gouvernement (pouvoir exécutif) a été accordée peu après la Confédération. C'est alors

que la fonction de vérificateur général est devenue une fonction législative.

Par la suite, une longue période s'est écoulée avant que les parlementaires élargissent la

fonction de vérification législative au-delà de la vérification des aspects financiers.

Finalement, c'est en 1977, face à l'augmentation des dépenses gouvernementales, que le

vérificateur général du Canada a été mandaté de vérifier les pratiques de gestion et que la

vérification de l'optimisation des ressources a pris racine au Canada. Les provinces ont

suivi dans les dix années suivantes et, au Québec, elle est devenue effective en 1985 par

l'adoption de la Loi sur le vérificateur général. Les législateurs mettaient alors à leur

disposition un moyen permettant d'examiner le service rendu pour l'argent dépensé

(Cutler, 1985). Le tableau 1 présente plus en détail l'origine de la VOR au Canada.

9

1 .

Tableau 1 :Origine de la vérification de l'optimisation des ressources au Canada

1867

1878 et 1883

1931- 1934

1952- 1970

1977 et 1985

Au Québec

(Vérificateur général du Québec, 1988)

Après la Confédération, le Vérificateur des Comptes publics est nommé Auditeur et obtient le rang de sous-ministre sous la direction du Département du Trésor qui vérifiait et attestait les comptes publics.

En 1883, l'Auditeur acquiert son indépendance par rapport au gouvernement. Nommé l'Auditeur de la province, il a la responsabilité de la vérification avant et après paiement, de recommander des règlements qu'il soumet à l'approbation du Bureau de la trésorerie et de faire rapport à l'Assemblée nationale.

En 1933-1934, l'Auditeur de la province commence à signaler qu'avec la vérification avant et après paiement, il se trouvait mal placé pour contester le bien-fondé de la dépense.

En 1970, adoption de la Loi sur l'administration financière qui dégage l'Auditeur de la province de toute intervention avant paiement. Cette loi lui donne le nom de Vérificateur général et lui assure son indépendance (relève directement de l'Assemblée nationale et mandat non renouvelable de dix ans). Il est remplacé par le Contrôleur des finances comme agent d'autorisation des dépenses.

Le 20 juin 1985, adoption de la Loi sur le vérificateur général a élargi la portée de la vérification législative au Québec, pour y inclure la fonction de vérification de l'optimisation des ressources (VOR).

10

Au Canada

(Comité permanent des comptes publics, 2007)

Après la Confédération, nouvelle loi qui assure le maintien de la Commission de vérification (présidée par le Vérificateur des Comptes publics) qui vérifiait et attestait les comptes publics.

En 1878, création du poste de vérificateur général, premier vérificateur général indépendant du Canada. Auparavant, cette fonction était assumée par un haut fonctionnaire, le sous-ministre des Finances.

/

En 1931, les doubles fonctions de surveillance de l'octroi des fonds et de vérification des dépenses scindées en deux postes distincts. Le vérificateur général demeurait responsable de la vérification postérieure indépendante des dépenses gouvernementales, tandis que le nouveau contrôleur du Trésor était chargé de surveiller l'octroi de fonds.

En 1952, la Loi sur le revenu consolidé et la vérification qui a été remplacée par la Loi sur la gestion des finances publiques ne modifiait pas substantiellement les responsabilités respectives du vérificateur général et du contrôleur du Trésor. À partir de 1958, l'examen du rapport du vérificateur général est devenu une activité sessionnelle régulière du Comité permanent des comptes publics.

En 1977, modification de. la Loi sur le vérificateur général afin de redéfmir et d'élargir le mandat du Bureau du vérificateur général. En plus d'évaluer les états financiers du gouvernement, le Bureau devait effectuer des vérifications de conformité et de l'optimisation des ressources portant sur les pratiques de gestion.

Son contexte

Au gouvernement du Québec, comme dans la plupart des systèmes parlementaires, le

VGQ est au service de la législature et vise à améliorer la gestion gouvernementale. En

VOR, il intervient sur deux axes principaux soit l'optimisation des ressources et la

reddition de comptes. D'une part, il informe les parlementaires sur les problématiques

dans l'administration gouvernementale (VGQ, 2009) et contribue à améliorer la gestion

publique en adressant aux ministères et organismes des recommandations axées sur les

principes de bonne gouvernance et de saine gestion axée sur les aspects de l'économie, de

l'efficience et d'efficacité. D'autre part, il s'assure que les organismes gouvernementaux

assument leur responsabilité de reddition de compte de façon adéquate et en conformité

avec la loi et il s'assure qu'ils appliquent des mesures correctives suite aux

recommandations du Vérificateur général.

La participation des entités

La collaboration des entités est jugée essentielle pour que les vérificateurs parviennent à

des conclusions pertinentes et fiables et pour que les entités vérifiées puissent

comprendre les choix importants pouvant être faits par les vérificateurs et en tirer les

meilleurs avantages possible. Cependant, les vérificateurs doivent toujours garder en

veilleuse les règles propres à la vérification législative (indépendance, autonomie et

objectivité) dans les modes de collaboration qu'ils choisissent (FCVI, 1991). Ils doivent

être conscients que la position qui est conférée au Vérificateur général du Québec par la

loi impose certaines balises qui peuvent influencer les choix de participation et,

conscients également, que même si la Loi sur le vérificateur géneral oblige les entités a fournir les renseignements demandés par le vérificateur, cet article n'est pas pour autant

un gage d'échanges constructifs.

Accès aux renseignements. Les organismes, entreprises, bénéficiaires, associations ou personnes visés à l'article 47 et leurs -administrateurs, dirigeants et employés doivent, sur demande, permettre au vérificateur général de prendre communication et de tirer copie des registres, rapports, documents ou données, quelle qu'en soit la forme, relatifs aux travaux du vérificateur général en vertu de la loi, et lui fournir tout renseignement et explication s'y rapportant Application. S'applique malgré la Loi sur l'accès aux documents des organismes publics et la protection des renseignements personnels (chapitre A-2.1). Primauté. Prévaut sur une disposition d'une loi générale ou spéciale postérieure

11

qui lui serait contraire à moins que cette dernière loi n'énonce expressément s'appliquer malgré le présent article (Loi sur le vérificateur général, article 48).

La figure 1 présente le contexte de la participation des organismes gouvernementaux au

processus de VOR. Les flèches bidirectionnelles montrent les liens de collaboration entre

les vérificateurs et les organismes vérifiés. La flèche pointillée des biens et services sert à

démontrer qu'une VOR ne peut avoir un effet direct sur les biens et services. Les

ministères et organismes doivent d'abord apporter les correctifs nécessaires afin

d'améliorer la gestion de leur programme.

1

Figure 1 : Le contexte de la participation des entités en VOR

, -------------------------------------------------~ ...

ASSEMBLÉE NATIONALE

_______ ,..

Contrôle parlementaire

Plan d'action Commission de l'administration

publique SUIVI du Plan d'action

RapportVOR

GOUVERNEMENT

POUVOIR EXÉCUTF

Premier ministre et son conseil de_s ministres

1

~

ADMINISTRA llO PUBLIQUE

Ministères et organismes

t f

c Cil Cil

0 ~ ~ !5 ;:l '= ~ :e !3 ~ liS ~ "C "C iii .'Q:i

~ > m > "C •Q)

5 :0 Q)

E E .... -g 0

(/) 0

·~ .... u u .c w Q) Q)

0 ,, 0:: .. VGQ

- '

. +

POPULATION

Bien-être des citoyens

Biens et services : -- ------- -- -

2.2 Le cadre de gestion axée sur les résultats

Pour rendre des comptes à la population, les élus doivent être bien informés et, pour cela,

disposer de mécanismes d'informations fiables. La Loi sur l'administration publique,

adoptée en 2000, a établi de nouvelles règles de gouvernance qui met en avarit le principe

de la transparence de 1' administration publique et accroît son imputabilité devant

l'Assemblée nationale. Elle reconnaît ainsi le rôle des parlementaires et l'intérêt des

12

citoyens à l'égard de l'action gouvernementale en obligeant les ministères et organismes à

rendre compte publiquement de leur gestion. L'Organisation de coopération et de

développement économiques définit la gestion axée sur les résultats comme« une

stratégie de management orientée vers la performance, la réalisation d'extrants et

l'accomplissement d'effets directs » (OCDE, 2002). Traditionnellement1 la reddition de

compte était centrée sur les intrants de ressources, les activités et les extrants,

aujourd'hui, avec la gestion axée sur les résultats, l'accent est m1s sur les résultats

(Brunet et Rocky, 2004).

Ce cadre de gestion gouvernementale est fondé sur une démarche continue de

planification et de reddition de comptes qui prévoit une évaluation des résultats sur la

base de suivi d'indicateurs. Ce suivi par indicateur est un processus qui se distingue de

l'évaluation de programme, qui est aussi considérée comme une fonction essentielle afin

d'appuyer, de façon ponctuelle, l'ensemble de la démarche de gestion axée sur les

résultats. L'évaluation de programme fait donc partie de l'instrumentation mise à la

disposition de la gouvernance afin d'appuyer la prise de décision. Elle peut, entre autres,

mettre en perspective certaines circonstances qui justifient la révision d'un plan

stratégique comme celle des objectifs ou de la raison d'être du programme. Elle vise à

accroître la productivité de l'État et à renforcer les saines pratiques de gestion au sein de

l'administration publique. Bref, en servant de soutien à la prise de décision, elle permet

d'assurer une meilleure affectation des ressources, d'évaluer et d'expliquer l'impact réel

d'un programme par rapport à ce qui était souhaité (SCT, 2002).

Elle [l'évaluation de programme] analyse les liens entre les ressources, les processus, les produits et les résultats afm d'expliquer la performance obtenue. L'évaluation de programme permet de prendre le recul nécessaire pour proposer des ajustements adéquats aux actions mises de l'avant afin d'atteindre les objectifs des plans stratégiques des ministères et des organismes (OCDE, 2002).

La figure 2 vise à schématiser les rapports entre la vérification de l'optimisation des

ressources (VOR), la gestion axée sur les résultats (GAR) et l'évaluation de programme

dans le contexte du gouvernement du Québec. Ainsi, la gestion axée sur les résultats et

. l'évaluation de programme sont au cœur de l'administration publique et sont toutes les

deux au service de la gouvernance ministérielle. Lorsqu'un dépôt à l'Assemblée nationale

est requis, celui-ci se fait par l'intermédiaire du ministre responsable. Du côté de la VOR,

13

comme montré précédemment dans la figure 1, le Vérificateur général du Québec (VGQ)

est au service direct de 1' Assemblée nationale et ne fait pas partie du gouvernement.

Figure 2 : La VOR et l'évaluation de programme au gouvernement du Québec

r ........................................................................................................................................... , ........................... l : . • GOUVERNEMENT

ASSEMBLÉE POUVOIR EXÉCUTF NATIONALE i'<:"' .............. Premier ministre et

Pouvoir législatif son conseil des ministres

Reddition de comptes

~

ADMINrSTRATION PUBLIQUE

GOUVERNANCE Hauts dirigeants

••••••••••••·•••• • GAR Évaluation de programme

Action gouvernementale

VGQ

VOR

POPULATION

Bien-être des citoyens

Biens et services

2.3 La notion de programme dans le contexte gouvernemental

La notion de programme à évaluer dans la pratique de l'évaluation de programme, qui est

plutôt axée sur une vue systémique comme nous le .verrons au chapitre suivant, est

différente de la notion de programme à la base de 1' action gouvernementale. Ainsi, dans

tout exercice d'évaluation ou de vérification, l'objet à évaluer peut aborder l'action

gouvernementale sous différents points de vue. Cette section présente trois notions

complémentaires du programme dans l'administration publique.

14

Un programme budgétaire

Les activités du programme budgétaire contribuent à la réalisation d'objectifs touchant différents champs d'intervention et pour lesquels il est possible de rendre compte (SCT, 2004).

Dans le système parlementaire britannique, le consentement parlementaire est obligatoire

pour tout prélèvement et toute dépense des deniers publics. Avec la Loi sur

l'administration publique, adoptée en 2000, le cadre de gestion axée sur les résultats est

devenu la base du processus budgétaire. Les orientations, les priorités et les objectifs du

ministère et des organismes énoncés dans les plans stratégiques sont maintenant

consignés dans le budget des dépenses et sont associés à 1' allocation des budgets qui sont

votés par programme. Un programme voté, qui peut aussi être appelé programme

budgétaire, comprend généralement plus d'un programme public et peut être associé aux

processus de soutien aux activités de l'organisation. Les budgets alloués par programmes

budgétaires sont les intrants de ressource de l'administration publique.

Les programmes publics

[Un programme public est] un ensemble cohérent, organisé et structuré, d'objectif, d'activités et de ressources humaines, matérielles, informationnelles et financières, regroupés pour offrir des produits ou des services particuliers en vue de satisfaire les besoins d'une population déterminée (Groupe des responsables de l'analyse et de l'évaluation de programme, dans MBADINGA, 2005)

Les programmes publics sont les éléments centraux de l'administration gouvernementale.

Ils découlent généralement d'un politique publique qui annonce les orientations et les

priorités du gouvernement dans un domaine d'intérêt. Ils précisent les stratégies adoptées

afin de mettre en application ces orientations et ces priorités du gouvernement. Le

programme mobilise des ressources consenties à l'intérieur d'un programme budgétaire

afin d'en assurer son développement, son fonctionnement et son évolution et offrir un

bien ou un service aux citoyens. Le programme public doit atteindre des résultats en

fonction d'objectifs préalablement établis (extrants, effets et impacts), à une utilisation

optimale des ressources de l'Administration gouvernementale (transformation des intrants

en extrants) et à une reddition de comptes qui porte sur la performance dans l'atteinte des

résultats (Loi sur l'administration publique, article 2).

15

Les processus de soutien (programme interne)

Les processus de support (appelés également processus de soutien) représentent une activité interne, généralement transversale, permettant d'assurer le bon fonctionnement de l'entreprise. Les processus de support sont généralement transparents pour le client (bénéficiaire). Il peut s'agir par exemple de la gestion financière, de la gestion des ressources humaines, la formation, etc. (Norme ISO 9001,2000, dans SAS/COQ, 2009) .

Les processus de soutien correspondent à toute fonction transversale en support direct ou

indirect à la gestion des programmes publics, comme la vérification interne, l'évaluation

de programme ou les services administratifs des ministères et organismes. Il concerne

également les services-conseils et tout autre service de soutien offerts par les organismes

centraux comme le ministère du Conseil exécutif, le ministère des Services

gouvernementaux et le Secrétariat du Conseil du Trésor. Les processus de soutien sont

essentiellement axés vers des résultats internes à 1' administration publique.

2.4 L'approche par les processus

Dans le chapitre qui traite le cadre théorique, la logique de l'évaluation sera décrite dans

un concept élargi, soit celui de l'acte d'évaluer qui est associé aux différentes approches

d'évaluation de programme. Certaines approches sont concentrées sur l'évaluation des

. extrants, d'autres sur les processus, d'autres sur les effets et les impacts. La pratique de la

VOR est exercée dans un cadre plus limité. Ainsi, contrairement à l'évaluation de

programme qui peut effectuer une évaluation au profit des différents commanditaires

(bailleurs de fonds, responsables du programme, gouvernance ministérielle ... ), la VOR a

toujours le même client, l'Assemblée nationale. De plus, la VOR est essentiellement axée

sur la vérification des pratiques exercées au sein de 1' administration gouvernementale.

Elle est plutôt centrée sur 1' évaluation des processus de 1' organisation (gouvernance,

gestion, soutien et affaires) et sur les extrants . (biens et services). Elle s'intéresse

également aux effets et aux impacts des programmes sur la population, toutefois, la

préoccupation est · généralement tournée vers les moyens mis en place par les

organisations vérifiées afin de mesurer l'efficacité des programmes (VGQ, 2009b).

Parmi les approches proposées en évaluation de programme, l'approche par processus est

une des approches recommandées lorsque 1' évaluation est fortement axée sur la

16

dynamique interne d'un programme et ne vise pas à mesurer les effets du programme.

Dans cette approche, un processus est défini comme 1' ensemble des opérations internes

d'un programme, d'une intervention ou d'un groupe d'activités permettant l'atteinte des

objectifs visés. La notion de programme est toujours utilisée, cependant, l'emphase est

davantage mise sur les façons de faire, soit les processus. Cette approche évalue les

opérations qui portent autant sur les activités formelles, et donc attendues, que sur les

activités informelles, qui parfois ont également des impacts importants. Par des

observations et des entrevues avec les acteurs du programme, il devient possible d'en

évaluer les failles et les causes de réussite ainsi que les secteurs devant être préservés ou

modifiés (Bouchard et Rondot, 2003). Ainsi, l'évaluation des processus, qui s'applique

généralement aux programmes publics en cours, peut servir à examiner les procédures et

les tâches liées à la prestation d'un programme et les services offerts pour d'apporter les

améliorations nécessaires (THCU, 2002).

3. Cadre théorique

Ce troisième chapitre est centré sur les théories descriptives de l'évaluation de

programme qui résultent, pour la plupart, de recherches et d'études sur la pratique de

1' évaluation dans le domaine social où 1' évaluation est une pratique courante, telle en

éducation, en santé et services sociaux ainsi qu'en économie sociale. Une première partie

jette les bases du modèle logique de l'évaluation de programme qui seront, par la suite,

transposées au processus de VOR. Les auteurs qui ont développé ce modèle l'ont associé

spécifiquement à un processus d'évaluation, c'est-à-dire à l'acte d'évaluer. La deuxième

partie est centrée sur l'évaluation participative qui est également associée à la VOR dans

le but de définir un modèle permettant de décrire les caractéristiques de la participation

en VOR.

3.1 La logique de l'évaluation de programme

L'évaluation est une collecte systématique d'informations à propos des activités, des caractéristiques et des effets d'un programme pour porter un jugement au sujet d'un programme, pour améliorer son efficacité et/ou pour prendre des décisions au sujet de l'avenir du programme. Elle permet d'apprécier la pertinence du programme, l'efficacité avec laquelle ses objectifs sont poursuivis, l'efficience des moyens mis en place ou sa rentabilité, ainsi que son impact. (Mongiat, 2007)

17

L'évaluation de programme v1se, sur la base d'informations pertinentes, à poser un

jugement sur une intervention afin de lui apporter des ajustements ou encore afin

d'améliorer des interventions ultérieures (Patton, 2002, dans Bouchard et Rondot, 2003).

Plusieurs travaux de recherche décrivent la démarche évaluative, toutefois, en fonction

des concepts ou encore de l'instrumentation qu'ils désirent faire connaître aux lecteurs,

celle-ci n'est pas présentée avec le même niveau de détails d'un auteur à l'autre. Au . "

milieu des années 2000, plusieurs auteurs ont contribué à définir un modèle universel axé

tout simplement sur l'acte d'évaluer, qui correspond à toute démarche évaluative. Ce

modèle, appelé la logique de l'évaluation, convient aussi à la vérification de

l'optimisation des ressources qui a la même finalité que l'évaluation de programme soit

celle porter un jugement, c'est-à-dire l'acte d'évaluer (Hurteau et Houle, 2006).

1) Description du programme: Déterminer s'il y a un programme, comprendre ses

composantes, ses fondements théoriques ainsi que son contexte.

2) Description de la problématique à l'origine de l'évaluation: Documenter les

aspects problématiques dans le programme qui sont à l'origine de la volonté de

procéder à une évaluation (question d'évaluation).

3) Opérationnalisation: Traduire les préoccupations soulevées en objectifs et critères

d'évaluation.

4) Choix stratégiques et synthèse : Définir les indicateurs et les standards qui

permettront d'évaluer l'atteinte des critères.

5) Jugement fondé: Conclure sur l'évaluation de programme sur la base des choix

stratégiques.

3.1.1 La description d'un programme

La première composante du modèle, la Description du programme, réfère aux aspects

qu'il est nécessaire de documenter afin de s'assurer qu'il y ait bien une politique, un

programme, un projet ou encore des activités qui pourront éventuellement faire l'objet

d'une évaluation (Mongiat, 2007). Elle consiste principalement à schématiser l'objet

d'évaluation en présentant le modèle logique du programme évalué. L'élaboration du

18

modèle logique du programme à évaluer est particulièrement utile afin de développer une

compréhension commune de l'objet à évaluer et de son environnement avec les parties

prenantes, soient les décideurs, les gestionnaires et les opérateurs du programme dans le

cas de la VOR.

Dans sa plus simple expression, un programme est décrit comme un système ouvert et

systémique, composé d'un ensemble de ressources (humaines, matérielles et financières)

et de moyens (interventions, activités) appelés intrants mis en œuvre à l'intérieur d'un

processus en interaction avec son environnement afin de produire les résultats souhaités

(atteinte des objectifs). Les résultats rendent compte du degré de transformation atteint

(Chen, 2005, dans Duval, 2006; Hurteau et Houle, 2006; Mongiat, ~007).

Figure 3 : Modèle logique d'un objet d'évaluation (tiré de Chen, 2005)

Un programme: un système

. } ~d~~~~~.~~ ··················· ···· .. ....... ·.· ..... . · .. .. .

:~:::~:~:::~:::::~:::::~:::::::~:::::::~:;:::::::~:::::::::::~::::::::::::::::

) :ijr-· · ~· ~ln~t~ra~n~t~s~· . ...,, < Li Pr~ce~~u~l2: c· Résultats

. . . . . . . . . . . . .::::::::::::::::::::::::.. . ..... ·.· t . . . . . . . . . . . . . ·. . .. · ... . . : , · . ... ! L _________________ R~.!f.Qê_Ç!i.Q!}. __________________ j

.. ······•

De façon sommaire, les intrants font référence aux clients et à leurs besoins qui sont

transformés en objectifs ainsi qu'aux ressources qui proviennent de l' environnement

(personnel, équipement, finances, technologie, . etc.). Le processus assure la

transformation annoncée en offrant des interventions (activités, traitements, services) à la

clientèle. Finalement, les impacts et les effets rendent compte du degré de transformation

atteint. L'environnement, quant à lui, se réfère autant aux ressources et l'ensemble des

facteurs qui imposent des balises, des contraintes au programme comme les normes

sociales, les structures politiques et économiques, la législation, les groupes de pression,

les intérêts de la société. Finalement, le système de rétroactions permet d'apporter les

ajustements requis au programme au fur et à mesure afin d'éviter qu'il ne se détériore.

19

L'évaluation de programme fait partie des moyens qui alimentent ce système de

rétroactions en fournissant de l'information pertinente et adéquate (Hurteau et Houle,

2006).

Utilisation du modèle logique

Il existe plusieurs variantes de l'utilisation du modèle logique afin d'illustrer la chaîne de

résultats d'un programme, définie comme suit par l'OCDE :

Chaîne des résultats : Suite de relations de cause à effet qui mènent d'une action de développement à l'atteinte des objectifs. La chaîne des résultats commence par la mise à disposition des ressources, se poursuit par les activités et leurs extrants. Elle conduit aux réalisations et aux impacts, et aboutit à une rétroaction. Dans quelques agences d'aide, le public concerné fait partie de la chaîne des résultats (OCDE, 2005).

Au gouvernement fédéral, le Secrétariat du Conseil du Trésor présente deux modèles

logiques différents qui illustrent la chaîne de résultats. Le premier est présenté dans une

forme fréquemment utilisée soit le modèle de type organigramme comme repris dans la

figure 5 afin de présenter le processus de VOR au Vérificateur général du Québec.

Cependant, force est de reconnaître que ce modèle ne met pas en évidence les liens avec

l'environnement, soit les zones d'influence entre les vérificateurs et les entités vérifiées

en ce qui concerne la pratique de la VOR. Dans ce deuxième modèle, présenté ci-après,

les notions de contrôle interne, de produits et services atteignant les groupes externes, de

zone d'influence externe et de facteurs externes sont clairement délimitées (SCTC, 2001).

Figure 4 : Modèle logique de type « enchaînement de résultats »

ZONE DE CONill. ÔLE

INTERNE À L"ORCAl'flS:\TION

20

ZONE D'INFLUEN<:E

EXTERNE À L'ORCANIS.o\TION

Le processus de VOR présenté ci-après est l'objet central de la présente réflexion et, pour

des fins d'utilité, seuls les activités et les résultats en lien avec les entités vérifiées sont

représentés.

Figure 5 : Processus en vérification de l'optimisation des ressources, selon le · modèle logique de type organigramme (SCTC, 2001)

Activités

Extrams

Ré su Hiis mnédiats

CoJtStitution de mandais

Straregie d'intervention du secteur minisreriel

(suje1s de VOR)

Mandat de VOR ~

' iaires RésuHiis irtennéd

RésuHiis f"n aux

.. Étude ~

Étude Suivi .---préliminaire détaillée de la VOR

Rapport Rapport VGQ Auto-évaluation d'étude (consta1s et desentires

préliminaire recommandations

~ Objectifs et crireres accep res Réponses des

Appréciation par les entires

entires du progrès

'

Sensibilisation aux problématiques de gestion relevées

Application de mesures correctives ~

Amélioration de la gestion publique

Les cases en bleu indiquent des activités ou des résultats internes-au Vérificateur général

du Québec, soit la zone de contrôle interne à 1' organisation, tandis que les cases en vert

indiquent des résultats ou des activités dans les entités vérifiées. Les flèches indiquent

l'enchaînement des résultats. Le modèle logique du processus de VOR est repris dans le

cadre d' analyse, au chapitre 4 (figure 8). Toutefois, il a été complété en s'inspirant du

deuxième modèle logique proposé par le Secrétariat du Conseil du Trésor du Canada, soit

le modèle logique de type « enchaînement de résultats ».

21

Le modèle de logique de l'administration publique

Avant de terminer la section sur la description d'un programme, le modèle logique de

l'administration publique est présenté comme un système à évaluer, soit un ensemble de

processus d'une organisation ou d'un secteur de l'administration publique qui transforme

les ressources qui lui sont allouées par l'Assemblée nationale en biens et services pour le

bien-être des citoyens. L'administration publique est l'objet d'évaluation de la VOR dont

l'objectif est de déterminer si «l'acquisition et l'utilisation de ses ressources se font en

accordant l'importance qu'il convient à l'économie, à l'efficience et à l'efficacité » et ce,

dans une perspective de développement durable (Loi sur le vérificateur général, article

28). Dans la Loi sur le vérificateur général, on entend par économie, l'acquisition, au

meilleur coût et en temps opportun, des ressources financières, humaines et matérielles,

en quantité et qualité appropriées, par efficience, la transformation, au meilleur

rendement, des ressources en biens et services et par efficacité, l'atteinte, au meilleur

degré, des objectifs ou autres effets recherchés d'un programme, d'une organisation ou

d'une activité (Loi sur le vérificateur général).

La figure 6 présente le modèle de l'administration publique selon l'axe de perception

d'un vérificateur législatif en vérification de l'optimisation des ressources.

Figure 6 : Modèle logique de l'administration publique

L'administration publique (un système à évaluer)

INTRANTS PROCESSUS

Lois, missions Processus de et programmes gestion

Budgets Processus de soutien

EXTRANTS

Reddition de Comptes

Assemblée nationale

Allocation des budgets

Bien-être des citoyens

1 J J 1 1 1 1

--------------------------------· Citoyens et entreprises

.. • • • • ••••••••••••••••••••••••••••••••••••••••

22

3.1.2 La problématique de l'évaluation

La problématique de l'évaluation consiste à cerner la rmson ou le problème qm a

déclenché l'évaluation. Elle doit tenir compte des préoccupations des gestionnaires ou des

clients qui ont demandé l'évaluation (Mongiat, 2007). Il s'agit de transposer la

problématique en question principale qui orientera la définition des objectifs d'évaluation

et ainsi de formuler le mandat d'évaluation. Cette étape permet de s'assurer de bien saisir

le contexte du projet d'évaluation ainsi que sa raison d'être.

Au gouvernement du Québec, le Secrétariat du Conseil du trésor (SCT) définit la·

question d'évaluation en termes de champs d'appréciation et de portée. Le tableau 2

reproduit ces éléments avec l'ajout d'une colonne afin de situer la VOR par rapport à

ceux-cL

Tableau 2 : Champs et portée en évaluation (SCT, 2002)

CHAMPS PORTÉE Champs & portée Évaluation de programme Évaluation de programme VOR

La pertinence ou l' évaluation des Les besoins : l'évaluation porte sur la NON (seulement en term:es de besoins ou de la raison d' être du raison d'être du programme, sur sa conformité avec les lois, programme conformité avec le besoin exprimé ou règlements, politiques et

sur les problèmes reconnus à l'origine directives) L'efficacité ou l' atteinte des Les possibilités d'action: OUI objectifs l'évaluation est centrée sur les

objectifs initiaux et la nature du programme à offrir

L'efficience ou l'évaluation du L'implantation : 1' évaluation OUI rendement qui vise à mettre en s'intéresse au fonctionnement d'un relation les résultats observés avec programme, à sa dynamique et aux les coûts engendrés ou les facteurs, tant internes qu'externes, ressources utilisées qui influent sur sa mise en œuvre ·

Le rendement: 1' évaluation OUI détermine si le coût des ressources investies justifie les bénéfices résultant du programme

L'impact ou 1' évaluation des Les résultats : l'évaluation porte sur OUI effets sur le plan de la protection l'atteinte des objectifs des ressources, et qui porte sur l ' importance des retombées d'un programme (résultats internes) L' impact ou 1' évaluation des Les effets: l'évaluation porte sur les OUI (peut être axé sur effets sur le plan social et effets et l' impact intentionnel ou non l'évaluation des mécanismes économique (résultats externes) sur la population mis en place par l' entité)

23

En VOR, la définition de la problématique est définie en phase de constitution de

mandats ou encore suite à un événement ou une circonstance qui justifie une initiative de

vérification. La problématique est toutefois revue au début de l'étude préliminaire afin de

s'assurer d'une bonne compréhension et du bien-fondé une fois celle-ci actualisée auprès

des entités concernées. Cette étape initie le processus de vérification entre les

gestionnaires des entités et l'équipe de vérification. La transparence dans l'étude de la

problématique et une bonne relation avec les gestionnaires de l'entité vérifiée contribuent

à ce que l'équipe de vérification ait une perception plus juste de la problématique et ne

peuvent qu'aider au bon déroulement de la VOR dans toutes ses phases qui suivront.

3. 1.3 L 'opérationnalisation de l'évaluation

Une fois la problématique, la ou les questions d'évaluation définies ainsi que le type

d'évaluation établi (champs et portée), l'Opérationnalisation de l'évaluation permet de

traduire ces besoins d'évaluation en langage appartenant au domaine de l'évaluation de

programme pour structurer la démarche, soit objectifs et critères (termes utilisés en

VOR).

L'objectif d'évaluation consiste en la dimension du programme sur laquelle l'évaluation

doit porter un jugement, alors gue les critères sont les points de référence sur lesquels

l'évaluateur s'appuiera pour poser un jugement objectif. Établir les critères consiste à

décider les éléments de l'objectif qui seront évalués. Dans la mesure où une évaluation

comporte plus d'un objectif, chaque objectif donnera généralement lieu à une question

d'évaluation distincte et à différents critères (Duval, 2006).

Les critères doivent être établis de manière objective et sont propres à chaque évaluation.

Ils peuvent être élaborés à partir des énoncés de politique ou de la législation ou à partir

des normes de bonnes pratiques élaborées par des instances reconnues. Pour ce faire, les

évaluateurs ou les vérificateurs doivent par exemple (INTOSAI, 2004):

• avoir une idée générale du domaine qu'ils se proposent de contrôler et connaître

les documents pertinents, juridiques et autres, ainsi que les études récentes et les

audits dans le domaine;

24

• bien connaître les motivations et la base juridique du programme ou activité

gouvernementale à contrôler et les finalités et objectifs fixés par le corps législatif

ou le gouvernement;

• connaître raisonnablement bien les attentes des principales parties prenantes et

être conscients des connaissances spécialisées de base;

• avoir des connaissances générales concernant les pratiques et l'expérience acquise

dans d'autres programmes ou activités gouvernementaux pertinents ou similaires.

En VOR, les objectifs et les critères sont validés avec les entités vérifiées lors de

l'analyse préliminaire et sont acceptés officiellement par la diffusion du rapport d'étude ~ .

préliminaire dans les entités vérifiées.

3. 1.4 Les choix stratégiques de l'évaluation

Les choix stratégiques de l'évaluation sont un préalable à la collecte de données. Ils

consistent essentiellement à identifier les indicateurs (ou variables observables) et les

standards qui serviront à porter un jugement sur l'atteinte ou · non d'un critère

d'évaluation (Hurteau, 2006). Les indicateurs sont les attributs du programme choisis

pour leur bonne représentativité de l'aspect du programme à l'évaluation et les standards

définissent les niveaux de performance acceptable (ou les normes minimales acceptables

dans l'utilisation de bonnes pratiques) servant à déterminer si les critères ont été atteints

(pondération). En VOR, ces choix sont consignés dans ce qui est appelé le programme

d'évaluation. Les standards les variables observables doivent être en lien avec les critères

(Hurteau, 2006).

En résumé, effectuer les Choix stratégiques consiste à spécifier avant la cueillette de

données, les indicateurs et les standards sur lesquels le jugement se fondera en plus

d'annoncer h~ur pondération (Mongiat, 2007).

25

[

3. 1.5 Le jugement fondé

Par nature, la vérification de résultats couvre un grand nombre de sujets et laisse la voie libre aux jugements et interprétations multiples. (INTOSAI, norme).

Construire un jugement consiste à recueillir les informations pertinentes qui seront

synthétisées en déclarations (ou constats) afin de produire un jugement. Il consiste à

appliquer le programme de vérification. Alors que la déclaration s'appuie en règle

générale sur les indicateurs (variable observable), le jugement reprend cette information

en appliquant le standard (niveau d'acceptabilité) (Ho use, 1995; Ho use et Howe, 1999;

dans Mongiat, 2007).

La dernière étape, le jugement fondé, consiste donc à synthétiser et intégrer les

informations pour produire le jugement. Le jugement doit être en lien avec les critères;

les variables observables et les standards. Un jugement est éclairant dans la mesure où il

permet d'atteindre le ou les objectifs de l'évaluation et, par le fait même, de répondre à la

question d'évaluation (Duval, 2006).

Trois pratiques sont reconnues comme nécessaires au jugement fondé (Arens, 2006; dans

Mongiat, 2007) :

• Rendre explicite la manière dont les différentes déclarations ont été synthétisées

pour produire un jugement.

• Apporter des réponses claires aux questions et objectifs d'évaluation.

• Émettre des recommandations · cohérentes avec l'aspect du programme à

l'évaluation.

En VOR, un tableau regroupant les différents éléments appuyant le jugement, soit les

constats, les causes et les conséquences, est produit et validé avec les entités vérifiées.

Les jugements sont portés à l'attention des parlementaires dans le rapport annuel du

Vérificateur général et les entités bénéficient d'une section pour donner leur version des

faits.

26

En somme, le modele logique d'évaluation peut s'appliquer à la VOR dont la base

évaluative repose essentiellement sur les notions d'objectifs et critères. La prochaine

section de ce chapitre cherche à identifier un modele de participation dans une démarche

évaluative qui pourrait aussi être applicable à la VOR.

3.2 L'évaluation participative

L'implication des parties prenantes est considérée comme une condition première afm de favoriser l'utilité des résultats d' évaluation. Entre autres, l'implication des gestionnaires et des administrateurs de haut niveau à l'étape de l'approbation du cadre d'évaluation permet de valider le choix des questions et de prendre en compte leurs besoins (Viel, 2006).

Ce chapitre aborde le deuxième volet théorique, soit la participation des parties prenantes

au processus d'évaluation ou de vérification, les parties prenantes se définissant comme

des «agences, organisations, groupes ou individus qui ont un intérêt direct ou indirect

dans l'action de développement ou dans son évaluation» (OCDE, 2002).

Évolution de la pratique évaluative

L'évaluation de programme a été reconnue par les spécialistes en recherche comme une

discipline en soi au début des années 1980, lorsque celle-ci s'est vraiment différenciée de

la recherche évaluative. Il était alors devenu évident que les besoins et les intérêts des

clients différaient sensiblement de ceux des chercheurs, l'évaluation de programme étant

une démarche d'ajustement d'un programme ou d'une intervention plus ponctuelle

orientée vers l'action tandis que l'objectif premier de la recherche est l'avancement des

connaissances (Bouchard et Rondot, 2003).·

L'évaluation était alors à sa troisième génération (1960-1990). Elle reconnaissait et

intégrait la nécessité de porter des jugements sur la valeur des programmes, ce qui

marque le début de la pratique en évaluation de programme (1960). La première

génération (1880-1930) s'çst d'abord centrée sur la mesure et la deuxième (1930-1960)

sur l'efficacité en ajoutant la description permettant d'associer les résultats au processus

qui les génère et ainsi dégager les forces et faiblesses. Les auteurs ont caractérisé ces trois

générations d'évaluation comme l' époque de l'évaluation man~gériale, en ce sens qu'elle

est faite pour et par la seule administration. Les administrateurs s'interdisaient alors

27

d'associer d'autres acteurs que l'administration responsable du programme évalué pour

garantir l'indépendance de l'évaluateur et la qualité de son jugement (01-:-05).

Vers la fin des années 1980 et début des années 1990, une quatrième génération

d'évaluation fait son apparition qui introduit le principe de négociation entre les acteurs

évalués et ceux qui demandent l'évaluation. «Elle découle d'une montée en importance

de rapport de force qui se renouvelle constamment entre les acteurs qui subissent et ceux

qui imposent» (Bouchard et Fontan, 2003). Elle vise à définir une démarche évaluative

qui consiste à répondre aux besoins et à construire avec les acteurs des programmes.

L'évaluation dite de quatrième génération s'inscrit dans une perspective constructiviste, où les acteurs sont conviés à négocier le sens de leur action dans une perspective de pluralisme et de complexité. En ce sens, elle paraît particulièrement appropriée à l'économie . sociale. L'importance accordée au contexte local où se déroule le programme ou l'action dénote de la perspective naturaliste qui caractérise également cette génération d'évaluation (Bouchard et Fontan, 1998).

Les approches de cette génération reconnaissent que les réalités vécues par les différents

acteurs peuvent être différentes et associent des tiers hors de 1' administration. Cette

4e génération marque le début de l'évaluation participative en impliquant les parties

prenantes du programme, c'est-à-dire à «l'ensemble des personnes et des groupes ayant

des intérêts dan~ son application (gestionnaires du programme, opérateurs, bénéficiaires

et société civile)» (OCDE, 2002).

Aujourd'hui, on assiste à l'émergence d'une 5e génération d'évaluation. Une approche

qui propose d'aller encore plus loin soit que la société civile «prenne le pouvoir»,

autrement dit qu'elle décide du contenu de l'évaluation, pilote elle-même les travaux, et

produise un jugement sur les actions publiques. Elle devient alors une démarche utilisée

au service de la démocratie qui signifie l'implication des citoyens au processus

d'évaluation (Fontan, 2005).

Le tableau 3 montre l'évolution de la participation de l'évaluation de programme. Il faut

toutefois noter qu'une nouvelle génération n'en remplace pas une autre, l'approche est

choisie selon les besoins et le contexte d'évaluation (Baron et Monnier, 2003).

28

Tableau 3: Les cinq générations de l'évaluation de programme, tiré de Baron et Monnier (2003)

Génération Type Qui décide du contenu Qui pilote les Qui produit le

d'évaluation de l'évaluation ? travaux jugement final ?

1ère à3ème Managériale Administration responsable de.la gestion L'équipe d'évaluation

4ième (a) Coproduite Autorités publiques Gestionnaires + L'équipe (élus ou Directeurs) Opérateurs d'évaluation

Autorités

4ième (b) Pluraliste Autorités publiques Gestionnaires + publiques+ (élus ou Directeurs) Opérateurs Société civile +

(Opérateurs)

51 ème Émancipation Société civile

Si l'on fait le parallèle avec la VOR, celle-ci a été reconnue dès le départ comme une

discipline en soi par une disposition légale en 1977, soit près de vingt ans plus tard que

1 'évaluation de programme. Sa pratique a été encadrée dès son origine par un organisme

national normatif à but non lucratif, la Fondation canadienne pour la vérification intégrée

(FCVI), créé en 1980 par le Bureau du vérificateur général du Canada afin

d'accompagner, par de la recherche et de la formation, les bureaux de vérification

législative dans la mise en œuvre de la vérification de 1' optimisation des ressources

(Cutler, 1985). Peut-être dû au fait que, dès son origine, la VOR s'est avérée une

discipline très normative, aujourd'hui, la littérature l'entourant est plus abondante en

théories normatives (portent sur l'instrumentation et les modalités, visent à établir ce que

les évaluateurs doivent faire) qu'en théories descriptives (visent à décrire et comprendre

la pratique et étudient la nature du geste posé par les évaluateurs ).

La 5e génération peut difficilement s'appliquer dans un contexte de vérification

législative, elle peut même paraître illogique dans un contexte où les parlementaires

nomment une personne désignée avec toute l'indépendance et l'autonomie qu'il se doit

afin d'être informée sur la gestion publique, par le fait même, afin d'informer les

citoyens. De plus, la figure 1 de la section précédente nous démontre que les vérificateurs

ne sont pas en lien direct avec les citoyens et la figure 5, le modèle logique de la VOR

démontre que le résultat final est l'amélioration de la gestion publique. L' amélioration du

bien-être des citoyens est une conséquence positive de la VOR liée à l'amélioration de la

gestion publique.

29

1

En VOR, la participation de l'entité est nécessaire afin de prendre connmssance des

prat~ques retenues, des risques, lacunes et enjeux qu'ils ont identifiés et des mesures

correctives qu'ils ont mises en place. Elle est essentielle à la validation des constats, '

causes et conséquences afin d'atteindre un degré d'assurance élevé, condition essentielle

de la VOR.

Description de l'évaluation participative

Par opposition à l'évaluation classique, l'évaluation participative fait référence à la participation active des personnes et institutions concernées (bénéficiaires et autres acteurs) dans un exercice d'évaluation ou de réflexion critique. C'est un processus d'apprentissage individuel et collectif de renforcement des capacités à travers lequel chacun devient conscient de ses forces et faiblesses, c'est également un outil de dialogue et de négociation (Gaye, 2008).

L'évaluation participative est considérée avant tout comme un processus social de

négociation entre les différents besoins, attentes et conceptions générales des individus

concernés. Elle vise plusieurs objectifs et présente un certain nombre d'avantages qui

peuvent être, entre autres :

• une meilleure prise en compte des préoccupations sociétales favorisant une plus

grande validité et une légitimité sociale de l'évaluation,

• une meilleure adhésion et acceptabilité des acteurs donc une prise en compte des

résultats,

• une mise en œuvre des recommandations, une contribution au débat social et à la

démocratie en donnant la parole notamment aux groupes les plus faibles,

minorités.

Ainsi, certaines évaluations participatives sont axées sur le processus d'apprentissage

(fonction formative) qui crée des conditions favorables au changement et à l'action,

d'autres sur une participation directe des parties prenantes dans la définition du cadre

d'évaluation du programme concerné. Le processus met l'accent sur des degrés variables

de participation (de faible à forte) des différents groupes de parties prenantes. Pour être

considérée comme participative, une évaluation .ne doit pas se limiter à demander aux

bénéficiaires d'un programme leur appréciation sur ses effets ou à leur restituer les

30

conclusions de l'évaluation et doit associer ces bénéficiaires à la définition des

problématiques étudiées (Baron et Monnier, 2003).

En VOR, les motifs de participation des parties prenantes ne sont pas les mêmes qu'en

évaluation dans le domaine social. La raison d'être de la VOR étant de vérifier

l'acquisition et l'utilisation des ressources (Loi sur le vérificateur général, article 28), elle

fait généralement intervenir les gestionnaires et les opérateurs des programmes plutôt que

les acteurs de la société civile qui sont les bénéficiaires du programme. L'utilisation d'un

outil de mesure de participation à une évaluation n'est valable qu'en considérant les

caractéristiques des parties prenantes selon le contexte d'évaluation ou de vérification.

Modèle de la participation en évaluation

Les chercheurs en évaluation de programme ont établi un modèle qui permet de mesurer

deux dimensions de la participation, soit la largeur et la profondeur. Ce modèle peut être

appliqué afin de définir dans quelle génération se situe une évaluation. Lorsque la

participation est faible pour les deux dimensions, l'évaluation est considérée comme de

troisième génération et lorsqu'elle est forte pour les deux, elle est considérée comme de

cinquième génération.

La largeur de la participation se mesure par la diversité des groupes d'intérêt impliqués

dans le processus sur une échelle d'un à six. La participation est considérée comme

faible, les niveaux 1 et 2, si elle inclut uniquement les décideurs et les opérateurs de mise

en œuvre de cette politique ou de ce programme, comme moyenne si elle inclut d'autres

acteurs directs, les niveaux 3 et 4, et comme forte si elle inclut des acteurs indirects, les

niveaux 5 et 6 (Baron et Monnier, 2003).

La profondeur de la participation se mesure par le degré d'implication des groupes

d'intérêt dans les différentes phases du processus. Une évaluation peut associer tous les

participants ou une partie des partiçipants aux cinq étapes principales d'un processus

évaluatif. Selon les chercheurs, la plupart des évaluations limitent leur participation à

l'étape 3 ce qui est considéré comme une profondeur de participation très faible.

31

l (

l

Cependant, certaines pratiques vont très loin en terme de participation, elles proposent

aux participants de coproduire l'évaluation de bout en bout, depuis la définition du

mandat initial, jusqu'à la formulation des recommandations, compte tenu des jugements

produits sur les réussites et les échecs de la politique.

1) À la définition en commun du contenu du projet d'évaluation les enjeux et

questions prioritaires (le mandat d'évaluation);

2) À la validation de la méthode utilisée et du programme de travail (le cahier des

charges);

3) Au pilotage et la supervision des travaux, collecte des données (participation à

une instance d'évaluation);

4) Puis à l'analyse et l'interprétation des données collectées (la production du

jugement final);

5) Et enfin, à la formulation de recommandations.

Figure 7 : Modèle de participation en évaluation de programme

Profondeur de la participation

· forte

41ème génération (a)

faible

32

Largeur dela participation

Le pnnc1pe qui découle du graphique sur la participation sera repns sur une base

théorique dans le cadre d'analyse afin d'y apporter les ajustements appropriés et l'utiliser

dans l'analyse descriptive des phases de constitution de mandats au chapitre 5.

Le Centre de recherche pour le développement international (CDRI) a développé une

typologie sur la participation des populations qui peut aussi servir à caractériser la

participation dans le 'Cadre d'une analyse. Cette typologie comprend sept échelons qui

varient du passif à l'actif et qui intègre l'interactif au dernier échelon ... . «la Recherche

participative vise surtout la participation interactive qui se situe au bas de l'échelle de la

participation » (CDRI, 2005).

Tableau 4 : Échelle de participation de I'ACDI (2005)

TYPOLOGIE EXPLICATIONS

1. Participation Les gens participent en étant informés sur ce qui est arrivé ou qui va arriver. Des passive (dite aussi représentants symboliques sont choisis mais n'ont aucun apport ou pouvoir manipulatrice) réel... La communauté subit l'action

2. Participation par Les populations participent en fournissant des réponses à des questions - le plus la fourniture souvent de nature extractive - qui leur sont posées. Les professionnels externes d'informations dirigent le processus, les résultats de a recherche ne sont ni partagés ni validés

avec la population locale

3. Participation par Les populations participent en étant consultées, et les agents extérieurs - qui consultation défmissent les problèmes et solutions - écoutent et parfois tiennent compte de

. leurs opinions. Cependant, elles ne participent pas aux prises de décisions et il n'y a aucune obligation de prendre leurs opinions en compte.

4. Participation liée à Les gens participent en fournissant des ressources, mais là encore, ils ne des avantages participent pas au processus de prise de' décisions. Les fermiers fournissent leurs matériels champs et leur temps mais ne sont pas impliqués dans l'expérimentation ou le

processus d'apprendre. C'est une forme très répandue de la « participation » dans !aMENA.

5. Participation Les gens participent en fonction d'activités prédéterminées et après que les fonctionnelle (dite stratégies des projets ainsi que leur planification aient été décidées par les aussi participation consultants externes (le plus grand risque est l'application tardive de la coopération) participation)

6. Participation Les populations participent au diagnostic des situations aboutissant à des plans interactive d'action et à la formation ou le renforcement de groupements d'intérêts. Ces

groupes s'approprient les décisions locales, en vue d'une pérennisation des activités et/ou structures mises en place. Les professionnels externes jouent le rôle de facilitateurs.

7. Auto-mobilisation Les populations participent en prenant des initiatives indépendamment de structures extérieures.

33

Quelques considérations de participation en vérification législative

En évaluation de programme, ·les communautés s'entendent sur le fait qu'il est

particulièrement utile d'impliquer divers participants/parties prenantes dans les processus

de définition de questions, de développement de méthodes, de collecte d'information et \

d'élaboration de conclusions.

Plus les parties prenantes auront le sentiment de s'approprier les résultats intellectuels du processus, plus les chances seront grandes qu'elles agissent en prenant en compte les recommandations de l'évaluation (EuropeAid, 2005).

La pratique de la VOR exige la collaboration et la coopération des entités. Cependant,

contrairement à l'évaluation de programmes où les approches choisies peuvent être très

différentes d'un projet d'évaluation à l'autre, la VOR est une discipline normative dont

chacune des phases de réalisation prévoit le rôle des entités (collecte de données,

validation, approbation ... ). Les parties prenantes n'agissent pas sur la définition et la

conduite du processus de VOR. Cependant, la VOR comporte sa part de négociation sur

la publication des constats et des conclusions. Elle est généralement axée sur la

coopération et la collaboration afin de s'assurer d'une compréhension commune à partir

des problématiques soulevées jusqu'aux résultats finaux de la VOR.

L'objectif premier en VOR n'est pas d'entreprendre un processus d'apprentissage

individuel et collectif dans les entités vérifiées. Toutefois, elle peut avoir comme effet

d'améliorer les connaissances dans les entités vérifiées en cours de processus de

vérification, résultante de la participation des entités. En ce sens, il s'agit, entre autres,

d'informer sur les objectifs, critères et standards de vérification retenus et de s'informer

sur les pratiques de gestion en cours dans l'entité ainsi que de s'assurer d'une

compréhension mutuelle de ces deux aspects.

4. Cadre d'analyse

Ce cadre d'analyse descriptive viseà définir les bases de l'analyse de la participation des

entités en phase de constitution mandats de VOR à partir de deux expériences vécues au

Vérificateur général du Québec. Les modèles théoriques de la VOR et de la participation

sont repris afin d'y situer la phase de constitution de mandats et de faire ressortir les

principales constantes.

34

4. 1 Les modèles théoriques

Modèle logique de la VOR

Le modèle logique de la VOR, présenté à la figure 5 du chapitre précédent, est repris ci­

après en lui apposant les éléments permettant de délimiter 1' environnement interne et

l'environnement externe au niveau des résultats en s'inspirant du modèle logique de type

«enchaînement des résultats »(figure 4).

Figure 8 : Modèle logique du processus de VOR, relations avec les entités

&trants

Sinl<;.ie 4 'Ïilil>rTflldoll a.

so<ll!lll' mbtistlriel (sajou 4e VOR)

Réwltub ""'x

Rapporl 4'o1u4e

priU.W.m

D Activités et résultats internes

D Activités et résultats externes

RapportVGQ (c:oltStals ~•

RC:UIIIIalloladoiiS

Zone d'influence externe à l'organisation

Facteurs externes

Dans ce modèle de VOR, l'administration publique représente l'environnement externe et

l'objectif ultime (résultats finaux) du processus est l' amélioration de la gestion publique.

La barre oblique transversale divise les résultats en deux parties : zone d'influence

35

f

1

l

externe et facteurs externes. Selon ce modèle, plus on avance dans le processus, plus la

zone d'influence externe diminue et plus les facteurs externes sont présents ce qui peut

signifier que plus on avance dans le processus moins les vérificateurs (acteurs internes du

processus) ont une emprise sur l'atteinte de l'objectif ultime.

Ce modèle fait voir que la VOR n'a pas d'impact direct sur l'amélioration de la gestion

publique. Ce sont les entités qui doivent planifier les activités requises afin d'appliquer

les mesures correctives. Cependant, le Vérificateur général du Québec peut sensibiliser

les entités en cours de processus. On peut aussi noter qu'en phase de constitution de

mandats, contrairement aux autres phases, aucune relation officielle n'est édictée au

niveau des extrants entre les vérificateurs et les vérifiés et les résultats s'adressent à

l'interne. Toutefois, selon ce modèle, en phase de planification, la zone d'influence

externe est relativement importante.

Modèle de participation de la VOR

Les modèles de participation en évaluation de programme décrits précédemment ont été

peu éprouvés jusqu'à aujourd'hui relativement au modèle logique de l'évaluation et ces

modèles sont beaucoup axés sur la partièipation des citoyens. Il s'avère donc un peu

risqué de présenter un modèle et de l'utiliser comme base d'analyse afin de porter un

jugement sur le niveau de participation dans un projet ou une phase quelconque de VOR.

Ainsi, le modèle adapté ci-après vise uniquement à explorer l'applicabilité de ce type de

modèle en VOR, ce qui nous conduirait tout au plus à une hypothèse qui devrait être

vérifiée pour obtenir des résultats concluants. L'analyse des expériences au prochain

chapitre a comme objectif l'exploration.

Pour reprendre le modèle de participation en évaluation qui convient à la réalité de la

VOR, deux opérations s'avèrent utiles au préalable :

1) Définir les parties prenantes: leur niveau d'implication sert à mesurer la

profondeur de la participation;

2) Définir l'échelle de participation en fonction d'une démarche évaluative

appropriée à l'activité d'évaluation: cette échelle sert à mesurer la largeur de la

participation.

36

Les parties ,prenantes considérées en VOR pour mesurer la largeur seront catégorisées en

. fonction des rôles et responsabilités : gouvernance (administrateurs, sous-ministres, hauts

dirigeants), gestion des opérations (gestionnaires), soutien à la gouvernance (vérificateurs

internes et gestionnaires), soutien aux opérations (gestionnaires) et opérations

(employés).

Pour mesurer la participation au développement du contenu, la typologie développée par

l'Agence canadienne de développement international (ACDI) sera reprise sur une échelle

à cinq niveaux plutôt que sept. Le niveau quatre lié aux avantages matériels a été retiré

car, en VOR, les ressources que doivent fournir les entités ne caractérisent pas le niveau

de participation, elles sont plutôt la conséquence du niveau de participation. Le niveau

sept lié à l'auto-mobilisation a été retiré car, en vérification législative, le Vérificateur

général est nommé par 1 'Assemblée nationale afin de rendre compte aux parlementaires

de la gestion publique. Il ne peut substituer ce rôle à un rôle d'auto-mobilisation des

acteurs externes. Toutefois, l'administration publique s'auto-mobilise lorsqu'elle initie

ses propres processus d'évaluation et de vérification dans ses organisations.

Tableau 5: Typologie de la participation adaptée au processus de VOR

TYPOLOGIE EXPLICATIONS

1. Participation passive (dite Les fonctionnaires participent en étant informés sur ce qui est arrivé ou aussi manipulatrice) qui va arriver. Des représentants symboliques sont choisis mais n'ont

aucun apport ou pouvoir réeL L'organisation subit l'action.

2. Participation par la Les fonctionnaires participent en fournissant des réponses aux questions fourniture d'informations posées - le plus souvent de nature extractive. Les évaluateurs dirigent le

processus, les résultats ne sont ni partagés ni validés avec l'organisation.

3. Participation par Les fonctionnaires gens participent en étant consultés, et les évaluateurs -consultation qui défmissent les problèmes et solutions - écoutent et parfois tiennent

compte de leurs opinions. Cependant, les fonctionnaires ne participent pas aux prises de décisions et il n'y a aucune obligation de prendre en compte leurs opinions.

4. Participation Les fonctionnaires participent en fonction d'activités prédéterminées et fonctionnelle (dite aussi après que les stratégies des projets ainsi que leur planification aient été participation décidées par les évaluateurs (le plus grand risque est l'application tardive coopération) de la participation)

5. Participation interactive Les fonctionnaires participent au diagnostic des situations aboutissant à des plans d'action et à la formation ou le renforcement des compétences. Ainsi, ils s'approprient les décisions locales, en vue d'une pérennisation des activités et/ou structures mises en place. Les évaluateurs jouent le rôle de facilitateurs.

Source: adaptation de la typologie de l' ACDI

37

Finalement, le modèle de participation ajusté selon ces considérations permet de mesurer

la largeur et la profondeur de la participation, mais on ne peut toutefois pas caractériser

les résultats én fonction des générations d'évaluation, tel que montré dans le modèle

initial (figure 7). Toujours dans un objectif exploratoire, voici le graphique qui permettra

de mesurer la participation en phase de constitution de mandats.

Figure 9 : Modèle de participation pour la phase de constitution de mandats

forte

Profondeur de la participation

Participation au développement

du contenu (a)

Développement du .-• contenu et / 0/

,,, .. '' '

/ Nombre d~ parties / · · -prenantes représentées

,// __ /.C)/ (b)

.' . , "- ~ ' - - . - .

/

~" ··-.o~·/ Largeur dela participation

,.,,'' .

4.2 Les autres considérations

Devant l'ampleur et la complexité de l'administration publique, les sujets en VOR pouvant être très diversifiés, le Vérificateur général se retrouve devant un risque de mission. Il peut se concrétiser en ne détectant pas certains risques ou lacunes alors que de grandes brèches sont présentes dans le secteur ou dans l'organisation cible, c'est le risque de non-détection (VGQ, 1998).

Dans un mandat de constitution, l'étendue de la vérification fait partie du résultat livré.

L'analyse du secteur vise à établir, par ordre de priorités, les zones d'activité du

portefeuille ministériel qui comportent des vulnérabilités significatives. Ces zones de

vulnérabilité font immédiatement l'objet d'une analyse plus approfondie afin d'établir

1' étendue de · la vérification, soit en définir les dimensions (efficacité, efficience,

économie et durabilité), les aspects (gouvernance, projet, programme public, programme

38

de soutien, responsabilités partagées entre organismes . . . ) ainsi que la portée (un secteur,

un organisme, plus d'une entité, directions sélectionnées ... ).

La phase de constitution de mandats sert à identifier les sujets favorables à une

vérification en privilégiant les secteurs les plus susceptibles d'amélioration ainsi que la

priorisation des sujets selon leur importance relative. L'importance relative des sujets de

vérification est évaluée relativement à leur caractère significatif dans 1' organisation et

dans l'administration publique, à leur rôle décisif dans l'atteinte des résultats ·par

l'administration publique et à leur intérêt pour l'Assemblée nationale ou pour la

population.

Au Vérificateur général du Québec, les phases de constitution de mandats sont

constituées par secteur ministériel dont la structure concorde généralement avec celle du

portefeuille ministériel dans le budget de dépenses et dans certains organismes est un des

instruments qui permet au Vérificateur général de contrôler le risque de mission. Les

stratégies sectorielles et une description des sujets identifiés, élaborés en phase de

constitution, permettent d'éclairer les décisions et, ainsi, aident à contrôler le risque de

mission (VGQ, 1998).

Lors de la réalisation de ces stratégies, un des principaux facteurs qui peut augmenter les

possibilités que le risque de non-détection se concrétise est le manque de connaissances

du secteur ou de l'entité ciblé (VGQ, 1998). En principe, plus le niveau de connaissance

du secteur d'intervention est élevé moins · le risque de mission est élevé. La

communication et la collaboration des équipes à l'intérieur du bureau du Vérificateur

général ainsi que celles des entités à l'étude sont identifiées comme des moyens qui

servent à contrer le risque de non-détection, car elles favorisent une meilleure

connaissance des secteurs et des entités (VGQ, 1998).

L'analyse de contenus

La phase de constitution de mandats repose en grande partie sur t'analyse de contenu.

Dans le milieu de la recherche, l'analyse des contenus a été définie comme une technique

de recherche qui peut être adaptée à ses besoins et à ses modes d'interrogation. Il est

considéré que les diverses formes de communication orales ou écrites qui existent dans

39

toute société ou organisation présentent un potentiel énorme. Une des caractéristiques

principales associées à l'analyse de contenu est l'objectivité en ce sens qu'elle élimine

l'intervention du chercheur-intervenant auprès des sujets et diminue conséquemment le

risque de biais dû à cette interaction. De plus, elle est objective aussi par le fait que les

unités et les catégories d'analyse sont claires et précises de sorte qu'une analyse des

contenus peut être vérifiée et reproduite.

4.3 Définition des risques, enjeux et lacunes

La principale différence entre un risque, un enjeu et une lacune a trait à l'espace-temps.

Un risque concerne l'horizon le futur, un enjeu concerne le présent et une lacune ou

encore une déficience porte sur le passé mais dont les conséquences négatives se

manifestent maintenant. Les trois séries de points de la figure 10 indiquent la zone de

certitude vers laquelle on tend en phase de constitution de mandats. Les trois aspects

(risques, lacunes et enjeux) sont pris en compte. Par exemple, on peut tendre vers une

situation future tout en demeurant conservateur, le degré d'assurance (certitude) est gardé

à son niveau le plus haut possible.

Figure 10 : Risques, enjeux et lacunes

LACUNES (passé) 0

•

0

•

0

RISQUES (futur)

40

ENJEUX (présent)

Définition d'un enjeu

Les enjeux sont directement liés aux orientations de l'organisation et à l'atteinte de ses

objectifs. Selon le guide de planification stratégique adressé aux ministères et

organismes, il devrait représenter ce que les clientèles particulières peuvent perdre ou

gagner selon les stratégies mises en place par les ministères et organismes. Ils découlent

du contexte et annoncent directement les orientations proposées dans le plan stratégique.

En outre, ils spécifient les effets possibles sur le futur de l'organisation en termes de

gains ou de pertes (ministère du Conseil exécutif, 2008). Ainsi, les enjeux représentent

des gains ou des pertes possibles.

Définition du concept de déficiences appréhendées

La terminologie relative aux déficiences appréhendées est propre au contexte de

vérification de l'optimisation des ressources (VOR). Dans le cadre méthodologique, elle

est définie de la façon suivante (VGQ, 1998) :

L'existence de déficiences appréhendées est un préalable pour démontrer la pertinence d'un projet de vérification. Elle se définit comme la possibilité d'une insuffisance ou d'une incapacité, totale ou partielle, d'une entité à assurer la réalisation de résultats escomptés avec économie et efficience; à se pourvoir de systèmes et de procédés propres à garantir le contrôle, la protection et l'utilisation adéquate des fonds et autres biens publics; à se pourvoir des systèmes permettant d'évaluer l'efficacité des programmes; à assurer la conformité de ses opérations aux lois, règlements, énoncés de politique et directives; à assurer une bonne reddition de comptes.

Une déficience est jugée importante si elle concerne un sujet d'intérêt pour l' Assemblée nationale et s'il y a un risque élevé qu'elle soit un impact négatif important sur les résultats de l'entité. Le degré d'assurance à l'égard de déficiences appréhendées croît au fur et à mesure que les travaux sont exécutés. Ainsi, les déficiences qualifiées de probables à l'étape de la constitution doivent être d' un niveau de certitude beaucoup plus élevé à la fin de l'analyse préliminaire.

Définition du concept du risque

Un risque est la probabilité que survienne un évènement ayant des impacts négatifs sur

les services rendus par 1' organisme gouvernemental, ses finances et sur la confiance des

citoyens envers celle-ci et son personnel.

De façon plus adaptée à la phase de constitution de mandats, on peut définir le risque

comme la possibilité qu'un évènement, une action ou une inaction affecte la capacité de

41

{

l'organisation d'atteindre ses objectifs stratégiques. La gestion des nsques est le

recensement de l'ensemble des risques auxquels l'entité est exposée. Elle vise à définir et

à mettre en place les mesures préventives appropriées en vue de supprimer et d'atténuer

les conséquences. Ces mesures préventives constituent l'environnement de contrôle. Les

contrôles se définissant comme des mesures permettant d'atténuer l'exposition au risque

à un niveau acceptable.

Plus le pourcentage de probabilité que le risque se concrétise est inconnu, plus on tend

vers l'incertitude et un contexte inconnu.

Figure 11 : Relation entre le risque et l'incertitude

Risque et incertitude

5. Analyse des approches L'étape de sélection de sujets de vérification est cruciale, car devant la complexité et l'ampleur de l'administration publique qui comprend une vingtaine de ministères et au­delà de 135 organismes, il faut choisir judicieusement les sujets de VOR à déposer devant Assemblée nationale. Les sujets peuvent concerner des fonctions, des activités ou programmes ou encore une thématique couvrant une ou plusieurs entités du secteur public (VGQ, 2009). ·

5. 1 Description de la phase de constitution de mandats

Cette phase est la première du processus de VOR et consiste à identifier les sujets

potentiels de vérification dans les ministères et organismes. Comme mentionné

42

précédemment, l'objet d'évaluation est un secteur de l'administration publique représenté

par le modèle logique défini dans le cadre théorique (figure 6). La question d'évaluation

lors de cette phase peut se résumer comme suit : Quels sont les principaux risques, enjeux

et déficiences qui méritent de faire l'objet d'une VOR au cours des cinq prochaines

années?

Lors de cette phase, une stratégie sectorielle d'intervention en VOR est réalisée. Elle se

divise généralement en trois volets : un portrait du secteur ministériel présentant les

grands erijeux, risques et lacunes qui peuvent empêcher l'atteinte des objectifs des entités

du secteur, une description sommaire des sujets de vérification pressentis qui sont

priorisés selon des critères préétablis au Vérificateur général du Québec et une analyse

plus approfondie pour les sujets de vérification jugés prioritaires.

Cette analyse descriptive qui vise à dégager les modèles de communication s'y rattachant

est centrée sur deux approches différentes de constitution de mandats qui ont été réalisées

au Vérificateur général du Québec. La première, appelée « approche par déficiences

appréhendées », est une approche traditionnelle qui fait partie des pratiques en cours

soutenues par la méthodologie de vérification de l'optimisation des ressources (VGQ,

1998) tandis que la deuxième, appelée « approche par les risques », est une expérience

pilote qui a été centrée sur une approche par les processus afin de relever les risques de

l'entité.

La démarche d'évaluation a été définie en trois phases communes aux deux approches:

1) la collecte d'informations,

2) l'analyse de l'information et

3) la sélection des sujets de vérification.

5.2 Démarche générale en constitution de mandats

La phase de constitution de mandats est généralement amorcée par une lettre

d'information aux entités ciblées afin d'obtenir leur collaboration et, de façon générale,

les dirigeants sont avisés qu'ils ne seront pas informés des conclusions de cet exercice.

43

L'identification de projets potentiels exige une bonne connaissance des affaires des

entités et du secteur concerné.

La stratégie sectorielle élaborée lors de cette phase présente, dans un premier temps, un

portrait du secteur ministériel, entre autres, la strùcture et les principales activités du

secteur, les informations financières, les risques identifiés par l'entité, les changements

significatifs et les défis des dernières années et les grand;; projets en cours. Dans un

deuxième temps, elle présente une description sommaire des sujets de vérification

proposés en indiquant leur importance relative afin d'aider à les prioriser.

5.2.1 Approche par déficiences appréhendées

Généralement, les principales activités d'une stratégie d'intervention avec l'approche par

déficiences appréhendées sont un recensement des écrits et leur analyse, une première

conclusion suivie par des entrevues afin de valider et compléter les informations. Par la

suite, on passe à l'écriture de la stratégie ainsi qu'à sa validation avec le directeur de

vérification et le directeur principal (VGQ, 1998).L'ampleur des travaux à réaliser est

influencée par la connaissance que le bureau possède sur le secteur ministériel avant de

débuterle projet.

La collecte d'informations

Lors de l'expérience qui concernait seulement une organisation, les connaissances

actualisées de l'équipe de vérification en attestation financière ainsi que leur banque

d'information ont été d'une grande utilité. La collecte d'informations a été complétée par

des recherches documentaires. Suite à une première analyse de contenu, une rencontre

avec la vérification interne de l'entité a permis d'obtenir d'autres éléments

d'informations, ainsi que des documents internes de niveau stratégique. Cette rencontre a

également permis · de valider la connaissance et la compréhension des problématiques

détectées lors de l'analyse de contenu. L'élaboration du portrait de l'organisation et le

relevé des enjeux, risques et lacunes a nécessité cette seule entrevue. Les autres entrevues

concernaient spécifiquement les sujets potentiels de vérification qui avaient été jugés

prioritaires.

44

L'analyse de l'information

Avec l'approche pàr déficiences appréhendées, l'analyse de l'information repose

principalement sur l'analyse documentaire incluant les rencontres avec l'entité. Une fois

les sujets de vérification identifiés, l'équipe de projet évalue la pertinence de chacun de

sujets ainsi que l'importance et les conséquences des déficiences qu'il présente. L'entité

peut être invitée à participer à l'identification de sujets de vérification et à donner son

avis sur l'importance qu'elle accorde à certaines enjeux, risques ou problématiques. Du

point de vue documentaire, elle peut fournir les bilans d'exercices de vérification,

d'évaluation ou encore de gestion des risques.

La sélection des sujets de vérification

Les sujets de vérification sont sélectionnés et priorisés suite à l'analyse de l'information.

L'entité ne participe pas à cette dernière étape. La stratégie d'intervention appuie la

planification interne au Vérificatepr général. Elle ri'est pas diffusée aux entités du secteur

concerné, cependant, les informations s'y trouvant .ont été validées, au besoin, avec les

entités au cours de 1' étape précédente.

Sommaire de la participation

Dans le contexte de ce mandat, la connaissance interne de 1' entité étant très élevée, la

représentativité externe a été minimale : une seule rencontre avec un seul type

d'intervenant. Cette rencontre a cependant permis de recueillir des informations

essentielles, et valider la compréhension de la problématique. La participation au .

processus se situe donc au niveau 2 pour les deux premières étapes. Toutefois, l'entité n'a

pas participé à la sélection et à la priorisation des sujets de vérification.

Tableau 6 : Sommaire de la participation- Approche par déficiences appréhendées

Étape Représentativité Participation au processus

(largeur) (profondeur)

La collecte d'informations 1 2

L'analyse de l'information 1 2

La sélection des sujets 1 1

45

1

5.2.2 Approche par les risques

Cette approche est discutée à partir d'une expérience pilote qui concernait également une

seule entité. L'approche définie reposait s'ur la participation de l'entité. Son accord a donc

été obtenu avant le démarrage du projet. L'objectif était de ~éterminer de façon la plus

efficiente possible les composantes de 1' entité qui comportent des risques importants afin

de sélectionner des sujets de vérification. Globalement, l'approche a consisté à évaluer le

niveau de risque des processus et à sélectionner les processus plus risqués, ce qui conduit

à la sélection de sujets de vérification (VGQ, 2007). Le niveau préalable de connaissance

de cette entité était très faible.

La collecte d'informations

Les sources d'information pour la recherche documentaire sont les mêmes que pour

l'approche par déficiences appréhendées, mais la façon de collecter les données auprès

des entités a été très différente. La collecte de donnée a été centrée, en majeure partie, sur

des entrevues avec les dirigeants et les gestionnaires de l'entité et avec certains

organismes externes. Les entrevues ont été planifiées pour chacun des processus de

gouvernance, de soutien et d'affaires, ce qui compte au total une quinzaine de processus.

L'analyse de l'information

L'approche par les risques prévoit une évaluation du niveau de risque pour chacun des

processus de l'entité. Une première entrevue avec les hauts dirigeants a permis d'obtenir

des éléments afin d'identifier les risques stratégiques. Par la suite, une analyse de risques

a été réalisée par processus suite à une entrevue pour chacun des processus. Une

participation active du gestionnaire responsable du processus a été nécessaire afin

d'identifier les facteurs .de risques, les risques et la sévérité des impacts. La phase

d'analyse s'est terminée par la sélection de sujets de vérification selon la priorité

accordée aux risques identifiés. L'entité ne participe pas à la sélection des sujets de

vérification.

La sélection des sujets de vérification

La validation des risques, des facteurs de risques et des conséquences s'est fait de façon

46

1

1

r

1

1

1

1

1

formelle avec les entités et a comporté plusieurs intervëntions avec les gestionnaires

responsables de processus si nécessaire. (VGQ, 2007).

Sommaire de la participation

Dans le contexte de cette expérience, la connaissance interne de l'entité était peu élevée.

L'approche a été définie sur la base d'une forte représentativité de l'entité. Tous les

gestionnaires de processus ayant été rencontrés, la rèprés~ntativité est maximale. Lors des

rencontres les gestionnaires ont été invités à exprirner leur opinion et les résultats

d'analyses des risques identifiés pour chacun des processus ont été validés avec l'entité.

La participation au processus se situe donc · au niveau 2 pour les deux premières étapes.

Toutefois, l'entité n'a pas participé à la sélection et à la priorisation des sujets de

vérification.

Tableau 7 : Sommaire de la participation -Approche par les risques

Étape Représentativité Participation au processus

(largeur) (profondeur)

La collecte d'informations 5 3

L'analyse de l'information 5 3

La sélection des sujets 1 1

5.3 Sommaire des résultats de la participation des entités

La définition de la portée de la vérification divergeait passablement pour ces deux

expériences. L'approche par déficiences appréhendées était axée sur la récupération dès

connaissances internes en limitant le plus possible le nombre d'entrevues avec l'entité.

Quant à l'approche par les risques, l'organisation sélectionnée pour l'expérience pilote ne

bénéficiait pas d'une connaissance interne au Vérificateur général du Québec ce qm

laissait toute la latitude voulue pour obtenir les informations auprès des entités.

La collecte d'informations

Avec 1' approche par déficiences appréhendées, les travaux de constitution portaient

principalement sur une analyse documentaire tandis que l'approche par les risques était

47

basée sur la participation de 1' ensemble des gestionnaires responsables des processus.

Ainsi, l'écart de représentativité (largeur) entre les deux approches est important.

Toutefois, pour les deux entités, la participation au processus (profondeur) ne dépasse pas

le niveau de la consultation.

L'analyse de l'information

Avec l'approche par déficiences appréhendées, la participation de l'entité pour l'analyse

de l'information est généralement peu requise. Au cours de ce mandat, elle s'est située au

niveau de la fourniture d'information). Le déroulement de cette étape a été très différent

avec l'approche par les risques. Cette étape était essentiellement basée sur la consultation

de l'ensemble des gestionnaires de processus.

La sélection des sujets de vérification

Pour les deux approches, les entités ne participent pas à la prise de décision (niveau 1 :

largeur et profondeur).

Représentation dans le modèle de participation

Les résultats ont été transposés dans le modèle sur la participation.

!orto

faible

Figure 12 : La représentation de la participation

ProfondB\.D" de la participatton

Participation au développement

du contenu (a)

48

Largeur dela participation

Approche par + les risques

Approche par + déficiences appréhendées

On peut noter que la profondeur de la participation est relativement faible pour les deux

expériences. Les entités ont été plus sollicitées dans l'approche par les risques, mais cette

participation demeure toujours à un niveau consultatif.

L'écart est majeur au niveau de la largeur étant donnéqu'initialement l'approche par les

risques est basée sur une consultation qui couvre tous les processus de l'organisation

(gestionnaires) incluant le processus de gouvernance (dirigeants).

Cette analyse exploratoire visait à vérifier si le modèle de participation en évaluation de

programme pouvait s'appliquer à la VOR. En adaptant les échelles de participation au

contexte de la VOR, celui-ci présente des résultats à partir desquels on peut sûrement tirer

quelques conclusions valables. Cependant, le modèle de référence qui permettrait de

déterminer si une VOR s'approche des standards de bonne pratique n'est pas défini pour

cette discipline. Sans cette base de référence, l'utilisation du modèle doit se limiter à

comparer une situation par rapport à l'autre.

6. Conclusion

Cette réflexion exploratoire a fait le . parallèle entre 1' évaluation de programme et la

vérification de l'optimisation des ressources sur deux axes : la démarche évaluative et

1' évaluation participative. Pour chacun des deux axes, un modèle a été reconduit pour des

fins exploratoires. Il s'est avéré que le modèle logique de la VOR a pu être appliqué à la

VOR sans adaptation majeure. Ce modèle, relativement connu et éprouvé, est défini

depuis une vingtaine d'années et est fréquemment utilisé par les spécialistes en

évaluation. Toutefois, dans le contexte de cette analyse, il a été opportun d'ajouter une

variante, soit un indicatif utilisé au gouvernement du Canada permettant de systématiser

la lecture des relations entre les intervenants internes et externes au processus.

La difficulté est plus grande lorsqu'on essaie d'appliquer un modèle de participation à la

V OR. Le modèle participatif en évaluation de programme est centré principalement sur la

participation des citoyens et des acteurs du programme dans la société civile ce qui

convient plus aisément aux évaluations de la pertinence, des effets et des impacts. La

vérification de l'optimisation des ressources est plutôt axée sur l'environnement interne

49

de l'administration publique. Les échelles de mesure de modèle de participation ne sont

pas universelles. Elles ont dû être définies spécifiquement pour la VOR dans le cadre de

cette analyse exploratoire. Cependant, une fois les échelles définies, les résultats

comparatifs de la participation au processus se sont avérés intéressants. L'application du

modèle permet de bien situer les zones participatives plus ou moins actives.

Cette réflexion exploratoire a également permis de mieux cerner les types d'évaluation de

programme qui sont plus près de la VOR, entre autres l'évaluation par les processus et

celle de la mise en œuvre. Ainsi, 1' application de modèles de participation à ces types

d'évaluation serait peut-être plus directement compatible avec la VOR.

Finalement, 1' analyse exploratoire de la phase de constitution de mandats a permis de

démontrer que lors de cette phase la participation de l'entité peut passer du passif au

moins passif et du moins passif à l'actif. La connaissance au préalable de l'entité étant le

facteur influençant de façon majeure le besoin de collaboration avec les entités.

L'utilisation des modèles logiques pour décrire la VOR a fait ressortir ou tout simplement

confirmer que, comme pour la plupart des évaluations de programmes, la responsabilité

et l'application de mesures correctives suite aux recommandations sont entièrement sous

le contrôle des entités vérifiées. Une coopération et une collaboration constructive entre

les deux parties revêtent alors une importance majeure pour l'amélioration de la gestion

publique.

50

Bibliographie

AUBEL, Judi, Ph. D. (2000). Manuel d'évaluation Participative de Programme: Comment assurer la participation des exécutants de programme dans le processus d'évaluation, une publication conjointe du Programme d'Appui Technique à la Survie de l'Enfant et des Services de Secours Catholique, deuxième édition, [document pdf] , Maryland, 104 pages, http://www.childsurvival.com/documents/french manual.pdf

BARON, Gaëlle et MONNIER, Eric (2003). Une approche pluraliste et participative : Coproduire l'évaluation avec la société civile, [document pdf], Paris, Revue« Informations sociales», n° 110, septembre 2003, 7 pages, http:/ /www .eureval. fr/IMG/pdf/Evaluation participative. pdf

BEAUREGARD, Claude et DUMAS, Alain (2004), Le Vérificateur général du Québec et la vérification de l'optimisation des ressources: évolutions et perspectives, Claude Beauregard est professeur à l'ENAP; Université du Québec et Alain Dumas est professeur à la retraite, Administration publique du Canada, volume 47, no 2 (été 2004), pp. 207-224

BOUCHARD, Marie et FONTAN, Jean-Marc, (1998). L'évaluation sociale à la loupe: problématique et méthodologie de l'évaluation des entreprises et organisations de l'économie sociale, [document pdf], Québec, Université Laval, Colloque du Centre interuniversitaire de recherche, d'information et d'enseignement sur les coopératives, Congrès de l'ACF AS, mai 199 8, http:/ /www .omd. uqam.ca/publications/telechargements/ evaluation. pdf

BOUCHARD, Marie et FONTAN, Jean-Marc (2003). L'évaluation de l 'économie sociale, quelques enjeux de conceptualisation et de méthodologie, assisté en recherche par Élaine Lac han ce et Laurent Fraisse, [document pdf], Québec, Centre de recherche sur les innovations sociale (CRISES), 52 pages, Collection internationale, no IN0301, https://depot.erudit.org/bitstrearn/001341 dd/l/IN030 1.pdf

BOUCHARD, Marie et RONDOT, Sylvie, (2003) . L'évaluation en économie sociale. Petit aide­mémoire, [document pdf], Québec, Université du Québec à Montréal, l'Alliance de recherche universités-communautés en économie sociale (ARUC), 35 pages, http://www.aruc­es. uqam.ca/Portals/0/cahiers/R -03-2003. pdf

BRUNET, John, CA et ROCKY, J. Dwyer, PhD (2004). La reddition de comptes et le Centre canadien des armes à feu, [en ligne], Secrétariat du Conseil du trésor du Canada, 16 septembre 2004, http://www.tbs-sct.gc.ca/evaVdev/perf-rend/pp001 f.asp, (page consultée le 12 décembre 2009)

CRDI, Centre de recherches pour le développement international (2005), Notes Méthodologiques sur la Participation, Canada, 8 pages http://www.idrc.ca/uploads/user-S/1149153 7151Approche Pmiicipative texte.pdf

CNE, Conseil national de l'évaluation (2003). Une évaluation à l'épreuve de son utilité sociale, Yves Cousquer (Président) et Véronique Chanut (Rapporteur général), [document pdf], Paris, Rapport d'activité 2000-2002, 339 pages, http:/ /lesrapports.ladocumentationfrancaise. fr/BRP /034000 152/0000 .pdf

51

. CÔTÉ, Sébastien (2000). Les méthodes qualitatives en évaluation de programme, présenté comme travail de synthèse du séminaire de lecture comme exigence partielle du cours POL 7800, UQAM, 15 mai 2000, 29 pages · http://www.unites.uqam.ca/grieva/les%20panels/seminaire.rtf

COMITÉ PERMANENT DES COMPTES PUBLICS, Ottawa (2007), Comité permanent des comptes publics (PACP ) : Historique, 39e législature, 1ère session. 3 avril 2006 - 14 septembre 2007

CUTLER Maurice (1985), Fondation canadienne pour la vérification intégrée, directeur des Communications au bureau du Vérificateur général à Ottawa, 3 pages, http://www2.parl.gc.ca/Sites/LOP/Infoparl/3/4/03n4 80f Cutler.pdf

DUBOIS, Raymond (1990). «Responsabilité vis-à-vis le Parlement: rôle du vérificateur général», Revue parlementaire canadienne, printemps 1990, p. 28, 29

DUNBERRY, Alain et PÉCHARD, Céline (2007). L'évaluation de la formation dans l'entreprise: État de la question et perspectives, Centre interuniversitaire de recherche sur la science et la technologie (CIRDEP), Université du Québec à Montréal (UQAM), 49 pages

DUVAL, Julie (2006). Étude descriptive des pratiques évaluatives : recours à la logique de l'évaluation, mémoire présenté comme exigence partielle de la maîtrise en éducation, UQAM, 92 pages

EuropeAid, La coopération pluripartite au service du développement (2005). Synthèse des commentaires du panel d'experts sur le manuel d'évaluation d'EuropeAid, réunion qui tenue au début du mois de septembre 2005, http://ec.europa.eu/europeaid/evaluationlmethodology/examples/assessment fr.pdf

FCVI, La Fondation canadienne pour la vérification intégrée (1991), Comment on peut influencer une vérification intégrée, Guide du client, 22 pages, ISBN 0-919557-35-X

FONTAN, Jean-Marc et LACHANCE, Hélène (2005). Pour une évaluation de cinquième génération, [document pdf], Québec, Cahiers de l'ARUC-ÉS, UQAM, 29 pages, C-18-2005, http:/ /www.aruc-es. uqam.ca/Portals/0/cahiers/C-18-2005 .pdf

GAYE, Ibrahima (2008). Culture et pratique de l'évaluation au Sénégal : quel enjeu pour les politiques publiques? Qu'est ce que l'évaluation participative?, Ecole Nationale d'Economie . Appliquée, Directeur des Etudes et des Stages, [document pdf], Dakar, Sénégal, Journées Sénégalaises de l'Évaluation (JSE)- Première édition, 28-30 Octobre 2008, http://evaluation.francophonie.org/IMG/pdf/Evaluation des politiques publiques a la lumi ere du nouveau contexte de developpement - WORD - DIA.pdf

HURTEAU, Marthe. 1991. «Les choix stratégiques en évaluation de programme ».L'évaluation . en action, n 1,1991, 41p

HURTEAU, Marthe et HOULE, Sylvain (2006), L'évaluation de programme : Réflexion concernant la théorie de l'évaluation, [document pdf], Université du Québec à Montréal, Canada, XIXème Colloque ADMEE Europe - Université de Luxembourg. (sept. 2006), http://www.evaluationcanada.ca/distribution/200609 hurteau marthe houle sylvain.pdf

52

{

1

\

l l

ICCA, Institut canadien des comptables agrées (normes), Normes de certification, [en ligne], Knatio, Collections Normes et recommandations de l'ICCA, http://www.knotia.ca, (page consultée le 12 décembre 2009)

INTOSAI, Organisation Internationale des Institutions Supérieures de Contrôle des Finances Publiques (2004) Lignes directrices pour la mise en œuvre des normes de vérification de résultats Normes et lignes directrices relatives à la vérification de résultats basées sur les Normes de contrôle etl'expérience pratique de l'INTOSAI, [document PDF], Stockholm, 171 pages, http://intosai.connexcc-hosting.net/blueline/upload/ limplgperfàudf.pdf

MBADINGA, Jean-Louis (2005). La vérification d'optimisation des ressources comme instrumént d'évaluation de l'efficacité des programmes publics ?, Candidat Ph.D. en Administration Publique ENAP, Présentation au Colloque de la Société québécoise de l'évaluation de programme (SQEP), Québec.

Ministère du Conseil exécutif (2008). Planification stratégique : Phase III : Choix stratégiques, [en ligne], http://www.mce.gouv.qc.ca/planification-strategique/phases/choix.html, (page consultée le 12 décembre 2009)

MONGIAT, Stéphanie (2007). Analyse des pratiques en évaluation de programme: les éléments qui contribuent à formuler un jugement fondé, mémoire présenté comme exigence partielle de la maîtrise en éducation, UQAM, 96 pages.

MORJN, Danielle (1999), La vérification de l'optimisation des ressources dans les gouvernements du Canada et du Québec, Volume 1, thèse présentée comme exigence partielle du doctorat en administration publique, Québec, ENAP, 504 pages, Danielle Morin est la première ressortissante avec un diplôme de doctorat à l'ENAP

OCDE, Organisation de coopération de développement économique, Groupe de travail sur l'évaluation de l'aide (2002). Glossaire des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats, [document PDF], 40 pages, http:/ /www.oecd.org/ dataoecd/29/21 /2 7 54804 .pdf

SAS/COQ, Conseil en Organisation, Qualité et Risk Management (2009), Informations pratiques sur les systèmes qualité ISO 9001 V2000, [en ligne], France http://www.sascoq.com/Index.asp (page consultée le 12 décembre 2009)

SCT, Secrétariat du Conseil du trésor (2002). L'évaluation de programme: Document destiné aux dirigeants et dirigeantes de ministères et organismes, Sous-secrétariat aux politiques budgétaires et aux programmes, Québec, 34 pages, ISBN : 2-550-39080-6

SCT, Secrétariat du Conseil du trésor (2004), Le processus budgétaire au gouvernement du Québec, Budget des dépenses, Document de référence, ISBN 2-550-42042-X

SCTC, Secrétariat du Conseil du Trésor du Canada (2001). Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats, [document pdf], Ottawa, 46 pages, http://www.tbs-sct.gc.ca/eval/pubs/RMAF-CGRRJRMAF Guide f.pdf

THCU, The Health Communication Unit (2002). Évaluation des programmes de promotion de la santé, v2.0, [document pdf], Toronto, Université de Toronto, 97 pages,

53

http://www.thcu.ca/infoandresources/publications/EVAL French Master Wk bk v2 content feb.02 format aug.03.pdf

VGC, Vérificateur général du Canada (2003). Notes pour une allocution par Sheila Fraser, FCA, Vérificatrice générale du Canada, 18 mars 2003, [en ligne], Institut d'administration publique du Canada, Section de la région de la capitale nationale, Ottawa, http://www.oag­bvg.gc.ca/internet/Francais/sp 2003 0318 f 23 851.html, (page consultée le 12 décembre 2009)

VGC, Vérificateur général du Canada (2006). Un peu d 'histoire, [en ligne], Ottawa, Bureau du vérificateur général du Canada, dans L'organisation, http://www.oag-bvg.gc.ca/internet/ Francais/au fs f 821.html, (page consultée le 12 décembre 2009)

VGQ, Vérificateur général du Québec (1988), La vérification législative au Québec, notes historiques et biographies, Québec, Bibliothèque de l'Assemblée nationale, 20 pages, pp. 3-6

VGQ, Vérificateur général du Québec (1998), Manuel de vérification, Tome IV, Vérification de l 'optimisation des ressources, [document interne au Vérificateur général du Québec], dernière mise à jour en septembre 2000, chapitres 4100 et 4215

VGQ, Vérificateur général du Québec (2009a), Plan stratégique 2009-2012: Au service de l 'Assemblée nationale pour une saine gestion des fonds publics, dans la perspective d 'un développement durable, Renaud Lachance, le vérificateur général du Québec, [document pdf], Québec, http://www.vgq.gouv.qc.ca/fr/organisation/Fichiers/Plan-strat.pdf

VGQ, Vérificateur général du Québec (2009b), Vérification législative :. Vérification de l'optimisation des ressources, [en ligne], Québec, · le Vérificateur général du Québec, [document pdf], Québec, http://www.vgq.qc.ca/fr/fr organisation/fr verif- legislative.aspx# Verification de 1 optimisation des ressources, (page consultée le 12 décembre 2009)

VIEL, André (2006). L'utilité de l'évaluation : des conditions favorables et des pratiques variées, Télescope, vol. 0 13, printemps-été 2006, p. 31-36

54