UNE ACTION INTÉGRÉE EN VUE D'AMÉLIORER L'EFFICACITÉ DES SYSTÈMES D'ENSEIGNEMENT : LE PILOTAGE...

Cahiers du Service de Pédagogie expérimentale - Université de Liège - 5-6/2001 23

Une action intégrée en vue d’améliorer l’efficacité des systèmes d'enseignement : le pilotage des systèmesd’enseignement

UNE ACTION INTÉGRÉE EN VUE D’AMÉLIORERL’EFFICACITÉ DES SYSTÈMES D'ENSEIGNEMENT : LEPILOTAGE DES SYSTÈMES D’ENSEIGNEMENT

Marc Demeuse & Ariane Baye

Cet article s'inspire largement d'un chapitre du rapport non publiédéposé en 1998 auprès de la Commission européenne dans le cadred'un projet entrepris grâce aux moyens accordés par l'action III.3.1du programme Socrates (Marc Demeuse & Christian Monseur).

Le thème du programme de recherche, articulé autour du pilotage dessystèmes d'enseignement et des facteurs d'efficacité, était directementinspiré des travaux menés de longue date au sein du SPE, etnotamment de l'ouvrage de Gilbert de Landsheere intitulé Le pilotagedes systèmes d'éducation publié chez De Boeck quelques mois avant ledépôt du projet lui-même.

Le texte qui est proposé ici constitue une introduction générale auproblème du pilotage. Il tente de préciser les concepts utiles et leurarticulation dans un modèle d'action. Il propose également unesynthèse d'un certain nombre d'auteurs francophones et anglophonesqui se sont exprimés sur ce sujet à travers un nombre relativementimportant de citations.

Les actions de régulation qui sontdécrites dans cet article, lorsqu'ellessont mises en œuvre conjointement,en tenant compte des réactions du

système éducatif, participent à ce quiest connu, en français, sous le termede pilotage1.

1 Ce terme a reçu une définition officielle, quoique beaucoup plus limitée, en Communauté française de Belgique (Décretdéfinissant les missions prioritaires de l'enseignement fondamental et de l'enseignement secondaire et organisant lesstructures propres à les atteindre , 24 juillet 1997). Le décret précise qu'il s'agit d'un dispositif constitué des commissionscentrales, des groupes de travail, des commissions de programmes et des commissions d'outils d'évaluation visant àmettre en œuvre les objectifs généraux et particuliers définis conformément au décret. Pour une discussion plusapprofondie de ce sujet, on peut se rapporter à Magy (1998). Les articles du décret qui concernent le pilotage sontreproduits intégralement dans ce numéro des Cahiers, pp. 51-55.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009

Manuscrit auteur, publié dans "Les Cahiers du Service de Pédagogie expérimentale 5-6 (2001) 23-50"

http://halshs.archives-ouvertes.fr/halshs-00357701/fr/

http://hal.archives-ouvertes.fr

24 Cahiers du Service de Pédagogie expérimentale - Université de Liège - 5-6/2001


De manière à fixer un cadrethéorique et à définir ce concept, unlarge examen de la littératurescientifique a été entrepris. Cetarticle tentera de préciser lesdéfinitions et de décrire un ensemblede mécanismes de régulation baptisé,par analogie sans doute avec laconduite des navires, pilotage dessystèmes éducatifs (de Landsheere,1994).

Un concept en mal de traduction

La traduction de concepts abstraitsest souvent délicate, en particulierlorsque la terminologie renvoie à desprises de position idéologiques. Leconcept abordé dans ce texte ne faitpas exception. Ainsi, le termefrançais pilotage ne semble pas avoird'équivalent immédiat en langueanglaise, du moins dans le contextequi est le nôtre. Le terme anglaismonitoring ne contient pasnécessairement l'idée de conduitevolontaire que renferme le conceptfrançais (West, communicationpersonnelle). Monitoring, tel qu'il estemployé au Royaume-Uni, peut ainsiêtre utilisé dans le sens de collecte etde publication d'informations àdestination des décideurs politiques,sans nécessairement impliquer uneaction en vue d'un changement oud'une mise sous contrôle du systèmeéducatif. Chez certains auteurs, larégulation est considérée comme lerésultat naturel du processusd'information des acteurs, ceux-ciétant supposés rationnels et libres

d'agir selon leurs intérêts. Cetteconception de la régulation, baséesur la rationalité des sujets, la libreconcurrence et les lois du marché,s'oppose à la conception planifica-trice que pratiquent d'autres états,notamment par le biais de la cartescolaire lorsqu’il s’agit du choix del’établissement (Voir notamment lanote de lecture relative à l'ouvragede Patricia Dias da Graça, dans cenuméro des Cahiers).

Le texte de Pelgrum et Stoel (1996),rédigé en anglais et faisantdirectement référence à l'ouvrage dede Landsheere (1994) dont le titrecontient le mot pilotage, utilisent lestermes monitoring of educationaloutcomes, dans une perspectiveidentique à celle du terme français,incluant l'action sur le système, maiscelle-ci est relativement minimisée,du moins dans son traitement par cesdeux auteurs néerlandais. Ainsi, lesactions essentielles d’un cycle demonitoring sont l’évaluation,l’identification des carences, lediagnostic et la remédiation. [...] Ilsrelient ce concept à evaluation,assessment, quality managementet school effectiveness (p. 8).Cependant, la portée du termesemble plus limitée que celle quenous accordons nous-même auconcept de pilotage : par exemple,les auteurs ne traitent pas, dans leurcontribution, les actions entreprisesou à entreprendre au-delà dudiagnostic, ce qui tend à conférerau terme utilisé une valeur plusinformative que régulatrice.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Stark (DfEE, UK), pour sa part, netrouve pas d'équivalent anglais auconcept de pilotage1. Il précise:Target setting, benchmarking, self-evaluation, external evaluation,school development planning: toutcela constitue des techniques visantl'amélioration de la qualité desécoles (school improvement). Si toutcela est couvert par le terme"pilotage", c'est très bien ! Maisl’auteur préfère néanmoins évitertout recours à un terme unique,précise-t-il.

Hopes (1998) signale également ceproblème de traduction: aux termessteering (en anglais), Steuerung (enallemand), et piloting (en anglais),les pays anglosaxons préfèrentmanagement (en anglais), leadership(en anglais) et Führungsfähigkeit(en allemand).

Naturellement, le choix des termesinfluence les paradigmes. Il apparaîtdonc bien nécessaire d'expliciter leconcept de pilotage de manière à entrouver une définition précise et unetraduction aussi correcte quepossible, notamment en langueanglaise. Rapprocher par exemple leconcept de pilotage et celui deschool improvement, c'est-à-dire

1 M. Stark (DfEE, UK, Lettre aux auteurs du rapport,

29 août 1997) : As you know, I don't understand yourterm 'pilotage' and can find no equivalent in English.Target setting, benchmarking, self-evaluation,external evaluation, school development planning: allthese are key techniques of school improvement. Iftaken together they amount to what you mean by'pilotage', that's fine by me ! But in anything youwrite in English I would avoid the attempt to find asingle term.

l'amélioration de l'efficacité des sys-tèmes éducatifs, semble constituerune solution, même si ces deuxtermes ne sont pas exactementsuperposables (Reynolds et al.,1994 ; Willms & Raudenbush,1997). Ce sujet est notammentdiscuté par Demeuse et Denooz(2001) dans ce numéro des Cahiersdu SPE ou par Michel (2000).

Définir le concept de pilotage

Pour de Landsheere (1994, p. 37),piloter, c’est plus qu’accumuler desindicateurs. Le pilotage a troiscomposantes nécessaires : lacollecte d’informations, l’évaluationde ces informations, et, surtout, latraduction en actions institution-nelles ou en sanctions, c’est-à-direen approbations ou désapproba-tions. Selon Bottani et Tuijnman(1994), un indicateur n'est d'ailleurspas simplement une expressionnumérique ou une statistiqueindistincte. Il vise à donner desrenseignements sur les résultats ou lecomportement d'un systèmed'enseignement et peut être utilisépour informer les parties prenantes -décideurs, enseignants, élèves,parents et le public en général. Lesindicateurs fournissent également –et surtout – une base permettant desusciter de nouvelles visions et denouvelles attentes (Demeuse, 2000).Cette conception suppose une visionsystémique de l'éducation et unepossibilité d'intervention volontairesur le système (ce qui n'est pas sans

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



poser des questions en Belgiquefrancophone). On peut tenter derésumer les présupposés qui sous-tendent le concept de pilotage de lamanière suivante :

• La structure éducative d'un paysconstitue un système complexedont les variables et paramètressont multiples et les rapports entreceux-ci très nombreux. Les lienssont généralement de natureprobabiliste, plus que détermi-niste. Il convient de distinguer lescauses réelles des indicateurs de(dys)fonctionnement.

• Il existe, au sein des systèmespilotés, une certaine volonté ou uncertain nombre de volontés.Celles-ci ont, au moins de manièreimplicite, un projet pour lesystème : elles imaginent un étatidéal, une sorte d'état d'équilibre.

• Comme il peut exister plusieursprojets pour un même système,ceux-ci peuvent être, au moinspartiellement, contradictoires ouen concurrence. Il existecependant généralement une basecommune qui sert de finalité, aumoins provisoirement, à chaquesystème.

• La mise en concordance dusystème actuel avec l'étatsouhaité, c'est-à-dire tel qu'il estdéfini par les finalités, estnormalement l'objectif premierassigné au système lui-même.

• Tout déséquilibre du systèmeinduit, en général, une réaction ensens contraire, visant à rétablirl'équilibre perturbé.

Par commodité, et contrairement àde Landsheere (1994), nousproposons de distinguer quatreétapes dans la mise en œuvre dupilotage d'un système éducatif.

Au départ de l'état actuel du système,à propos duquel une série d'informa-tions sont récoltées et rassembléessous la forme d'indicateurs(1re étape), il est possible d'établir undiagnostic par rapport à l'étatsouhaité défini par des standards(2e étape). Cela postule qu'il peutexister une définition, au moinsprovisoire, d'un état "idéal" oud'équilibre qui est posé comme but àatteindre.

Si des discordances sont observéesentre l'état actuel du système et l'étatsouhaité, des actions doivent êtreproposées de manière à améliorerle système dans les perspectivesdécrites par l'état souhaité (3e étape).Ces actions sont mises en œuvre demanière à rendre le système plusconforme au modèle. La mise enapplication de mesures correctivesou de régulation doit, elle aussi, êtrecontrôlée et, éventuellement, expéri-mentée sur une partie du systèmeavant d'être généralisée (4e étape).Un système éducatif piloté est doncun système sous contrôle et pourlequel il existe des normes verslesquelles il doit tendre.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



La figure 1 propose une vue schéma-tique du modèle de régulation quenous appellerons par la suitePilotage du système éducatif. Nousavons adapté la figure initiale deD'Hainaut (1981) de manière àmettre en évidence le caractèrecyclique de ce mécanisme derégulation. En effet, il n'y a dans lepilotage, à proprement parler, nidébut, ni fin, mais une suite d'étapesordonnées qui s'enchaînent les unesaux autres de manière à atteindre unétat d'équilibre dynamique.

Cet état d'équilibre est susceptibled'être modifié par une redéfinitiondes objectifs à atteindre en fonctionde l'état actuel du système. Ainsi, parexemple, l'augmentation générale del'accès aux études de base, dans lespays développés, induit-elle uneaugmentation générale des exigencesen matière de démocratisation del'accès aux études supérieures, post-obligatoires.

Nous avons donc complété leschéma proposé par D'Hainaut en yajoutant, au centre, les objectifs etles finalités du système de manière àorienter les mécanismes de pilotageen fonction de ceux-ci. Les flèches àdouble sens indiquent que chaqueétape du processus peut modifier,infléchir ou altérer les objectifs.Cette opportunité est fonctioninverse de la force (légitimité,intérêt, réflexion...) de maintien desobjectifs initiaux.

La description des mécanismes derégulation sous cette forme (figure 1)peut éveiller la méfiance vis-à-vis dece qu'on pourrait appeler uneexpropriation de l'Homme, ou dumoins, la mise en place d'élémentsinterchangeables participant à unegrande mécanique qui lui échappedans son ensemble, dans laquellel’individu se transformerait enrouage dominé par quelques leadersprivilégiés, médiocres et mystifica-teurs, qui poursuivent leur intérêtpropre sous le couvert des idéologies(Sorokin, 1956, p. 558 et suiv., citépar Von Bertalanffy, 1984, p. 9).

Si Von Bertalanffy évoque cedanger, il pointe par ailleurs lesspécificités comportementales etsociales des organisations humaines,qui ne survivraient pas à untraitement mécanique des individus :

Nous pouvons cependant concevoirune compréhension scientifique de lasociété humaine et de ses lois d'unefaçon un peu différente et plusmodeste. [...] La société humainen'est pas une communauté defourmis ou de termites gouvernéepar un instinct héréditaire etcontrôlée par les lois d'un toutsuper-ordonné; elle est fondée surl'achèvement de l'individu et elle estperdue si l'individu n'est qu'unrouage de la machine sociale. C'est,je crois, le précepte ultime quepeut donner une théorie del'organisation : non pas un manuel

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



pour les dictateurs de toutes sortes,efficace pour dominer les êtreshumains en appliquant scientifique-ment les lois d'airain, mais unavertissement: le Léviathan del'organisation ne peut avalerl'individu sans sceller du même coupsa perte inévitable (1984, p. 51).

Dans le même sens, Cohen (1995)met aussi en garde contre lesréformes basées sur la seulemodification de ce qu'il baptise lesinstruments (les standards, lescurriculums, la formation desmaîtres, ...) sans s'intéresser auxacteurs de terrain eux-mêmes.

Par ailleurs l'éparpillement desresponsabilités renforce encore lesdifficultés rencontrées par lesdécideurs qui pensent pouvoirmodifier le système en utilisantuniquement des injonctions ou desmodifications instrumentales au sensdéfini par Cohen. C'est pour cetteraison qu'une vision unifiée, au seind'un système explicite de relations etd'actions, nous semble à la foispropice à une meilleure maîtrise dusystème éducatif par l'ensemble deses acteurs (des décideurs auxacteurs de terrain, des responsablesaux consommateurs) et à uneclarification de ce qui conduit à deréels progrès ou à des impasses.

Figure 1 : Un modèle général de pilotage.

PRISE D’INFORMATION

Sur les résultatsdu système

Sur le systèmeSur l’environnementSur les objectifs

Sur le fonctionnement du système

Évaluation du fonctionnement(Processus)

Évaluation des résultats(Produits)

MISE EN OEUVRE DES SOLUTIONS

Préparation Essai Application Intégration

Aux objectifsAux finalités

Sur le fonctionnement

du système

DÉTERMINATION

DES

OBJECTIFS

DIAGNOSTIC

Rejet Adaptation

DÉTERMINATION DES ACTIONS

Analyse critique des

solutions

Choix des solutions

potentielles

Formulation des

problèmes

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Un système sous contrôle

Le fait qu'un système éducatif est ditsous contrôle n'implique pas qu'il estcentralisé (ou décentralisé), maisuniquement qu'il existe une défini-tion claire des objectifs, à quelqueniveau que ce soit, et des mécanis-mes régulateurs qui permettent ausystème de s'ajuster effectivement.

Les quatre étapes du pilotagepeuvent ou non être distinguées dansles faits, soit qu'elles sont entreprisespar des entités distinctes, soitqu'elles sont menées par le mêmeorganisme.

Ainsi, en Belgique francophone, laprise d’information et son traitementsont souvent assurés par les scienti-fiques issus d'équipes universitaireset commandités par le Ministre, lesdécisions sont du ressort du politiqueet la mise en œuvre, de laresponsabilité de l'administration oumême d'organismes privés(puisqu'une partie importante del'enseignement, bien que subven-tionnée, est confiée à des pouvoirsorganisateurs privés).

Par contre, en France, l’administra-tion se charge généralement elle-même de la prise d’information, ausein de la Direction de l'Évaluationet de la Prospective (la DEP, quifonctionne à l’intérieur du Ministèrede l'Éducation1), même si elledélègue parfois ce soin à des équipes 1 Actuellement, Direction de la Programmation

et du Développement (DPD).

de scientifiques qui lui sontextérieurs, et tend de plus en plus àen élaborer l’analyse, tandis que leministre donne l’impulsion à denouvelles initiatives dans le domaineéducatif et que d'autres directionsgénérales de l'administration et lesacadémies sont chargées d'implanterles nouvelles décisions.

L'Angleterre, au départ d'un systèmetrès décentralisé (Local Authorities)s'est peu à peu, avec l'établissementdu National Curriculum, orientéevers un système plus centralisé, aumoins au niveau de l'établissementdu curriculum et de l'organisationdes examens (cette influence estmanifeste aux États-Unis également,via la mise au point et la publicationde Performance Standards natio-naux) (Michel, 2000, p. 23).

L'Espagne semble, quant à elle, etc'est plutôt une exception au sein del'Union, s'orienter vers plusd'autonomie aux régions, quant à laformulation d'une partie importantedu curriculum (Leclercq, 1994).

Il faut cependant distinguer lagestion courante d'un systèmeéducatif de son pilotage. Ainsi, toutsystème éducatif, s'il est organisé etadministré, n'en n'est pas pour autantpiloté. Nous parlerons de pilotagelorsque les quatre composantesdécrites ci-dessus sont présentes etarticulées les unes aux autres. Desdécisions prises sans informationpréalable et sans un diagnostic findes problèmes ne peuvent être

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



qualifiées de mesures de pilotage,pas plus que la simple prised'information ou l'établissement destatistiques (c'est pourtant le sensqu'il est parfois donné au termeanglo-saxon monitoring) sansvolonté ou possibilité d'agir sur lesystème dans un sens déterminé.

Micro et macro pilotages

Des actions de pilotage peuvent êtreentreprises à des niveaux très variés,en fonction de l'organisation dusystème éducatif lui-même. Onparlera de macro ou de micropilotage, selon les cas. L'émergenced'un système national de pilotage, estassez "naturelle" en France, oùl'éducation est organisée depuislongtemps sur une telle base, mêmesi une partie du système repose surdes autorités territorialement pluslimitées (les académies). Elle l'estbeaucoup moins en Allemagne et enBelgique, ou même en Angleterre oùles structures locales ou privéesont un assez large pouvoir enmatière d'enseignement depuis trèslongtemps.

Les établissements scolaires ou desgroupes d'écoles peuvent êtreconsidérés, pour certains aspects,comme des systèmes particuliers etoffrir la possibilité de mesuresde pilotage. Il s'agit alors de micropilotage, par opposition aumacro pilotage, entrepris à un niveaunational.

À un degré inférieur, le micro-pilotage devrait sans doute tenircompte des derniers résultats desétudes sur l'amélioration des facteursd'efficacité (school effectiveness).Les recherches semblent en effetmontrer que la plus grande part devariance dans les résultats se marquenon pas au niveau de l'école, mais auniveau de la classe.

Dans les salles de classe

Au niveau d'agrégation le plusfaible, la classe elle-même, lesenseignants reçoivent plus d'infor-mations qu'ils n'en peuvent traiter etnombre de ces informations sontinévitablement ignorées. Pour faireface à cette surcharge d'informa-tions, les enseignants doivent yapporter une attention sélective. Ilen résulte un système "d'indicateursen usage" dont l'application n'estpas très bien comprise. Si certainsde ces indicateurs sont utilisésexplicitement et de façon délibérée,d'autres restent implicites et sontutilisés intuitivement sans qu'on serende bien compte des critères surlesquels repose leur application.Contrairement aux effets escomptéspar les promoteurs de tests diagnosti-ques, les informations fournies auxenseignants ne les aident donc pasforcément à orienter leurs prises dedécision. Psychologiquement, cesévaluations viennent clore l'étuded'un sujet plus qu'elles ne l'ouvrent(Eraut, 1984).

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Ces considérations renvoient auproblème de la responsabilité desdifférents acteurs : l'intégration deréformes, lorsqu'elles paraissentémaner d'une autorité administrativeéloignée des réalités locales, ouqu'elles sont le fruit des travaux dechercheurs parfois trop distants desprofesseurs, risque de se heurter à unrefus de la part des professeurs.Selon Brown (1995, p. 9), l’implica-tion et l’engagement des professeursdans ce mécanisme, doublés d’unsentiment de propriété et deresponsabilité à l’égard des prises dedécisions, est une part essentielle duprocessus d’innovation.

De plus, [...] l'enseignant n'est pas leseul décideur dans sa classe. Lesélèves y prennent constamment desdécisions. [...] Qui plus est, si lanotion de salle de classe est élargiepour y inclure les devoirs à faire à lamaison, même les parents ontpouvoir de décision dans ce domaine(Eraut, 1984). Pour d’aucuns, il estfondamental que les questions liéesau processus d’apprentissage, etnotamment les relations entre lesdifférents acteurs, ne soient pasconfinées au domaine interne.L’OCDE (1997, notamment)considère que ces questions sontprimordiales pour instaurer l'équitédans le domaine éducatif.

Inspections individuelles et auditsd'établissements

Une autre forme de pilotagerapproché ou de micro pilotage peut

être confiée au corps d'inspectionlorsque celui-ci existe. Un certainnombre de voix se sont cependantélevées contre le rôle et l’action del’inspectorat. En se basant surplusieurs arguments, Kogan (1996)propose une critique très virulente dece corps.

Premièrement, l’action de l’évalua-teur externe est très souvent ressentiepar les personnels locaux, au pirecomme une menace, au mieuxcomme une remise en question de laqualité de leurs activités et de leurscompétences. Cette attitude dedéfiance vis-à-vis des inspecteursvient du fait que ceux-ci, tout enétant souvent définis comme desconseillers, peuvent égalementprendre des sanctions s’ils estimentque le travail de l’enseignant n’estpas satisfaisant. Par ailleurs, cetteaction d'inspection s'exerce le plussouvent à l'encontre d'agents isolés,considérés séparément les uns desautres et du contexte dans lequel ilssont amenés à enseigner, alors que laplupart des systèmes éducatifsdéfinissent l'éducation comme untravail d'équipe.

La validité même des évaluations parl'inspection est, elle aussi, contestéedans la mesure où elles reposentgénéralement sur une base trèsmince : l’inspecteur reste peu detemps dans la classe, et établit sonjugement en fonction, le plussouvent, de son expérience dans ledomaine.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Un autre reproche est encore adresséà l'inspection : dans bon nombre decas, le corps d’inspection n'a pastoujours bénéficié d'une formationsuffisante et orientée vers lesfinalités de cette fonction. Kogan(1996) considère que la pratiquede cooptation méthodologique desinspecteurs, c'est-à-dire leur désigna-tion par les pairs, est propice à laperpétuation de modèles d’évalua-tion anciens, dépassés ou franche-ment inadéquats. Il pose dès lors leproblème de la formation réelle desinspecteurs, pour les faire passerd’un statut d’amateurs éclairésà celui de professionnels del’évaluation.

Par ailleurs, le contexte est souventartificiel, puisque la seule présencede l’inspecteur peut suffire àmodifier la situation. Dès lors,l’inspecteur ne porte plus unjugement sur l’activité en classe,mais sur le travail effectué dans uneclasse où l’on trouve un inspecteur.

Une solution pour rencontrer cescritiques consiste à confier à uneéquipe, et non plus à des inspecteursisolés, la tâche d'effectuer un auditau sein d'un établissement et nonplus une visite d'inspection auprèsd'un seul enseignant de l'école.Plusieurs systèmes éducatifs se sontdéjà ralliés à ce type de solution,notamment le Royaume-Uni etl'Irlande, où les audits d'établisse-ment sont publiés et un suivi assuré,ou encore la Communauté flamandede Belgique. D'autres encore ont

opté pour la suppression pure etsimple de cette fonction ou la priseen charge de celle-ci par d'autresinstances (les chefs d'établissement,les conseils d'administration desécoles, les municipalités, ...).

Hopes (1997) propose une synthèsedes pratiques dans ce domaine àtravers les différents États Membres.

Trois fonctions et trois niveaux

Mélèze (cité par Garant, 1996)distingue trois types de pilotage. Cedécoupage correspond, pour unegrande partie, à la descriptiondes trois fonctions (politique,administrative et technique) faitespar D'Hainaut (1981). Ces trois typessont, par ailleurs, associés à desniveaux distincts et sont définis de lamanière suivante:

• le pilotage stratégique : ilconcerne la définition des politiqueset des objectifs, ainsi quel'affectation des ressources globales,toutes deux généralement réalisées àl'extérieur de l'établissement;

• le pilotage de gestion : il concerneles décisions internes, en particulierla répartition des tâches et desmoyens, prises en tenant compte despolitiques et objectifs générauxdéfinis au niveau supérieur;

• le pilotage opérationnel : ilconcerne les procédures répétitives,reproductibles automatiquement

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



sans qu'il y ait nécessité d'interven-tion humaine réfléchie lors de lamise en œuvre pratique de laprocédure, ou bien des décisionsd'ajustement de détail dans laréalisation des tâches à partir desobjectifs préétablis dans le pilotagede gestion. Ce sont les opérateurs deterrain, en particulier les ensei-gnants, ainsi que les élèves, si ceux-ci sont associés aux décisionsrelatives à une action, qui réalisentles décisions de ce niveau.

Dans cette perspective, le niveau dela prise d'information peut sedistinguer de celui de l'action derégulation. Ainsi, une informationnationale, par exemple le nombre dereçus à un examen national ou lastructure de la population diplôméeau niveau du pays, peut amener à desdécisions régionales, voire locales.La géographie de l'École en offreune bonne illustration : ce document,établi au niveau du Ministère del'Éducation nationale française,précise : Les régions, correspondantle plus souvent au ressort desacadémies, apparaissent biencomme un niveau pertinent d'étude,puisque niveau de décision relevantde la responsabilité d'un recteur ence qui concerne l'action de l'État, oud'un conseil régional s'agissant descompétences dévolues auxcollectivités territoriales. [...] Sinotre éducation reste nationale, ellen'est plus et ne peut plus être unsystème uniforme et centralisé (p. 3).[...] Le mouvement de diversificationtouche aussi, de manière

irréversible, la gestion et la politiqueéducatives, qui associent désormaisles services déconcentrés de l'État, etles collectivités territoriales assurantactuellement près de 20 % desfinancements totaux (p. 4).

On peut trouver un autre exemple enSuède où la publication de rapportsnationaux à propos des dépenses parélève, des équipements des écoles,de la guidance des élèves, des repasofferts ou des transports scolaires estassurée par une agence nationalepour chacune des municipalités quiont en charge l'organisationmatérielle de l'enseignement et quijouissent ainsi d'une très grandeliberté en cette matière puisqu'ellesreçoivent une subvention globale.

La prise d'informations

La première étape de tout système depilotage consiste, nous l’avons dit,en une prise d'information. Desmodèles de mesure pertinents, quipermettent de saisir l'état réel dusystème et ce qui le sépare de l'étatidéal doivent alors être mis enœuvre. Cela suppose la réalisationd'indicateurs pertinents, précis etvalides.

La définition d'indicateurs

De Landsheere (1992) définit unindicateur comme une mesuredestinée à servir le pilotage,l’indicateur est une donnéestatistique directe et valide

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



informant sur l’état et leschangements d’ampleur et de nature,au cours du temps, d’un phénomènesocial jugé important. En éducation,cette mesure informe notamment surla santé et la qualité defonctionnement du système, sur ceque connaissent les élèves, ce qu’ilssont capables de faire, et surl’évolution positive ou négative deces conditions ...

Darling-Hammond (1994a, pp. 387-388) précise, en citant Shavelson etses collègues : Leur fonctionprimordiale... est de caractériser lanature d'un système à travers sescomposantes, les relations d'interdé-pendance existant entre celles-ci, etleur modification dans le temps. Cesinformations peuvent servir àmesurer les progrès accomplis - versla réalisation d'un objectif ou d'unenorme, par rapport à un pointantérieur, ou encore parcomparaison avec les résultats d'unsystème ou d'un pays différent(Shavelson et al., 1989, p. 4). Lesindicateurs sont donc par nature desinstruments d'évaluation et non desimples vecteurs d'information.

La fonction évaluative desindicateurs leur confère parconséquent une nature politique ouidéologique. En effet, les décisionsrelatives aux indicateurs del'enseignement sont fonction desobjectifs poursuivis par différentsacteurs au sein de la société.Différentes théories sur la finalité del'école imposent des champs

d'investigation différents (Eisner etVallance, 1974). Aussi l'évolution dela perception qu'à une société - ou leparti politique dominant du moment- de ses besoins et de ses objectifs enmatière éducative peut-elle influen-cer la nature des données collectéeset l'usage qui en est fait. Du coup,les indicateurs contrôlés par lespouvoirs publics ont eu tendance àrefléter les idéologies politiques etsociales dominantes de chaquepériode historique, et des politiquesont été mises en œuvre poursatisfaire - ou dans certains cascontrecarrer - les priorités affichéesen matière d'éducation.

L'établissement d'indicateurs n'estpas sans risque ni sans enjeu. Etl’apparente objectivité des donnéesquantitatives ne doit pas masquer lanécessaire subjectivité de leursconcepteurs, ni éluder la réflexionsur leur pertinence et leurslimites (Darling-Hammond, 1994a;Demeuse et Blondin, à paraître).

Ainsi, l'élaboration d'un ensembled'indicateurs doit s'accompagnerd'un effort concerté pour instruireles usagers sur la pertinence et lasignification de certaines catégoriesd'informations : des explications surla façon dont les programmes et lesrésultats sont modelés par lespolitiques, les ressources et lespratiques éducatives, ainsi quepar des facteurs extra-scolaires.Des observations qualitatives sur lespratiques éducatives devraientaccompagner les indicateurs quanti-

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



tatifs. En outre, les indicateursdevraient toujours être présentésavec un exposé sur leurssignifications, leurs limites et leursinterprétations.

Des indicateurs articulés sur la based'un modèle général

La figure 3, extraite de Regards surl'Éducation (OCDE/CERI, 1995),décrit un système particulierd'indicateurs, mis en place parl'OCDE. Globalement, cette prised'information porte sur trois types dedonnées : les données relatives àl'environnement du système (inputou contexte), les données relativesau fonctionnement du système

éducatif lui-même (coût, ressourceset processus scolaires) et sur lesrésultats obtenus (output ou résultatsde l'enseignement). L'organisationdes indicateurs diffère de cellesproposées par d'autres auteurs. Enfait, dans le modèle adopté parl'OCDE, tous les indicateurs quiconcernent le fonctionnement dusystème, y compris les moyensfinanciers mobilisés, sont placésdans un même ensemble alors queces derniers sont assez généralementconsidérés comme des inputs,notamment chez Shavelson et al.(1989), ainsi que le montre lafigure 2.

Figure 2 : Les composantes d'un système éducatif (selon Shavelson et al., 1989, p. 6).

INPUTS PROCESSUS OUTPUTS

Finances etressources

Qualité desenseignants

Situation desélèves

Qualité de l’école

Qualité ducurriculum

Qualité del’enseignement

Qualité del’apprentissage

Résultats scolaires

Participation

Attitudes etaspirations

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Coûts, ressources et processus scolaires

Figure 3 : Un système d'indicateurs (OCDE, 1995, p. 14).

Ressources financières

Dépenses d’éducation

F01 : Dépenses d’éducation par rapport au PIB.F02 : Dépenses des établissements d’enseignement

publics et privés.F03 : Dépenses d’éducation par élève/étudiant.F04 : Répartition des crédits par niveau

d’enseignement.F05 : Dépenses de fonctionnement et dépenses en

capital.

Sources de financement

F11 : Fonds publics et fonds privésF12 : Financement public par niveau administratif.F13 : Part de l’éducation dans les dépenses

publiques

Participation à l’enseignement

P01 : Scolarisation dans l’enseignement formel.P02 : Éducation préscolaire.P03 : Scolarisation dans le secondaire.P04 : Spécificités du passage de l’enseignement

secondaire à l’enseignement supérieur.P05 : Accès à l’enseignement supérieur

P06 : Fréquentation de l’enseignement supérieur.P08 : Éducation et formation continues des adultes.

Processus et personnel

Temps d’enseignement

P11 : Temps d’enseignement par matièreP12 : Heures de cours.

Processus scolaires

P21 : Répartition des élèves en groupes dans lesclasses.

Ressources humaines

P31 : Personnel de l’enseignement.P32 : Nombre d’élèves par enseignant.P33 : Temps d’enseignement.P34 : Formation des enseignants.P35 : Rémunération des enseignants.P36 : Spécificités des enseignants.

R-D pédagogique

P41 : Personnel de R-D pédagogique.P42 : Dépenses afférentes à la R-D pédagogique.

Contexte de l’enseignement Résultats de l’enseignementContexte démographique

C01 : Niveau d’instruction de la population.C02 : Niveau d’instruction par sexe.C03 : Jeunes et ensemble de la population.

Contexte économique et social

C11 : Taux d’activité et niveau d’instruction.C12 : Chômage des jeunes et des adultes.C13 : Revenu national par habitant.

Opinions et attentes

C21 : Importance des matières inscrites auprogramme.

C22 : Importance de certaines qualités.C23 : Confiance du public en l’école.C24 : Responsabilité éducative de l’école.C25 : Considération accordée aux enseignants.C26 : Aspects prioritaires de l’action de l’école.C27 : Prise de décisions par les établissements

scolaires.

Au niveau des élèves

R04 : Progrès en lecture.R05 : Fréquence de la lecture.

Au niveau du système d’enseignement

R11 : Réussite à la fin du deuxième cycle dusecondaire.

R12 : Niveau de formation supérieure.R14 : Diplômes universitaires.R15 : Personnel scientifique.

Au niveau du marché du travail

R21 : Chômage et niveau d’instruction.R22 : Niveau d’instruction et salaires.R23 : Niveau d’instruction des travailleurs.R24 : Situation au regard de l’emploi des jeunes qui

sortent du système éducatif.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Les indicateurs "orientés"

Un tel ensemble d'indicateurs ne selimite pas à la seule évaluation desrésultats des élèves, mais prend encompte un grand nombre devariables qui constituent etconditionnent, parfois indirectement,l'environnement de la classe. Aussila sélection des données évaluéesrelève-t-elle d'un choix, plus oumoins délibéré, de la part desresponsables politiques, administra-tifs et/ou scientifiques (Demeuse &Blondin, à paraître).

À ce point, nous assistons à unedivergence dans l'évolution despolitiques éducatives anglo-saxonneset des politiques continentales1. Cesdernières ont tendance à accorderune importance grandissante àl'évaluation de performances non-cognitives (attitudes, comportementsde socialisation, ...). Pour ce faire,une série d'indicateurs qualitatifs ontété mis au point, afin d'évaluer lesacquis dans des matières qui nerelèvent généralement pas du tronccommun (comme l'histoire,l'instruction civique, etc.). Cettetendance, liée au développement dunon cognitif, parfois appelé savoir-faire ou savoir être, est valorisée parle monde des entreprises quidemande de plus en plus que lesélèves des filières technique et 1 Cette tendance peut être confirmée notamment

en comparant la liste des pays qui ont participé àla Troisième Etude sur les Mathématiques et lesSciences de l'IEA et à l'étude sur lescompétences civiques (Etude Civics Educationde l'I.E.A.).

professionnelle soient à même demobiliser de telles compétences, enplus de leur bagage intellectuel.

Les anglo-saxons opèrent plutôt unrecentrage sur les matières du tronccommun. Ce mouvement peuts'expliquer tout d'abord parl'importance accrue donnée à cesdisciplines lors de la compositiondes programmes. Le développementd'indicateurs adaptés principalementà l'évaluation de ces matières(indicateurs quantitatifs) a conduit ànégliger les matières non cognitives,dont l'évaluation pâtissait del'absence d'outils d'évaluationadaptés ou relativement plus simplesà mettre en œuvre.

On constate ainsi une des dérivespossibles que peut amener l'instaura-tion d'un système d'évaluation, quipeut se condenser dans la formule :Dis-moi comment tu évalues et je tedirais quelle école tu façonnes. Leprincipe d'une telle évolution estsimple. Si l'autorité qui pilote lesystème dispose d'outils d'évaluationadaptés à un certain type dematières, elle aura tendance àprivilégier ces disciplines dans sesprogrammes, pour la simple raisonqu'elle dispose d'informationscrédibles concernant l'apprentissagede ces disciplines. À partir dumoment où un ministère del'éducation obtient des mesuresfiables sur l'apprentissage d'uncertain nombre de compétences, sonattention se dirige naturellement versces domaines, au détriment d'autres

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



matières aux bénéfices plusdifficilement cernables. Cette dériveest liée à l'effet de reflux oubackwash effect en anglais (voir

Encadré 1). Les autres acteurspeuvent aussi modifier leur prioritédans le même sens.

Encadré 1 - Effet de reflux ou Back-wash Effect.

C’est ce que les anglo-saxons (Anderson & Wall, 1993) appellent le backwash effect, ou effet en retour. Enfrançais, le terme consacré, lorsque ce reflux comporte un effet essentiellement négatif, est celui de bachotage,faisant directement référence aux effets pervers que peuvent engendrer des épreuves nationales du typebaccalauréat

Pour remédier à cet effet de retour négatif, Broadfoot (1994) propose qu’un test ne devrait être considéré comme“ systématiquement ” utile que lorsqu’il conduit à des changements dans les programmes d’études et lapédagogie qui favorisent l’acquisition des compétences (cognitives) qu’il est censé mesurer.

L'effet en retour ne peut pas, en soi, être considéré comme négatif. Informer les acteurs du système peut en effetorienter leur action vers les objectifs définis, sans qu'il soit nécessaire de prendre des mesures administrativescontraignantes (option rationaliste). Cependant, comme nous l'avons vu, des effets pervers, par exemple,l'orientation de tous les apprentissages en vue de la réussite d'un examen externe et non plus des finalités réelles,peuvent également apparaître. Pour une discussion de ces phénomènes, consulter par exemple Anderson et Wall(1993) ou encore Porter (1988, p. 504), cité par de Landsheere (1994, p. 39).

Le pilotage du pilotage ou les finalitéspoursuivies lors de la mise en placed'un système de pilotage

De la même manière, le choix dumodèle général de pilotage aura uneinfluence sur les matières ou lescompétences qui seront testées. Lesprises d'informations peuvent êtreorientées vers les seuls processuscognitifs ou prendre ainsi en compteles aspects de socialisation (méthodede travail, éducation civique, ...).Mais, comme nous venons del’évoquer, cette influence peut seprolonger bien au-delà et modifierl’orientation générale des objectifsdu système eux-mêmes. Car le choixdes matières pilotées, et l’apportd’informations sur ces seulesmatières, risque d'entraîner un

recentrage de l’enseignement surcelles-ci.

De Landsheere (1994) distinguedeux modèles de pilotage : le modèletechnologique et le modèlehumaniste.

Le premier vise prioritairementl’optimisation de la productivité,sous un angle étriqué fort loin del'actuelle perspective couverte par leconcept de anglo-saxon du schoolimprovement. Structuré par lemodèle béhavioriste, le premiermodèle s’attache principalement àmesurer les performances des élèves,généralement lors d’épreuves quiconduisent à un niveau supérieurd’enseignement ou à l’obtentiond’un diplôme. Un tel systèmeengendre nécessairement un effet

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



pervers, le reflux négatif, dans lamesure où les contenus enseignéssont prioritairement orientés vers laréussite des épreuves finales, plutôtque motivées par une volonté defournir une éducation qui soit lameilleure possible.

À l’opposé, le modèle humaniste secentre plus sur l’individu à éduquer,en insistant sur les potentialités qu’ilpourrait développer. Le but del’apprentissage est donc, dans ce cas,d’amener l’élève à acquérir la pleinepossession de ses moyens plutôtqu'à obtenir une note élevée à uneépreuve décontextualisée. Àl'extrême, ce modèle conduit auxdémarches d'innovation, familières àun grand nombre de pays "latins" oùl'idée, une fois émise, est supposéeconcrétisée, et les effets escomptés,pris pour effets réalisés. Dans cecontexte, l'innovation est prise dansson sens premier, c'est-à-direl'introduction d'une nouveauté, sanspréoccupation véritable pour ce quidevrait être son objet central :l'amélioration des résultats desélèves.

Rendre publics les résultats ?

Lorsque des données ont étécollectées, et analysées, il reste àdéterminer l’usage que l’on va enfaire, par exemple, les diffuser, à quiet sous quelle forme.

Une information à un large public,au-delà des politiques ou de

l'administration scolaire, peut êtreperçue comme un devoirdémocratique, mais peut aussientraîner des effets pervers. Parexemple, une étude comparative desrésultats obtenus dans différentsétablissements d’une région ou d’unpays, peut alimenter une concurrenceentre écoles (comme en Angleterreou en France) ou entre réseaux, surla base d'informations partielles (parexemple, des résultats à un examennational par établissement, sansinformation sur la nature despopulations recrutées dans lesdifférentes écoles ou les moyensaffectés). De plus, les chiffres brutsn’ont pas toujours de valeur en soi;ils n’en acquièrent qu’à conditiond’être correctement interprétés pardes personnes compétentes. Ladiffusion des résultats bruts, au lieude servir un but de transparence,risque parfois d’entraîner desincompréhensions et des débatsfaussés, voire dangereux.

La diffusion sauvage des résultatspar établissement constitueégalement une façon de réguler lesystème scolaire en instituant laconcurrence et les lois du marché ennorme de fonctionnement alors queles consommateurs ne sont pastoujours qualifiés pour juger aumieux de la qualité réelle, parexemple en terme de valeur ajoutée,des différentes écoles. À l'opposé, unsystème, connaissant une cartescolaire, peut considérer qu'il est deson devoir démocratique d'informerles parents de la bonne tenue de

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



l'établissement que doit fréquenterleur progéniture, la concurrence nepouvant jouer comme un moteurentre écoles.

Pour conclure sur ce point, nousrappellerons que les élémentsd’information recueillis sur lesystème éducatif doivent êtreconsidérés comme l'un desinstruments d'une action politiqueefficace. Ils ne sauraient sesubstituer à une évaluation réfléchieni à des décisions complexes(Darling-Hammond, 1994a, p. 407).

La comparaison entre l'état observéet l'état idéal : la phase de diagnostic

À partir des observations faites et dela formulation, plus ou moinsexplicite, de l'état idéal du système,une comparaison entre état observéet état idéal peut être entreprise.C'est à partir de ce diagnostic,résultant de l'écart entre deux états,que des actions pourront êtreformulées.

Le diagnostic peut s'établir à partird'informations variées. Dans certainscas, il est basé sur le recueild'informations via questionnairesauprès des établissements. Dansd'autres cas, il recueille égalementles résultats obtenus lors d'épreuvesstandardisées (résultats individuels,taux de réussite...).

Parfois, il consiste en des visites d'uncorps d'inspection, soit que celles-ci

sont dirigées vers des enseignants enparticulier, soit qu'elles prennent laforme d'audit d'établissements.

Dans certains systèmes, les écoleselles-mêmes sont tenues de produireun rapport d'activité dans lequel ellesmentionnent les avancements réali-sés en fonction de critères généraux,définis pour l'ensemble du système,ou de priorités propres développéesdans le projet d'établissement. Leprojet d'établissement est alors, dansce cas, une sorte de standard localpermettant d'évaluer les progrèsréalisés à ce niveau.

Le pilotage doit se comprendrecomme un ensemble de procéduresqui visent à modifier un systèmevers un objectif. Dans la mesure oùtoute action doit être dirigée vers unbut, il est nécessaire de préciser lesobjectifs qui sont poursuivis par unetelle stratégie. Il ne suffit pas de direque le pilotage tend à l’améliorationde l’éducation. Il est nécessaire depréciser ce qui est entendu par cetteamélioration. Pour cela, il convient,au préalable, avant même d'opérerdes prises d'informations sur lesystème, de définir les objectifsassignés à celui-ci.

De la définition des "standards" etde "l'état idéal"

On peut distinguer trois niveauxprincipaux auxquels sont définisles objectifs poursuivis parl’enseignement.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Il y a tout d’abord la définition desfinalités. Celles-ci ressortissent auxbuts les plus généraux qu’une sociétéou un ensemble de sociétéssouscrivant au même modèle socio-politique, se donnent. L’éducation,qui forme les futurs citoyens, voitson projet général inscrit dans unefinalité en accord avec sesfondements. Que ce soit au niveausupranational (par exemple,Déclaration universelle des Droitsde l’Homme), au niveau national,Constitution ou dans la transpositionlégislative (par exemple, Loisd’Orientation scolaire), une série devaleurs sont posées, qui orientent ladémarche pédagogique. Un exempled’objectifs généraux, dans le cadredu système éducatif français, nousest donné par Thélot (1993, p. 11) :Les objectifs du système éducatiffrançais sont au nombre de trois :- transmettre des connaissances, dessavoirs, une culture; - préparer à lavie professionnelle; - former à la vieen société et, dans une démocratiecomme la nôtre, à la citoyenneté, et,par là, contribuer à la constructionet à l’identité du pays.

Ces objectifs très généraux doiventêtre transposés sous la forme de pland’études ou de programmes qui

balisent la pratique éducative desenseignants. On peut rassembler cesdéfinitions sous l’appellationd’objectifs généraux. À ce niveau, siles conseils des scientifiques del’éducation sont importants, c’estmalgré tout le politique qui, endéfinitive, prend les décisions enmatière de programmes.

Ces derniers passent enfin au niveaude leur application, lorsque lesenseignants les traduisent enobjectifs particuliers, c’est-à-dire lesbuts poursuivis lors des différentesséquences d'apprentissage.

La figure 4 présente une analyse dusystème tel qu'il est décrit ci-dessus.Cette conception, typique de l'I.E.A.,organisme non gouvernementalimpliqué dans l'étude comparativedu rendement des systèmes éduca-tifs, décrit le système globalementd'abord, puis de façon de plus enplus proche des élèves de manière àexpliquer le rendement scolaire deceux-ci (attainment). La distinction,au niveau des curriculums (prévu,mis en œuvre et réalisé, au sens demaîtrisé par les élèves), est associéeà un niveau de plus en plus prochede l'élève (le système, l'école ou laclasse et, enfin, l'élève lui-même).

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Figure 4 : Un modèle de recherche de l'IEA (Plomp et Loxley, 1994, p. 209).

Eléments etconditions dusystème

Antécédents etcaractéristiquesdes élèves

Cadreinstitutionnel

Conditions etprocédurespropres à l'écoleet à la classe

Comportementdes élèves

Prévu

Mis en oeuvre

Réalisé

Système

Ecoleou classe

Elève

Antécédents duprogramme

Contexte duprogramme

Contenu duprogramme

Caractéristiquesde la collectivité,de l'école et desenseignants

Cette analyse est également partagéepar Pelgrum et Stoel (1996) àtravers les trois niveaux (macro,méso et micro) qu'ils associentrespectivement aux intended

objectives (prévus), aux implementedobjectives (mis en oeuvre) et auxrealized objectives (réalisés). Lafigure 5 présente cette articulation,selon Pelgrum et Stoel.

Figure 5 : Articulation du système MACRO, MESO et MICRO présenté par Pelgrum et Stoel avec lemodèle développé par l'I.E.A. (Pelgrum et Stoel, 1996).

LEVEL

MACRO

MESO

MICRO

implementedobjectives

realizedobjectives

6

intendedobjectives

4

3

5

2

1

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



La prise en compte des différentsobjectifs amène à la définition d’unétat final vers lequel le processuséducatif doit tendre. Qu’il soitenvisagé à titre d’idéal ou visécomme réalisation possible, c’est cetétat, en accord avec les finalités etles objectifs généraux, qui vadéterminer les stratégies mises enœuvre ou à mettre en œuvre par lacommunauté éducative. Cette étaped'opérationnalisation est primordiale.Elle doit aboutir, pour permettre unpilotage, à la définition de critères dequalité (ou standards) qui servirontde mesure entre l'observé et lesouhaité.

À cette fin, les standards doiventposséder un certain nombre depropriétés. Ces propriétés sontdécrites par exemple, par Husen etTuijnmann (1994, p. 17) :

1 - les standards sont définis enfonction des buts et desobjectifs;

2 - les standards ont une placecentrale dans le systèmeéducatif et déterminent laconduite du système tantactuel qu'à venir;

3 - les standards ont à la foisun rôle diagnostique etdécisionnel;

4 - les standards doivent êtreaccessibles à tous lesdécideurs;

5 - les standards doivent êtrequantifiables et impliquer lamesure de comportementsobservables plutôt que desperceptions;

6 - les standards doivent êtrevalides et fidèles;

7 - les standards devraient avoirune portée générale;

8 - les standards devraientpermettre les comparaisons;

9 - les standards devraient êtreaisément opérationnalisables.

Le niveau de définition de cesstandards de qualité peut être fortdifférent d'un état à l'autre et d'unediscipline à l'autre, en fonction ducaractère plus ou moins centralisédes systèmes éducatifs. Les auteursde langue anglaise font aussi appelau concept de benchmark pourdésigner ces repères.

Darling-Hammond (1994b) attirel'attention sur ce qu'elle appelle leprésupposé d'intelligence hiérarchi-que1 qui voudrait qu'un niveausupérieur de pouvoir (par exemple,national) soit plus compétent enmatière de définition de standardsqu'un niveau moins élevé (parexemple, local).

Le modèle général proposé ne tendpas à trancher le débat du niveau depouvoir impliqué par la définitiondes standards. Simplement, il tented'identifier s'il existe une définitionclaire de ceux-ci et s'il n'existe aucunconflit entre des définitions propo- 1 [...] J’utilise les termes « présupposé

d’intelligence hiérarchique » car un niveausupérieur de pouvoir prend des décisions plusimportantes et suscite des idées sur une basemieux informée qu’un pouvoir de niveauinférieur, et ces idées sont applicables etnécessaires à des prises de décisions au niveaurégional (1994b, 493-494).

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



sées par des niveaux différents ouentre les définitions et leur mise enœuvre pratique.

La formulation de standardsn'implique pas nécessairement leurimplémentation réelle au sein desclasses, notamment en raison de lamarge interprétative dont ils fontl’objet. Ainsi, Cohen (1995) cite lesrésultats d'une enquête réalisée enCalifornie :

L’enseignement dans les classess’est mis à changer quand lesprofesseurs ont réagi à la réformedu système éducatif et quand on amis de nouveaux matériels à leurdisposition. Toutefois, cette réformea elle aussi commencé à changer aufur et à mesure qu’un nouveau typede guidance ambitieux s’est infiltrédans le « non-système » fragmentéde la direction de l’école à l’égarddes enseignants. Ceux-ci appréhen-dent et interprètent cette nouvelleguidance en fonction de leursdiverses connaissances, convictionset pratiques. Certes, elle a influencél’enseignement, mais la plupart desenseignants ont eu toute latituded’attribuer des sens différents auxnouvelles mesures politiques et d’yréagir idiosyncratiquement.

Le problème, comme le préciseClune (1993), réside dans la mise enplace d'une combinaison harmo-nieuse entre le niveau fixant lesstandards, et le niveau local

dispensant l'éducation1. Il convientdonc, comme dans l'exemple cité parcet auteur à propos de l'État deCalifornie, de prendre en compte lefait que : la voie centralisatriceserait de préciser que les plansd’évaluation sont impératifs (c'est-à-dire qu’ils excluent toute approchealternative), d’incorporer ces plansd’évaluation dans une séried’examens cruciaux pour les élèveset enfin, d’instaurer dans tout l’étatun système centralisé de formationdes enseignants, basé sur les plansd’évaluation. Tout en considérantque l’option décentralisée adopteraitla direction opposée : proposer lesplans d’évaluation de l’état commeun cadre possible, mais accepterd’autres options, éviter les examensà gros enjeux et se fonderprincipalement sur l’améliorationdes pratiques de l’enseignement etsur le développement du corpsenseignant.

De la nature des critères decomparaison

Ces critères peuvent être de deuxtypes : soit absolus, c’est-à-dire quiévaluent le développement del’individu par rapport à ses proprescapacités, en termes de différenceentre celles-ci et les objectifs àatteindre (approche critériée); soitrelatifs, c'est-à-dire qui indiquent si 1 [...] l’objectif est de définir des mesures qui

combinent les standards élevés de la politiqueéducative avec une vaste gamme d’options entermes de curriculums et un système dedistribution au niveau régional particulièrementefficace.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



les élèves d’un groupe donné sontmeilleurs ou non que ceux d’un autregroupe (classe, école, réseau,pays ...) (approche normative).L'évaluation des apprentissagessuppose aussi qu'on identifie lesoccasions réelles qui sont offertes

aux élèves et pas uniquement ce quele programme prescrit. Cetteapproche du curriculum réellementimplanté fait appel à la notiond'opportunité d'apprentissage ou, enanglais, d'Opportunity to Learn(OTL) (voir Encadré 2).

Encadré 2 - Opportunités d'apprentissage ou Opportunity to Learn (OTL).

La notion d'OTL (en anglais, "opportunity to learn") est un concept essentiel dans le domaine des comparaisonsentre groupes d'élèves. Plomp (1985, p. 282) précise : Dans toutes les études de l'IEA, une évaluation desquestions est toujours demandée aux enseignants : cela signifie qu'il leur est demandé si le contenu nécessairepour répondre à chaque question du test de performance a été enseigné aux élèves durant l'année en cours,durant une année antérieure ou n'a encore jamais été abordé. [...] les scores au test, ajustés en fonction del'OTL, peuvent fournir une meilleure perception de la qualité des processus éducatifs réellement mobilisés.

Cet ajustement, s'il est pertinent lors de comparaisons internationales, puisqu'il tient compte des matièresréellement enseignées et non des contenus prescrits par les programmes ou les instructions officielles, peut avoiraussi tout son sens au sein d'un même système éducatif dont les curriculums pourraient être implantés sur unebase régionale ou lorsqu'il existe des disparités importantes entre établissements. Cependant, la "qualité" de cetteopportunité n'est pas prise en compte dans ce genre de mesure. C'est ce que décrit Astin (1990, p. 462):Néanmoins, étant donné les disparités importantes entre ressources éducatives et renoms associés auxhiérarchies institutionnelles, toute définition de l’équité ou de l’égalité d’accès doit également tenir compte de laqualité de l’opportunité proposée. En d’autres termes, le fait de garantir que ces opportunités soient accessiblesà tous n’est pas un facteur garant d’équité, sauf si ces opportunités sont elles-mêmes comparables entre elles.Cette remarque, formulée dans le cadre de l'enseignement supérieur aux Etats-Unis est tout aussi pertinente dansle cadre de nos propres recherches sur l'enseignement obligatoire en Europe où un certain nombre d'ÉtatsMembres connaissent des variances interclasses et interécoles parfois très élevées, même au niveau del'enseignement fondamental et dans des matières appartenant en général à ce qui est considéré comme prioritaireou faisant partie du "tronc commun" (lecture et mathématique, par exemple).

Les critères d'évaluation peuventaussi bien porter sur desperformances acquises par les élèvesque sur les processus mis en œuvrepour aider ceux-ci à les acquérir(fonctionnement du système).D'autres critères peuvent porter surdes objectifs plus indirects, commel'équité du système, non passeulement en termes d'accès, maisaussi en terme de succès. Ainsi, lesrésultats scolaires peuvent ou nonêtre mis en perspective en fonctiond’une analyse du statut socio-économique des élèves et despopulations scolaires recrutées par

les différents établissements (SocioEconomical Status) et conduire àl'étude de la valeur ajoutée, commenous le verrons par la suite(Demeuse, Crahay & Monseur, souspresse).

La détermination des actionscorrectives

Sur la base des informationscollectées, peut alors s'élaborer unplan d'action destiné à modifier lefonctionnement du système éducatif.Ces mesures doivent ensuite être

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



appliquées au système selon desmodalités définies. C’est souventaux enseignants qu’il revientd’appliquer les stratégies d’amélio-ration, proposées ou décidéesailleurs.

Le système de pilotage peut êtrepersuasif ou empirico-rationnel(basé sur l'information des acteurs)ou injonctif politico-administratif(circulaire émanant de l’administra-tion, directives ministérielles ...).Une combinaison des deux aspectsest souvent nécessaire pour obtenirl'effet escompté, car, comme leprécise Whetton (1995, p. 25) : Uneautorité qui ne serait pas assortie desoutien aurait comme conséquencesune résistance et une diminution del’implication. À l’inverse, un supportsans autorité aurait commeconséquence une dérive et une pertedes ressources. Ici aussi, cesprincipes généraux doivent êtredéfinis en termes plus précis pourune pleine compréhension desprocessus visant à implanter leschangements par le biaisd’évaluations.

Le caractère plus ou moins persuasiflié aux actions correctives est trèsvariable. Il peut prendre l'aspectd'une information aux agentsconcernés, voire d'une formationappropriée. Des outils systématiquespeuvent être mis en place, commeles systèmes de modération desnotes, dans le système suédois, ou lapublication régulière d'informationsrelatives aux résultats obtenus à

des épreuves standardisées au débutd'années charnières, comme enFrance ou, d'une manière encoreexpérimentale, en Belgiquefrancophone.

Le caractère obligatoire de certainesmesures peut être affirmé, mais despressions plus insidieuses, commecelles exercées par la publication destaux de succès, par école, à unexamen national, peuvent être desformes extrêmes de persuasion. Lesrégulations du type persuasif ont encommun l'idée qu'une meilleureinformation des acteurs permet uneamélioration des pratiques dans lesens souhaité.

Le pilotage injonctif fonctionne surune base plus directe. Les"décideurs" ont besoin d'informa-tions pour prendre les mesures lesmieux adaptées. Une fois celles-ciarrêtées, elles sont communiquéesaux "acteurs" qui doivent alors lesexécuter, parfois sans avoir étéinformés des objectifs réellementpoursuivis.

Le système d'audit qui existe dansplusieurs systèmes, notamment enAngleterre, en Écosse ou enBelgique néerlandophone, consiste àlier le fonctionnement d'un établisse-ment à la satisfaction d'un auditpériodique. Celui-ci porte en généralsur des aspects dépassant la seuleréussite des élèves à des épreuvesstandardisées1. Il suppose la visite 1 Ce type d'épreuve, permettant l'appréciation du

niveau réel des études et la comparaison entre

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



d'une équipe, souvent pluridiscipli-naire, chargée de vérifier aussi biendes aspects matériels, liés à lagestion de l'établissement, que des'assurer des conditions d'apprentis-sage et de réussite des élèves. Unsuivi, au terme d'une année ou plus,est également prévu de manière às'assurer que les recommandationsde l'audit ont bien été prises encompte. Des sanctions sontégalement prévues à l'encontre desétablissements qui ne se mettraientpas en ordre (diminution dessubventions, retrait de la capacité àcertifier la réussite des élèves, misesous tutelle, fermeture...).

La mise en œuvre des solutions etl'intervention

La mise en œuvre des mesurescorrectives prend place à desniveaux très variables selon la naturedu problème et du système éducatif.C'est tantôt l'ensemble du systèmequi est visé, tantôt une partieseulement. L'innovation peut portersur l'organisation administrative, lestatut financier des agents,l'obtention de la certification, lesrythmes scolaires, l'attribution debourses d'études, la taille des classes,l'équipement de laboratoires, larévision de certaines méthodesd'apprentissage et d'enseignement,l'introduction d'un nouveaucurriculum... Toutes ces mesuresdoivent être conformes aux finalités

établissements, est même explicitement interditen Belgique néerlandophone.

définies et faire l'objet d'uneévaluation. La solution est souventcomplexe et ne porte pas forcémentdirectement sur le problèmeidentifié.

Une phase expérimentale peut êtreentreprise avant toute généralisation,par exemple pour mesurer leseffets secondaires indésirables del'introduction de nouvelles pratiquesou même servir de vitrine pourl'ensemble des acteurs impliquésdans la réforme à grande échelle.Trop souvent cependant, le systèmefait l'économie de cette phase et lesprojets passent des cartons à la miseen œuvre généralisée. Trop souventaussi, l'impact des innovations n'estpas mesuré ni analysé. Après undiagnostic correctement posé et dessolutions proposées, l'application estentreprise puis, l'intérêt se déplacevers d'autres problèmes, avant d'êtresûr que le problème précédent a étéréellement réglé. L'expérimentationest d'autant plus difficile qu'elleporte sur des enfants et que les effetsdes réformes proposées devraients'apprécier après une période detemps assez longue, souventincompatible avec le rythme deschangements politiques.

Conclusion

Les quatre étapes décritesconstituent la structure la plusgénérale de tout pilotage. Celle-ci seprésente sous la forme d’une boucle.Mais il est évident que le pilotage ne

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



s’arrête pas à un seul et uniquecycle. Au contraire, une entreprisede pilotage se compose d’une suitecontinue de ces cycles, chaquenouveau cycle commençant là où leprécédent s’achève. L’état final d’unsystème piloté constitue donc l’étatinitial d’un futur pilotage. Ledécoupage proposé dans le modèle apour seul objectif de mieux décrireles mécanismes en œuvre. Dans laréalité, les étapes peuvent parfoisêtre fortement imbriquées ou, aucontraire, être mise en œuvre par desstructures très différentes,intervenant à des niveaux distinctsles uns des autres.

Les stratégies de pilotage peuventêtre un outil d’amélioration constantdu système éducatif. Mais le très

grand nombre de variables à prendreen compte, ainsi que la définitionpréalable des différents niveauxd’objectifs à atteindre font que lerésultat d’une telle entreprise n’estpas assuré a priori. Il peut même serévéler un instrument provoquantcertains effets pervers. Afin d’yremédier, un effort accru doit êtreconsenti tant par les décideurs, dansla définition claire des objectifspoursuivis par les différentespolitiques éducatives, que par lesscientifiques, qui sont tenus dedéfinir toujours plus rigoureusementle réseau d’indicateurs et d'améliorerla qualité des prises d'information etles méthodes d'information.

Bibliographie

Anderson, J.C. and Wall, D. (1993). DoesWashback Exist ? Applied linguistics,vol. 14, 2, 115-129.

Astin, A.W. (1990). Educational Assess-ment and Educational Equity.American Journal of Education, 98(4),458-478.

Bottani, N., Tuijnman, A.C. (1994). TheDesign of Indicator Systems. InA.C. Tuijnman & T. N. Postlethwaite(Eds), Monitoring the standards ofeducation: papers in honor of John P.Keeves. Oxford : Pergamon.

Broadfoot, P. (1994). Les résultats del’enseignement. In OCDE, Evaluerl’enseignement. De l’utilité des

indicateurs internationaux. Paris :OCDE/CERI.

Brown, S. (1995). School EffectivenessResearch. The Policy Maker’s Toolfor School Improvement ? Educa-tional Research and Evaluation, 1(1).

Clune, W.H. (1993). The Best Path toSystemic Educational Policy.Standard/centralized or differentiated/decentralized ? Educational Evalua-tion and Policy Analysis, 15(3).

Cohen, D.K. (1995). What Is the System inSystemic Reform ? EducationalResearcher, Vol. 24, 9, 11-17.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



D’Hainaut, L. (1981). Analyse etrégulation des systèmes éducatifs : uncadre conceptuel. Paris : Nathan.

Darling-Hammond (1994a). L'usagepolitique des indicateurs ? InCERI/OCDE, Evaluer l'enseignement.De l'utilité des indicateurs interna-tionaux, 387-388.

Darling-Hammon, L. (1994b). NationalStandards and Assessments : Will theyImprove Education ? American Jour-nal of Education, 102 (4), 478-510.

de Landsheere, G. (1994). Le pilotage dessystèmes d'éducation. Bruxelles :De Boeck-Wesmael.

de Landsheere, V. (1992). L'éducation et laformation. Paris : Presses universi-taires de France.

Demeuse, M. (2000). Trois indicateurssous la loupe. Les Cahiers du Servicede Pédagogie expérimentale, 3-4,159-160.

Demeuse, M., Blondin, C. (à paraître).Construire des indicateurs de la qualitéde l'éducation au niveau européen. InActes du Colloque de l'Associationfrancophone d'Education comparée(Bruxelles, 9-12 mai 2001).

Demeuse, M., Crahay, M. & Monseur, C.(sous presse). Efficiency and Equity.In W. Hutmacher, D. Cochran &N. Bottani (Eds), In the Pursuit ofEquity in Education. Usinginternational indicators to compareequity policies. Boston : KluwerAcademic Publishers, 65-91.

Demeuse, M., Denooz, R. (2001). Del’accroissement de l’efficacité despratiques éducatives : le cas duprogramme "Success for All" mis enœuvre par Robert Slavin et l’équipe dela Johns Hopkins University. LesCahiers du Service de Pédagogieexpérimentale, 7-8.

Eraut, M. (1984). Indicateurs et transpa-rence au niveau de l'école et de laclasse. De l'utilité des indicateursinternationaux. Paris : OCDE/CERI,p. 321.

Garant, M. (1996). Modèles de gestion desétablissements scolaires et innovation.In M. Bonami, M. Garant (Eds),Systèmes scolaires et pilotage del'innovation. Bruxelles : De Boeck.

Gruber, K. H. (1995). Comparaisonsuccincte de la R-D en matièred'enseignement en Allemagne, enAutriche et en Suisse. In OCDE/CERI,La recherche et le développement enmatière d'enseignement. Allemagne,Autriche, Suisse. Paris : OCDE/CERI,p. 23.

Hopes, C. (1997). Assessing, Evaluatingand Assuring Quality in Schools in theEuropean Union. Deutsches Institutfür Internationale PädagogischeForschung, Frankfurt am Main.

Hopes, C. (1998). Assessing, Evaluatingand Assuring Quality in Schools in theEuropean Union. In M. Demeuse,Etude comparative des dispositifs depilotage. Valorisation des ressourcesscientifiques. Rapport relatif aucolloque organisé à Liège, du 5 au8 novembre 1997. Liège : Servicede Pédagogie expérimentale del’Université, p.188.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009



Husen, T., Tuijnmann, A.C. (1994).Monitoring standards in education :why and how it came about. InA.C. Tuijnmann, T.N. Postlethwaite(Eds), Monitoring the standards ofEducation. Oxford : Pergamon.

Kogan, M. (1996). Les systèmes éducatifs :comment suivre leur fonctionnement,les contrôler et les diriger. In OCDE,Évaluer et réformer les systèmeséducatifs, p. 42.

Leclercq, J.M. (1994). Les programmesd'enseignement en France et àl'étranger. In C. Demonque (Ed.),Qu'est-ce qu'un programmed'enseignement ? Enjeux du systèmeéducatif. Paris : Hachette, Centrenational de Documentationpédagogique, 145-157.

Magy, J. (1998). Oser la qualité dansl'enseignement en Communauté fran-çaise de Belgique. Namur: Erasme.

Michel, A. (2000). Evaluer pour piloter.Réflexion sur le cas Français. Revueinternationale d'éducation (Sèvres).L'évaluation des systèmes d'éducation,26, 19-29.

OCDE/CERI (1995). Regards surl'éducation. Les indicateurs del'OCDE 1995. Paris : OCDE/CERI.

OCDE/CERI (1997). Education et équitédans les pays de l'OCDE. Paris :OCDE, p. 9.

OCDE/CERI (1997). Regards surl'éducation. Les indicateurs del'OCDE 1997. Paris : OCDE/CERI.

Pelgrum, W.J., Stoel, W.G.R. (1996).Methods of Educational Monitoring inthe EU Member States, Final report,contract 94.00-REC-0208-00.

Reynolds, D., Creemers, B.P.M.,Nesselrodt, P.S., Schaffer, E.C.,Stringfield, S., Teddlie, C. (1994).Advances in School EffectivenessResearch and Practice. Oxford :Pergamon.

Shavelson, R.J., Mc Donnel, L.M.,Oakes, J. (Eds) (1989). Indicators formonitoring mathematics and scienceeducation. A source book. SantaMaria : Rand.

Thelot, C. (1993). L'évaluation du systèmeéducatif. Paris : Nathan.

Von Bertalanffy, L. (1984). Théoriquegénérale des systèmes. Dunod (traduc-tion de General System Theory, 1968).

Whetton, C. (1995). Conclusions. InE. Kangasniemi, S. Takala. (Eds),Pupil Assessment and the Role ofFinal Examinations in SecondaryEducation. Report of the EducationalResearch Workshop held in Jyväskylä(Finland) on 15-18 june 1993. Lisse(NL) : Swets and Zeitlinger.

Willms, J.D., Raudenbush, S.W. (1997).Effective School Research. InJ.P. Keeves (Ed.), EducationalResearch, Methodology, and Measure-ment : An International Handbook.Oxford : Pergamon, 357-361.

hals

hs-0

0357

701,

ver

sion

1 -

31 J

an 2

009

UNE ACTION INTÉGRÉE EN VUE D'AMÉLIORER L'EFFICACITÉ DES SYSTÈMES D'ENSEIGNEMENT : LE PILOTAGE...

Documents

Transcript of UNE ACTION INTÉGRÉE EN VUE D'AMÉLIORER L'EFFICACITÉ DES SYSTÈMES D'ENSEIGNEMENT : LE PILOTAGE...