Fürst, G. (2013). Utilisation et développement de Questions à Choix Multiples (QCM).

Utilisation et développement de

Questions à Choix Multiples (QCM)

Vue d'ensemble des questions à choix multiples ..................................................... 3

Exemple de QCM ......................................................................................................... 3

Avantages des QCM ..................................................................................................... 4

Limites du QCM ........................................................................................................... 5

Comportements cognitifs pouvant être évalués ...................................................... 6

Connaissances ............................................................................................................. 6

Compréhension ........................................................................................................... 6

Application ................................................................................................................... 7

Analyse ......................................................................................................................... 7

Synthèse ...................................................................................................................... 7

Évaluation .................................................................................................................... 8

Exemple pour 4 types de comportement cognitif ...................................................... 8

Type d’items QCM ................................................................................................... 8

Vrai/faux ...................................................................................................................... 8

Correspondance de deux listes ................................................................................... 8

Phrases à compléter .................................................................................................... 9

Questions à choix multiples ........................................................................................ 9

Une réponse correcte .............................................................................................. 9

Une meilleure réponse ............................................................................................. 9

Forme négative ........................................................................................................ 9

Réponses multiples ................................................................................................ 10

Utilisation et développement de Questions à Choix Multiples (QCM)

Guillaume Fürst, 2013, université de Genève

Techniques et conseils pour construire des items .................................................. 11

Considérations pratiques générales .......................................................................... 11

Techniques courantes pour la construction des items ............................................. 12

Règles générales d'écriture des items ....................................................................... 13

Règles de procédure .............................................................................................. 13

Règles relatives au contenu ................................................................................... 13

Règles de construction des amorces ......................................................................... 14

Règles générales de développement des options de réponses ................................ 14

Règles spécifiques aux distracteurs ........................................................................... 16

Conseils supplémentaires pour certains type d’items .............................................. 17

Vrai/faux ................................................................................................................. 17

Correspondance ..................................................................................................... 17

Après la création des items ................................................................................... 18

Processus de révision et sélection des items ............................................................ 18

Technique de notation et de correction ................................................................... 19

Références ............................................................................................................ 20



Ce document porte sur le développement de Questionnaire à Choix Multiples (QCM). Nous

commencerons par une vue d’ensemble des QCM, en se concentrant en particulier sur leurs

avantages et leurs limites, afin de clarifier ce que le QCM peut faire et ne peut pas faire. Puis

nous considérerons plus de détails quel type de comportement cognitif peut être évaluée à

l'aide d’un QCM. Dans la troisième partie, les différents types de question QCM sont décrits.

Comme ils ne sont pas égaux en termes de fidélité et de validité, leurs forces et leurs

faiblesses sont discutés. Enfin, diverses techniques et conseils pour construire les questions

seront présentés.

Vue d'ensemble des questions à choix multiples

Cette section donne un premier aperçu de ce qu’est QCM. Elle commence avec l’exemple d’un QCM

bien construit. Ensuite, les avantages et les limites du QCM sont discutés.

Exemple de QCM

Un QCM bien construit se compose d'une amorce et une série d'options de réponse. Par

exemple, considérez la question suivante :

Un homme de 60 ans présente une faiblesse progressive des bras et des jambes. Il rapporte les

difficultés à monter les escaliers ou peigner ses cheveux. Il a aussi la difficulté à avaler, mais il n'a

pas de plaintes visuelles. À l'examen physique, vous remarquez une éruption maculo-papuleuse

sur les paupières, nez, joues et knuckles. Examen conjoint est normal. Quel est le diagnostic le plus

probable ?

a. Dermatomyosite

b. la myasthénie

c. Pseudo-polyarthrite rhizomélique

d. la polyarthrite rhumatoïde

Le premier volet de la question est appelé amorce. Le deuxième volet de la question

contient les options de réponse. Une des options est choisie pour être la bonne réponse, et

les options restantes sont appelées des distracteurs. Des règles et conseils pour la

construction de chacune de ces parties — amorce, options de réponse et distracteurs —

sont fournis dans la section Techniques et conseils pour construire des items.



Avantages des QCM

Les QCM présentent de nombreux avantages, qui incluent l'efficacité, la validité, la fidélité et

la polyvalence. Ceux-ci sont décrits plus en détails ci-dessous.

Polyvalence. Les QCM sont appropriés pour une utilisation dans de nombreux

domaines différents et peuvent être utilisés pour mesurer une grande variété

d'objectifs éducatifs. Ils sont adaptables à différents niveaux d'apprentissage, du

simple rappel des connaissances à un niveau plus complexe. (Voir la section

Comportements cognitifs pouvant être évalués.)

Validité. En général, il faut beaucoup plus de temps pour répondre à une question

ouverte de type essai qu'il n’en faut pour répondre à un item de QCM, étant donné

que la composition et l’écriture d’un essai est un processus lent. Un étudiant est donc

en mesure de répondre à beaucoup d’item de QCM dans le laps de temps qu'il

faudrait pour rédiger un essai. Cette fonctionnalité permet à l'enseignant qui utilise

le QCM de tester un plus grand échantillon de contenu dans le même laps de

temps. Par conséquent, les résultats des QCM seront probablement plus

représentatifs de l’ensemble des connaissances des élèves.

Fidélité. Les QCM bien écrits sont comparables à d’autres types d’item en ce qui

concerne la fidélité. Ils sont moins susceptibles d’être réussit par chance que les

questions du type vrai/faux, et donc capable de produire des résultats plus fiables.

Leur notation est plus consistante que celle des questions ouvertes (même courtes) ;

il n’y a de problème de réponses mal orthographiées ou partielles. Étant donné que

les questions à choix multiples sont notées objectivement, ils ne sont pas affectés

par la variabilité d’un évaluateur à l’autre, et ils sont quasiment immunisés contre le

bluff et les facteurs liés aux capacités d'écriture, qui peuvent réduire la fidélité des

résultats d'examen écrit classique.

Efficacité. Les QCM se prêtent à une notation rapide, qui se fait souvent à l’aide de

machines. Cela accélère la publication des résultats des tests. Les questions écrites

classiques quant à elles, doivent être corrigées manuellement, une à la fois.



Limites des QCM

Les QCM ont également certaines limites :

Polyvalence. Étant donné que l'étudiant choisit une réponse dans une liste

d'alternatives plutôt que de fournir ou de construire une réponse lui-même, les QCM

ne sont pas adaptés à la mesure de certains apprentissages, comme la capacité de

l'élève à formuler des explications, organiser sa pensées personnelles, effectuer une

tâche spécifique, produire des idées originales ou fournir des exemples. Ces

apprentissages sont mieux mesurés par réponse courte ou questions d'essai, ou par

des tests de performances.

Difficulté de Construction. Un bon QCM est généralement plus difficile et fastidieux

à créer que d’autres types de question. Trouver des distracteurs plausibles nécessite

une certaine compétence. Cette compétence, cependant, peut être augmentée grâce

à l'étude, la pratique et expérience.

Fidélité. Bien qu'ils soient moins sensibles aux effets de la chance (trouver la bonne

réponse au hasard) que les questions vrai/faux, les QCM sont encore affectées dans

une certaine mesure par ce problème. Ce facteur de chance peut réduire la fidélité

des scores de question à choix multiples. Augmenter le nombre d’option de réponse

compense cette réduction en fidélité. De plus, il existe des formules pour corriger ces

effets (voir section Technique de notation et de correction).

Proba de de réussir un certain pourcentage d’item seulement par chance.

Cet exemple est avec des items ayant 4 options de réponses.

Nb d’items Proba 25 % Proba 50 % Proba 75 % Proba 100 %

4 0.25000 0.06250 0.01563 0.00391

6 0.12500 0.01563 0.00195 0.00024

8 0.06250 0.00391 0.00024 0.00002

10 0.03125 0.00098 0.00003 0.000001



Comportements cognitifs pouvant être évalués

Les QCM sont critiqués pour ne tester qu’un rappel superficiel de connaissance. Cependant,

il est possible d'aller plus loin en demandant d'interpréter des faits, d’évaluer des situations,

d'expliquer les causes et les effets, de faire des déductions et prédire des résultats (p. ex.,

Jacobsen, 2013 ; Steele, 2012).

Bloom et coll. (1956) ont décrit six niveaux de comportement cognitif : connaissance,

compréhension, application, analyse, synthèse et évaluation. Ces niveaux sont décrits ci-

dessous. Nous verrons qu'il est possible d'écrire les questions à choix multiples pour ces

quatre premiers niveaux (connaissance, compréhension, application et analyse) car ils

nécessitent une réponse prévisible ou calculable.

Connaissances

Simple rappel (ou récupération) d’éléments appris, tels que des faits, des termes, des

définitions, des concepts de base. On peut distinguer les connaissances spécifiques

(terminologie, faits précis), la manière d’utiliser ces connaissances (conventions, tendances

et séquences, classifications et catégories, critères, méthodologie) et connaissance des

universaux et des abstractions dans un champ (principes et généralisations, théories et

structures).

Exemple de question : Quels sont les avantages pour la santé de manger des pommes ?

Exemples de verbes représentatifs : nommer, identifier.

Compréhension

Démontrer sa compréhension des faits et des idées en les organisant, comparant,

interprétant, ainsi qu’en faisant des descriptions et en indiquant les idées principales.

Exemple de question : comparer les bienfaits de manger des pommes et oranges.

Exemples de verbes représentatifs : distinguer, associer.



Application

Utiliser de nouvelles connaissances, résoudre les problèmes dans de nouvelles situations en

appliquant les connaissances acquises, les faits, les techniques et les règles d'une manière

différente.

Exemple de question : quelles sortes de pommes sont meilleures pour la cuisson d'une tarte

et pourquoi ?

Exemples de verbes représentatifs : organiser, résoudre.

Analyse

Examiner et partitionner l’information en identifiant les motifs ou les causes. Tirer des

conclusions et trouver des preuves à l'appui des généralisations. On peut distinguer

l'analyse des éléments, l'analyse des relations et l'analyse des principes organisationnels.

Exemple de question : Donnez quatre façons de servir de la nourriture fabriquée avec

pommes et expliquer quels sont celles qui ont les avantages plus élevés. Fournissez des

références pour appuyer vos déclarations.

Exemples de verbes représentatifs : comparer, classer.

Synthèse

Rassemble des informations en combinant différents éléments d’une façon nouvelle ou en

proposant des solutions alternatives. On peut distinguer la production d'une

communication unique, la production d'un plan, ou la proposition d'un ensemble

d'opérations.

Exemple de question : convertir une recette « malsaine » de tarte aux pommes en une

recette « saine » en remplaçant les ingrédients de votre choix. Expliquer quels sont les

avantages pour la santé d'utiliser les ingrédients que vous avez choisis par rapport à ceux

d'origine.

Exemples de verbes représentatifs : organiser, concevoir.



Évaluation

Présenter et défendre des opinions en portant des jugements sur l'information, sur la

validité des idées ou sur la qualité d’un travail à partir d’un ensemble de critères. Nous

pouvons distinguer entre les arrêts en matière de preuve interne et jugements en termes de

critères externes.

Exemple de question : pensez-vous que la tarte aux pommes est une collation saine pour les

enfants après l’école ?

Exemples de verbes représentatifs : critique, résumer.

Exemple pour 4 types de comportement cognitif

Connaissances : Identifier les trois symptômes d'un rhume

Compréhension : Associer des symptômes aux pathologies correspondantes

Application : Décrire le processus pour déterminer si il s’agit d’un rhume ou la grippe

Analyse : Comparer la progression d’un rhume et de la grippe, déterminer si un patient

a un rhume ou la grippe

Type d’items QCM

Il existe différents types de questions, dont certains sont considérés comme supérieurs. Une

vue d'ensemble de ces types de questions est présentée ci-dessous.

Vrai/faux

Se composent d'une simple question avec une réponse de vrai/faux base. Pas vraiment

QCM au sens strict (le choix n’est pas multiple mais dichotomique), c’est toutefois un type

de question fermée très populaire, très simple d’usage.

Correspondance de deux listes

Se composent d'une colonne d’amorces, une colonne de réponses et des instructions pour

faire correspondre les deux. C'est similaire aux QCM, mais plus facile à construire. Toutefois,

ce type d’item peut prendre plus de temps à corriger que les questions à choix multiples.



Phrases à compléter

Question où il y a un blanc à compléter dans une phrase, du type "La seconde guerre

mondiale a commencé en l'année ___. " Le blanc doit toujours être à la fin de la phrase. Ce

type de question peut facilement être reformulé en QCM, par exemple, « Quand la seconde

guerre mondiale commença-t-elle? », ce qui est sans doute plus simple.

Questions à choix multiples

Une réponse correcte

Dans les items du type « une seule réponse correcte », toutes les options de réponse sont

fausses sauf une; l'alternative restante est la bonne réponse. L'élève doit identifier la bonne

réponse.

Une meilleure réponse

Dans les items du type « meilleure réponse », les options de réponse diffèrent par leur degré

d'exactitude. Certaines options sont complètement incorrectes ou peu correctes ; une

d’entre elle est clairement plus correcte que les autres. Cette meilleure alternative est la

bonne réponse, alors que les autres alternatives fonctionnent comme des distracteurs.

L'étudiant doit identifier la meilleure réponse.

Forme négative

Pour les items de forme négative, l'élève doit identifier l’option de réponse qui est

incorrecte, ou celle qui est la pire réponse (la moins correcte). Tous les types de QCM

peuvent être convertis dans ce format de négatif.

Toutefois, pour des objectifs éducatifs, l'élève est plus efficacement évalué si on lui

demande une réponse correcte plutôt qu'une réponse incorrecte. Ce n’est pas parce que

l'élève sait une réponse incorrecte qu'il ou elle connaît la bonne réponse. Pour cette raison,

utilisation d’item de ce type n'est pas recommandée.

Parfois, les items négatifs sont appropriés pour les objectifs traitant de questions de santé

ou de sécurité, où il est important de connaître ce qu’il ne faut pas faire. Dans ces situations,



les éléments négatifs doivent être libellées avec précaution pour éviter toute confusion. La

négation doit être placé dans l’amorce de la question, pas dans les options de réponses. De

plus, elle doit être bien mise en évidence (soulignement, gras, etc.). Enfin, les options de

réponses devraient être formulées positivement afin d’éviter les doubles négations.

Sur 46 référence faisant autorité dans le domaine de la mesure éducative, 31 des 35

auteurs qui discutent les items négatifs recommandent de les éviter (Haladyna & Downing,

1989a).

Réponses multiples

Dans les items à réponse multiples, deux ou plusieurs des options de réponses sont

correctes ; les autres servent de distracteurs. L'élève doit identifier chaque réponse

correcte.

Cette variété d'élément peut être corrigée (notée) de plusieurs façons différentes. Par

exemple sur une base de tout ou rien (un point si toutes les bonnes réponses sont cochées

et aucun distracteur n’est sélectionné, sinon 0) ou sur une base où chaque élément est noté

indépendamment (un point pour chaque réponse correcte choisie et un point pour chaque

distracteur ne pas choisi). Ces deux méthodes, cependant, ont des inconvénients distincts.

Avec la première méthode, un étudiant qui identifie correctement tous les éléments sauf un

reçoit la même note qu'un étudiant qui ne peut rien identifier du tout. La deuxième

méthode produit des résultats plus représentatifs de la réussite de chaque élève, mais peut

rendre la correction plus laborieuse ou compliquée à automatiser. Ainsi, les items de ce type

ne sont pas recommandés.

Comme ces items sont souvent simplement une série de questions vrai-faux présentés

ensemble, une bonne alternative qui évite les problèmes de notation mentionnés ci-dessus

est de le réécrire comme plusieurs vrai-faux.

Sur 46 référence faisant autorité dans le domaine de la mesure éducative, 32 des 35

auteurs qui discutent cette question recommandent d'utiliser une seul bonne réponse par

item (Haladyna & Downing, 1989 a). En comparaison avec de multiples vrai-faux

correspondants, les items à réponse multiples ont une difficulté plus haute, mais une fidélité

et une validité plus faible (Frisbie, 1990).



En conclusion, les types d’items suivant semble les meilleurs :

Vrai/faux

Questions à choix multiples avec unique bonne réponse

(Correspondance de deux listes)

Voir Burton et coll. (1991) et Jacobsen (2013) pour plus de détails et d'exemples. Pour les

modèles de QCM, voir Collège Royal des médecins et chirurgiens du Canada (2004).

Techniques et conseils pour construire des items

Considérations pratiques générales

L'objectif principal dans la planification d'un QCM est de définir le contenu de cours sur

lequel portera le test. Un moyen pratique de faire ceci est de créer un index des concepts

importants au fur et à mesure du cours. Une manière ou une autre, faites une liste de tous

les concepts centraux à évaluer. L’idée de base est d’avoir au moins trois questions par

objectif d'apprentissage.

De manière générale, il faut réfléchir aux points suivants :

La durée du test

Le nombre d’objectif du cours

Le poids à accorder à chaque objectif

Le nombre d’item pour chaque objectif

Pensez à répartir le travail en écrivant des questions à mesure que vous développez le

cours. Une fois que vous préparez le contenu pour un objectif d'apprentissage, arrêtez-vous

un instant et écrivez autant de questions que vous pouvez. Plus tard, préférablement après

une journée ou plus, vous pourrez décider quelles questions peuvent être utilisées et quelles

questions doivent être améliorées.

Pensez également à vous concentrer sur ce qui est important. N'essayez pas de compliquer

ou de rendre les choses difficiles. N'oubliez pas les évaluations visent à renforcer et mesurer



l'apprentissage, concentrez-vous donc sur les objectifs d'apprentissage, pas sur d’autres

détails non pertinents.

Pour chaque question, vous devriez :

Choisir un sujet pour la question. Le sujet est le thème pour une question précise ;

autrement dit, c'est la connaissance spécifique qu'une question est destinée à tester.

Lors du choix d'un sujet pour une question, mettez l'accent sur un concept

important, généralement un problème clinique fréquent pour chaque spécialité.

Choisir le contexte approprié pour la question. Contexte définit la situation clinique

qui permettra de tester le sujet. Le contexte est important car il détermine quel type

d'information devrait figurer dans l‘amorce et les options de réponse. Des contextes

cliniques communs qui pourraient être utilisés pour construire un QCM

comprennent : l’interprétation de données, les diagnostics, les questions de prise en

charge, les soins de longue durée, les facteurs de risque, les effets secondaires et

contre-indications, les conseils et questions d'éthique.

Techniques courantes pour la construction des items

Les points ci-dessous proposent quelques techniques pour créer des items.

Transformer des items existants. Si vous avez une question existante qui énonce une

règle et demande alors à l'apprenant d'identifier une caractéristique de cette règle,

vous pouvez souvent retourner la question en présentant la caractéristique dans

l’amorce du QCM et puis en demandant à l'apprenant d'identifier la règle.

Utiliser des graphiques et des tableaux, puis posez des questions d’interprétation.

Un item de QCM mis au point pour évaluer la cognition de haut niveau peut se baser

sur un graphique, suivie de plusieurs questions qui demandent une interprétation ou

une analyse.

Utiliser des scénarios. Un item peut fournir un scénario qui décrit les symptômes

d'un patient et demande aux apprenants de juger à quel stade se situe la maladie de

ce patient. Si on compare ce type d’item à celui qui demande simplement se rappeler

les symptômes d'une maladie, on constate que le premier permet aux apprenants



d'appliquer ce qu'ils ont appris, alors que le second exige simplement de se rappeler

des faits.

Utiliser des études de cas. Les études de cas constituent des exemples concrets et

peuvent fournir le contenu sur lequel fonder une série de questions.

Utiliser des scénarios incomplets. Décrire des situations incomplètes où les

apprenants doivent identifier les informations manquantes.

Utiliser des questions de prémisses/conséquence. Demandez aux apprenants

d'identifier le résultat d'une circonstance donnée.

Utiliser des items problème/solution. Les items de type problème/solution engagent

des apprenants en haut de la hiérarchie de Bloom, en leur demandant d'évaluer les

solutions proposées à un problème. Une amorce qui pose un problème qui exige

l'évaluation de solutions alternatives est axée sur la pensée d'ordre supérieur et teste

donc capacité des étudiants à faire cette réflexion.

Règles générales d'écriture des items

Règles de procédure:

Éviter les questions pièges.

Donner des instructions claires.

Utiliser la voix active.

Mettre en forme l’item verticalement, pas horizontalement.

Règles relatives au contenu:

Tester des informations importantes ou significatives.

Éviter les connaissances trop spécifiques lors de l'élaboration de questions.

Se concentrer sur un seul problème ou une idée pour chaque question de l'examen.

Éviter de fournir des indices d'une question à l'autre ; garder les questions

indépendantes.

Éviter les questions fondées sur les opinions.



Règles de construction des amorces

Dans la mesure du possible, formuler l’amorce sous forme de question.

Si la forme de la question n'est pas envisageable, finir à l’amorce en utilisant la forme

« phrase à compléter » (en veillant que la partie à compléter soit bien à las fin de

l’amorce)

Eviter la forme négative telle que « n'est pas » ou « sauf ». Si cela ne peut pas être

évité, les mots négatifs doivent toujours être mis en surbrillance ou capitalisés.

Eviter le verbiage excessif dans l’amorce.

L’amorce ne doit pas contenir de matériel non pertinent, qui peut diminuer la

fidélité et la validité de la question (Haladyna & Downing, 1989b). Souvent une

déclaration préliminaire est incluse afin d'améliorer la pertinence ou l'importance

d'un élément, mais n'affecte pas la signification du problème. Généralement, ces

phrases superflues doivent être exclues.

Inclure l'idée centrale et la plupart du problème dans l’amorce. Autant

d'informations que possible devrait être inclus dans l’amorce (et non pas dans les

options). Par exemple, si le but d'un item consiste à associer un terme à sa définition,

le format préféré serait de présenter la définition dans l’amorce et plusieurs termes

comme options plutôt que de présenter le terme dans l’amorce et plusieurs

définitions en tant qu'options.

Ne pas inclure deux idées dans un seul item sauf si pour évaluer la compréhension

des relations de cause à effet.

L’amorce doit être significative en soi et devrait présenter un problème précis.

Règles générales de développement des options de réponses

Inclure trois à cinq options pour chaque question. Utiliser plus de cinq options ne

permet pas d’améliorer la qualité de l’item. De plus, il est difficile d'écrire plus de

cinq bonnes options.

Le nombre d’options de réponses peut varier entre les éléments tant que toutes les

options de réponses sont plausibles. Les options de réponses plausibles servent de



distracteurs fonctionnels, c’est-à-dire ceux qui sont choisis par les étudiants qui n'ont

pas atteint l'objectif pédagogique, mais qui sont ignorés par les étudiants qui l’ont

atteint.

Positionner l'option correcte afin qu'elle apparaisse le même nombre de fois dans

chaque position possible. Pour ce faire, le plus simple est d’organiser les options de

réponses dans un ordre logique (e.g., numérique, séquentiel, alphabétique).

Utiliser des lettres en face des options plutôt que des chiffres.

Formuler les options positivement, pas négativement.

Garder les options indépendantes ; les options ne doivent pas se chevaucher. Des

options de réponses qui se chevauchent peuvent être considérées comme des

questions « pièges » par les candidats ; leur utilisation excessive peut éroder la

confiance et le respect de la procédure de test.

Garder toutes les options homogènes dans le contenu.

Conserver la longueur des options assez constante (de préférence courte).

Éviter ou utiliser avec parcimonie, l’option « aucune des options proposées ».

Éviter ou utiliser avec parcimonie, l’option « toutes les options proposées ».

Eviter les mots au sens trop absolu, tels que jamais et toujours.

Eviter les qualitatifs vagues comme beaucoup, grand, gros, petit, vieux, important.

Éviter l'utilisation de l'expression « Je ne sais pas ».

Éviter de donner des indices grâce à l'utilisation des défauts de construction

grammaticale.

Eviter les citations issues de manuels. Si la réponse a été recopiée mot à mot depuis

les pages d’un manuel, les élèves peuvent reconnaître le style formel et choisir

correctement à partir de la non-familiarité de l’option plutôt que par réelle

connaissance.

Éviter les mots-clés dans les options de réponses. Lorsqu'un mot ou une expression

dans l’amorce se trouve également dans une des options, il laisse penser à l'étudiant

que cette option est probablement la bonne réponse.

Assurez-vous qu'il y a uniquement une seule option correcte.

Plus les options de réponses sont similaires, plus difficile sera le test.



Règles spécifiques aux distracteurs

Un bon distracteur devrait être inférieure à la réponse correcte, mais il devrait

également être plausible pour un candidat non compétent. Lors de la création d'un

distracteur, il peut être utile de penser comment un étudiant inexpérimenté

répondrait au problème décrit dans l’amorce. Les mauvaises réponses fournies par

les étudiants dans d’autres examens peuvent être une bonne source de matériel à

utiliser pour la construction de distracteur.

Utiliser des distracteurs fonctionnels autant que

possible. Les distracteurs fonctionnels sont ceux

choisis par les étudiants qui n'ont pas atteint l'objectif

pédagogique et sont ignorés par les étudiants qui ont

l’atteint. En d'autres termes, ils ont un fort pouvoir

discriminant. La nature fonctionnelle d’un distracteur

peut être déterminée grâce à l'analyse de l’item (voir

plus loin, section Après la création des items

Une fois que les items ont été créés, il convient de les réviser et de les tester. Cette dernière

partie aborde ces questions, ainsi que celle liées aux calcule des notes (Technique de

notation et de correction des items).

Processus de révision et sélection des items).

Eviter les distracteurs non-fonctionnels et dysfonctionnels. Les distracteurs non-

fonctionnel sont ceux qui ne sont jamais choisi comme réponse, par aucun étudiant.

Les distracteurs dysfonctionnels sont ceux qui sont choisis plus souvent par les

étudiants qui ont atteint l’objectif pédagogique que par les autres, ce qui est

clairement un problème. En général, les questions à choix multiples contiennent de

deux à quatre distracteurs. Beaucoup d'enseignants font l'hypothèse que plus le

nombre de distracteurs sera élevé, plus faible sera la chance de deviner la bonne



réponse. Ceci n’est vrai que si tous les distracteurs sont fonctionnels. Or les QCM

typiques contiennent souvent au moins un distracteur non-fonctionnel. Ces

distracteurs ne servent simplement à rien plus qu’ils ne remplissent pas leur fonction

de distracteurs et sont tout simplement ignorés par tous les étudiants. La solution est

donc d'inclure uniquement des distracteurs fonctionnels. Si vous pouvez en trouver

deux ou trois bons, résistez à la tentation d’ajouter des distracteurs supplémentaires

de faible qualité uniquement pour faire en sorte qu’il y ait le même nombre

d’options de réponse partout. Cette uniformité est artificielle et ne sert qu'à

prolonger l’épreuve sans pour autant augmenter sa valeur informationnelle. De

nombreuses études ont signalé qu'il y a peu de différence en termes de difficulté, de

discrimination et de fidélité parmi les items contenant trois, quatre ou cinq

distracteurs (Haladyna & Downing, 1989b).

Éviter les distracteurs qui peuvent donner des indices aux sujets examinés ; par

exemple, les options absurdes, les options très formelles, les indices grammaticaux

ou les indices sémantiques (vocabulaire trop général ou trop spécifique).

Eviter l'utilisation de l'humour lors de l'élaboration des distracteurs.

Éviter les distracteurs formulés dans un langage excessivement technique.

Les expressions familières mais incorrectes peuvent être de bons distracteurs.

Utiliser également des déclarations correctes, mais qui ne répondent pas bien à la

question.

Conseils supplémentaires pour certains type d’items

Vrai/faux:

Les options de réponses doivent être entièrement vraies ou entièrement fausses.

Il peut être judicieux d’inclure un peu plus de déclarations fausses que vraies (environ

60 % et 40 %) dans n'importe quel test donné, car les répondants ont plus tendance à

choisir vrai quand ils ne savent pas.

Par ailleurs, il peut aussi être utile de faire varier le nombre de fausses déclarations

entres les différentes parties du test à l'autre.

Correspondance:



Fournir des instructions claires sur la façon d'indiquer les réponses correctes.

Indiquer si la même réponse peut être utilisée plus d'une fois.

Maintenir la cohérence grammaticale au sein et entre les colonnes.

S’assurer que tout s’affiche sur une seule page.

Fournir un nombre inégal d’options dans les deux colonnes.

Éviter de concevoir des questions qui demandent aux élèves de tracer des lignes

entre les prémisses et la réponse ; prévoir un espace pour écrire les lettres ou les

numéros permettant d’indiquer les réponses.

Identifier les éléments dans une liste avec des numéros et ceux de l’autre liste avec

des lettres.

S’assurer que les listes sont homogènes ; p. ex. ne pas mélanger dates et

événements. Au lieu de cela, faire en sorte que chaque réponse soit plausible.

Rendre les libellés des prémisses plus longs que ceux des réponses.

Après la création des items

Une fois que les items ont été créés, il convient de les réviser et de les tester. Cette dernière

partie aborde ces questions, ainsi que celle liées aux calcule des notes (Technique de

notation et de correction des items).

Processus de révision et sélection des items

Après la rédaction des items, il convient de les réviser. Quelques conseils à ce propos :

Si vous réviser les items vous-même après les avoir écrit, laisser passer du temps

entre la rédaction et la révision.

Idéalement, faites examiner vos items par des collègues ou d’autres experts.

Une fois les items révisés, il peut également être utile de les pré-tester sur un échantillon de

la population cible. En tous les cas, une fois la passation faite (que ce soit sur un échantillon

ou sur la population cible), il est nécessaire d’analyser les items afin de détecter d’éventuels

items de faible qualité. Plusieurs caractéristiques des items peuvent être investiguées :

Difficulté des items. Une question idéale est correctement répondue par 40-60% des

candidats. Il peut être utile d’avoir des questions faciles (réussies par plus de 70% des

candidats) et des difficiles (réussies par moins de 30% seulement). Toutefois, ces

questions extrêmes ne contribuent pas forcément beaucoup à l'évaluation efficace



des élèves. Il est important de veiller à ce que le test soit équilibré à cet égard – i.e.,

beaucoup de questions de difficulté moyennes et quelques extrêmes.

Pouvoir discriminant des items. La corrélation bi-sérielle de point entre un item et le

score total est un bon indice du pouvoir discriminant de chaque question. Une bonne

question aura une corrélation assez forte avec le total. Les questions avec un indice

de discrimination nul ou négatif doivent être soigneusement examinées – La

formulation est-elle assez claire ? Il y a-t-il un problème avec les options de

réponses ? Si aucune amélioration ne peut être trouvée, la question doit être

supprimée et/ou la partie du cours testée par cette question doit être révisée.

Fidélité et consistance interne. On calculer la fidélité du test avec l’alpha de

Cronbach ou d’autre méthodes classiques/avancées utilisés pour les questionnaires.

Distracteurs non-fonctionnels. Les distracteurs non fonctionnels, ceux qui n’ont

jamais été choisis, doivent être remplacés. Pour les items problématiques (ceux

dont la difficulté est extrême et/ou ceux avec un faible pouvoir discriminant), on peut

calculer la corrélation bi-sérielle entre la réponse à un certain distracteur et le score

total au test. Si cette corrélation est positive, cela signifie que ce sont les étudiants

compétents qui choisissent le plus souvent ce distracteur. Un tel cas de figure

caractérise les distracteurs non-fonctionnels, qui doivent être remplacés.

Pour plus de détails sur ces questions voir p. ex. Hingorjo & Jaleel (2012) ou Rashed (2013).

Technique de notation et de correction

Enfin, comme cela a été évoqué plus haut, les QCMs sont sensibles à certains problèmes liés

à la chance, lorsque les étudiants répondent au hasard. Ce problème est marqué pour les

items vrai/faux ainsi que pour les tests qui contiennent peu d’item. Par exemple un test de

10 item vrai/faux va être très sensible à la réussite par simple « coup de chance », et ce

d’autant plus que le pourcentage de réponse correcte pour réussir le test est bas.

Afin de prendre en compte ce problème et de corriger cet effet lié à la chance, certains

auteurs (e.g., Anderson, 1983) recommande d’utiliser ce système de notation pour les items

vrai/faux :



On attribue 1 point pour les items correctement répondus

On attribue 0 point pour les items non répondus

On attribue -1 point pour les items incorrectement répondus

Pour les items avec 3, 4 ou 5 options de réponse, ce problème est moins important. On peut

néanmoins appliquer une pénalité pour la mauvaise réponse basée sur cette formule :

Il s’agit de la formule de Guilford et Fruchter (in Koeslag, Melzer et Schach, 1983). Voir aussi

Burton (2001) et Frary (1988) pour plus d’information sur ces questions.

Références

Anderson, J. (1983). Hand-scoring of multiple choice questions. Medical education, 17(2),

122‑133.

Aiken, Lewis R., (1982). Writing multiple-choice items to measure higher-order educational

objectives. Educational and Psychological Measurement, 1982, Vol. 42, pp. 803-806.

Bloom, B. S., Englehart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxonomy of

educational objectives. The classification of educational goals: Handbook I. Cognitive

domain. New York: Da

Bloom’s Taxonomy, retrieved October 14, 2013 from

http://en.wikipedia.org/wiki/Bloom%27s_Taxonomy

Burton, R. F. (2001). Quantifying the Effects of Chance in Multiple Choice and True/False

Tests: Question selection and guessing of answers. Assessment & Evaluation in Higher

Education, 26(1), 41‑50.

Burton, R. F., & Miller, D. J. (1999). Statistical Modelling of Multiple‐choice and True/False

Tests: ways of considering, and of reducing, the uncertainties attributable to guessing.

Assessment & Evaluation in Higher Education, 24(4), 399‑411.

Burton, Steven J., Sudweeks, Richard R., Merrill, Paul F., and Wood, Bud (1991). How to

Prepare Better Multiple Choice Test Items: Guidelines for University Faculty. retrieved

October 14, 2013 from http://testing.byu.edu/info/handbooks/betteritems.pdf

http://en.wikipedia.org/wiki/Bloom%27s_Taxonomy

http://testing.byu.edu/info/handbooks/betteritems.pdf



Center for Development of Human Services (1999). Developing Multiple Choice Tests.

Retrieved October 14, 2013 from

http://www.utas.edu.au/__data/assets/pdf_file/0005/43781/developing-mcqs-for-

RCPSC.pdf

Center for teaching (2013). Writing Good Multiple Choice Test Questions. Retrieved October

14, 2013 from http://cft.vanderbilt.edu/teaching-guides/assessment/writing-good-

multiple-choice-test-questions/

Cheung, Derek and Bucat, Robert. How can we construct good multiple-choice items?

Presented at the Science and Technology Education Conference, Hong Kong, June 20-

21, 2002.

Leclercq, D. (1986). La conception des Questions à Choix Multiple. Bruxelles : Labor.

http://orbi.ulg.ac.be/bitstream/2268/17835/1/La_conception_des_QCM_avril_2008.p

df

Frary, R. B. (1988). Formula Scoring of Multiple-Choice Tests (Correction for Guessing).

Retrieved October 14, 2013 from http://ncme.org/linkservid/65C63B8F-1320-5CAE-

6EFB0D72A6C55DD8/showMeta/0/

Frisbie, D. A. (1990, April). The evolution of the multiple true-false item format. Paper

presented at the Anual Meeting of the National Council on Measurement in Education,

Boston.

Haladyna, Thomas M. (1999). Developing and validating multiple-choice test items, 2nd

edition. Lawrence Erlbaum Associates.

Haladyna, T. M., & Downing, S. M. (1989a). A taxonomy of multiple-choice item-writing

rules. Applied Measurement in Education, 2(1), 37-50.

Haladyna, T. M., & Downing, S. M. (1989b). Validity of a taxonomy of multiple-choice item

writing rules. Applied Measurement in Education, 2(1), 51-78.

Haladyna, T.M. & Downing, S.M. & Rodriguez, M.C. (2002). A review of multiple-choice item-

writing guidelines for classroom assessment. Applied Measurement in Education,

15(3), 309-334.

Hingorjo, M. R., & Jaleel, F. (2012). Analysis of one-best MCQs: the difficulty index,

discrimination index and distractor efficiency. The Journal of the Pakistan Medical

Association, 62(2), 142‑147. Retrieved October 24, 2013

http://www.jpma.org.pk/PdfDownload/3255.pdf

http://www.utas.edu.au/__data/assets/pdf_file/0005/43781/developing-mcqs-for-RCPSC.pdf


http://cft.vanderbilt.edu/teaching-guides/assessment/writing-good-multiple-choice-test-questions/

http://cft.vanderbilt.edu/teaching-guides/assessment/writing-good-multiple-choice-test-questions/

http://orbi.ulg.ac.be/bitstream/2268/17835/1/La_conception_des_QCM_avril_2008.pdf

http://orbi.ulg.ac.be/bitstream/2268/17835/1/La_conception_des_QCM_avril_2008.pdf

http://ncme.org/linkservid/65C63B8F-1320-5CAE-6EFB0D72A6C55DD8/showMeta/0/

http://ncme.org/linkservid/65C63B8F-1320-5CAE-6EFB0D72A6C55DD8/showMeta/0/

http://www.jpma.org.pk/PdfDownload/3255.pdf



Hoepfl, Marie C. (1994) Developing and evaluating multiple-choice tests. The Technology

Teacher, April 1994, pp. 25-26.

Jacobsen, M. (2013). Multiple Choice Item Construction. Retrieved October 14, 2013 from

http://people.ucalgary.ca/~dmjacobs/portage/

Instructionnal Assessment Resources (The University of Texas at Austin) (2011). Writing

multiple-choice questions. Retrieved October 14, 2013 from

http://www.utexas.edu/academic/ctl/assessment/iar/students/plan/method/exams-

mchoice-write.php

Kehoe, Jerard (1995). Writing multiple-choice test items. Practical Assessment, Research &

Evaluation, 4(9). Retrieved October 14, 2013 from

http://PAREonline.net/getvn.asp?v=4&n=9

Koeslag, J. H., Melzer, C. W., & Schach, S. R. (1983). Penalties in multiple-choice and true-

false questions. South African medical journal, 63(1), 20‑22. Retrieved October 22,

2013 from

http://sun025.sun.ac.za/portal/page/portal/Health_Sciences/English/Departments/Bio

medical_Sciences/MEDICAL_PHYSIOLOGY/Essays/files/penalties.pdf

Malamed, C. (2010). 10 Rules For Writing Multiple Choice Questions. Retrieved October 14,

2013 from http://theelearningcoach.com/elearning_design/rules-for-multiple-choice-

questions/

Morrison, Susan and Free, Kathleen. Writing multiple-choice test items that promote and

measure critical thinking. Journal of Nursing Education 40: 17-24, 2001.

Oosterhof, A. C. (1990). Classroom applications of educational measurement. Columbus, OH:

Merrill Publishing.

Rashed, S. (2013). MCQ test item analysis. Retrieved October 24, 2013 from

http://fr.slideshare.net/soharashed/mcq-test-item-analysis

Royal College of Physicians and Surgeons of Canada (2004). Developing Multiple Choice

Questions for the RCPSC Certification Examinations. Retrieved October 14, 2013 from

http://www.utas.edu.au/__data/assets/pdf_file/0005/43781/developing-mcqs-for-

RCPSC.pdf

Steele, C. (2012). Writing Effective Multiple-Choice Questions. Retrieved October 14, 2013

from http://www.tagoras.com/docs/Tagoras-Writing-Effective-Multiple-Choice-

Questions.pdf

http://people.ucalgary.ca/~dmjacobs/portage/

http://www.utexas.edu/academic/ctl/assessment/iar/students/plan/method/exams-mchoice-write.php

http://www.utexas.edu/academic/ctl/assessment/iar/students/plan/method/exams-mchoice-write.php

http://pareonline.net/getvn.asp?v=4&n=9

http://sun025.sun.ac.za/portal/page/portal/Health_Sciences/English/Departments/Biomedical_Sciences/MEDICAL_PHYSIOLOGY/Essays/files/penalties.pdf

http://sun025.sun.ac.za/portal/page/portal/Health_Sciences/English/Departments/Biomedical_Sciences/MEDICAL_PHYSIOLOGY/Essays/files/penalties.pdf

http://theelearningcoach.com/elearning_design/rules-for-multiple-choice-questions/

http://theelearningcoach.com/elearning_design/rules-for-multiple-choice-questions/

http://fr.slideshare.net/soharashed/mcq-test-item-analysis



http://www.tagoras.com/docs/Tagoras-Writing-Effective-Multiple-Choice-Questions.pdf

http://www.tagoras.com/docs/Tagoras-Writing-Effective-Multiple-Choice-Questions.pdf



Schreyer Institute for Teaching Excellence (2013). Improve multiple choice tests using item

analysis. Retrieved October 24, 2013 from

http://www.schreyerinstitute.psu.edu/Tools/ItemAnalysis/

Vyas, R., & Supe, A. (2008). Multiple choice questions: a literature review on the optimal

number of options. The National medical journal of India, 21(3), 130‑133.

Fürst, G. (2013). Utilisation et développement de Questions à Choix Multiples (QCM).

Documents

Transcript of Fürst, G. (2013). Utilisation et développement de Questions à Choix Multiples (QCM).