Présentation d'un outil logiciel pour

soutenir la détection des tentatives de fraudes lors de l'évaluation des apprentissages

Sébastien Béland (UQAM)Gilles Raîche (UQAM)

David Magis (U. Liège)Martin Lesage (UQAM)

ADMÉE CanadaJeudi 26 novembre 2009

Plan1. Mise en contexte.2. Classification des indices. 2.1 Indices non-paramétriques. 2.2 Indices paramétriques.3. Le programme personFitR.4. Un exemple d’application.5. Discussion.

1. Mise en contexte 75% des étudiants américains ont déjà triché (Hutton, 2006).

78% des enseignants au collégial croient que leurs étudiants ne répondent pas correctement aux tests (Laurier, Froio, Pearo et Fournier, 1998).

1. Que peut-on faire pour prévenir ce type de comportement/stratégie? Avoir plusieurs surveillants au sein d’une classe.

Avoir des locaux bien éclairés. Répéter le même item sous différentes formes afin de vérifier la consistance des réponses d’un sujet.

Etc.

1. Indices de détection de patrons de réponses inappropriés

Indice de détection

{0,0,1,1,1,0,0,1,1}

Résultat du calcul

2. Classification des indices

Selon Meijer et Sijtsma (2001) et Karabatsos (2003), il existe 2 grandes catégories d’indices:

Indices paramétriques (découlant de la théorie de la réponse aux items).

Indices non-paramétriques (ne découlant pas de la théorie de la réponse aux items).

),(

,, )1(fd

fidi xxG

G=Σ0(1-0)+1(1-0)+1(1-0)

2.1 Indices non-paramétriques: un exemple

2 erreurs de Guttman

Patron de réponses ordonné d’un sujet = {001} 

Guttman (1944, 1950)

2.2 Indices paramétriques

)(11)(

ii bai

iie

ccP

Où θ est un paramètre d’habileté de la personneai un paramètre de discrimination de l’itembi un paramètre de difficulté de l’itemci un paramètre de pseudo-chance de l’item

Cette catégorie d’indices est basée sur la probabilité de bonne réponse d’un étudiant à un item.

2.2 Indices paramétriques: un exemple

I

iiiii PxPxL

10 )(1ln)1()(ln

2/10

00

)()(

LVARLELLz

I

iiiii PPPPL

10 )(1ln)(1)(ln)()(

I

i i

iii

PPPPLVAR

1

2

0 )(1)(ln)(1)()(

Levine et Rubin (1979)

Drasgow, Levine et Williams (1985)

3. Malheureusement, il existe peu de logiciels qui intègrent ce genre d’indices WPerfit (Ferrando et Lorenzo, 2000)

Lz, ECIz2 et ECIz4

Package ltm (Rizopouloz, 2009)Lz

Webdétecte (Raîche, 2005)Lz

3. personfitR: 27 indicesIndices non-paramétriques Indices paramétriques

G Guttman (1944, 1950) UWright et Stone

(1979)G* Van Der Flier (1977) lnU Wright (1980)

NCITatsuoka et Tatsuoka

(1982) ZUWright et Stone

(1979)C Sato (1975) W Wright (1980)MCI Harnisch et Linn (1981) lnW Wright (1980)

rbisDonlon et Fischer

(1968) ZUWright et Stone

(1979)

  LoLevine et Rubin

(1979)

  Lz

Drasgow, Levine et Williams (1985)

  M

Molenaar et Hoijtink (1990)

  ECI Tatsuoka (1984)  Zeta Tatsuoka (1996)  Sfit Ferrando (2004)

    Cfit et DfitBlais, Raîche et

Magis (2009)

3. personFitR: commentaires préliminaires

Le programme utilise uniquement des matrices de données dichotomiques.

Le traitement des données manquantes doit se faire a priori.

Il est possible d’utiliser les modèles logistiques 1PL, 2PL et 3PL dans le cas des indices paramétriques.

3. Structure théorique de personfitR

Fonction perfitFull

Indice…

Fonction perfit

Indice…Indice…Indice…

perfitFull( index=“Lz”, data,

subject=1:nrow(daa), it=NULL, model= “1PL“, method=“ML“ )

3. personFitR: la commande principale

3. personFitR: la commande principaleperfitFull( index=“Lz”,

data, subject=1:nrow(data),

it=NULL, model=“1PL”, method=“ML“ )

indexChoix de un ou plusieurs indice(s).

3. personFitR: la commande principaleperfitFull( index="Lz",

data, subject=1:nrow(data),

it=NULL, model="1PL", method="ML“ )

dataNom de la matrice à analyser.

3. personFitR: la commande principaleperfitFull( index=“Lz”,

data, subject=1:nrow(data),

it=NULL, model=“1PL”, method=“ML“ )

subjectPossibilité d’obtenir le score de l’indice pour un ou plusieurs sujets particuliers. Il est à noter que les sujets sont tous sélectionnés par défaut.

3. personFitR: la commande principaleperfitFull( index="Lz",

data, subject=1:nrow(data),

it=NULL, model="1PL", method="ML“ )

It=NULLCet argument est la matrice des paramètres d’items. Dans le cadre de personFitR, nous faisons un appel au programme-logiciel difR pour faire l’estimation. Ici, on peut l’estimer les items (par défaut).

3. personFitR: la commande principaleperfitFull( index="Lz",

data, subject=1:nrow(data),

it=NULL, model="1PL", method="ML“ )

model="1PL",L’utilisateur peut sélectionner

le modèle 1PL, 2PL ou 3PL.

3. personFitR: la commande principaleperfitFull( index=“Lz”,

data, subject=1:nrow(data),

it=NULL, model=“1PL", method=“ML“ )

method="ML“ L’utilisateur doit sélectionner une méthode d’estimation de l’habileté suivante: ML, MAP et WLE.

4. Un exemple

Données

Test de classement en anglais-langue seconde passé à 1373 étudiants du Collège de l’Outaouais (1998).

85 items divisés en 8 sous-tests.

4. Un exemple: LoStatslz <- perfitFull(index="Lo",x, model=“2PL",method="MAP")

5. DiscussionExtensions futures

Implémentation de Lz* (Snijders, 2001).

Possibilité d’utiliser le 4PL. Possibilité de fixer la valeur de la pseudo-chance.

Ajout d’autres indices.

Merci de votre attention!!!