Moteur d’administration en ligne des apprentissages basé sur des

normes formelles d’objets d’évaluationGilles Raîche

Martin RiopelMartin Lesage

Komi Sodoke

75è Congrès de l’ACFAS

Jeudi 10 mai 200715h00 à15h30

Département d’éducation – UQAM

Centre sur les applications des modèles de réponses aux items (CAMRI)

Sommaire de la présentation Introduction Pertinence du projet en éducation Concepts élémentaires Projet de recherche en cours Normes formelles d’objets d’apprentissage Sommaire du projet Schéma de principe Résultats obtenus Travaux futurs Conclusion

Introduction La recherche du CAMRI se situe dans le cadre général du testing adaptatif par ordinateur (TAO) et plus particulièrement celui de la théorie de la réponse à l’item (TRI).

La théorie de la réponse à l’item est une théorie de la mesure en éducation et en sciences humaines permettant la modélisation de la probabilité du choix des réponses aux items dans les systèmes d’évaluation des apprentissages.

L’une des avancées de la théorie de la réponse à l’item est la production de tests adaptatifs en ligne.

Pertinence du projet en éducation Le domaine de l’informatique se concentre sur le

génie logiciel, la téléinformatique (l’Internet), le Web sémantique ainsi que sur les domaines de l’informatique pure

Les informaticiens ne sont pas des pédagogues ni des enseignants: ils ont donc besoin de travailler avec des spécialistes des autres disciplines lorsqu’il s’agit de développer des applications d’apprentissage par ordinateur (E-Learning)

L’apprentissage par ordinateur permet à des individus l’accès à l’éducation même s’il n’ont pas accès à des professeurs ou à des institutions d’enseignement

L’apprentissage par ordinateur est de plus en plus répandu afin d’augmenter le rayonnement des institutions d’enseignement (Ex.: le MIT)

Pertinence du projet en éducation Beaucoup d’applications d’apprentissage par

ordinateur se concentrent sur la création ainsi que la diffusion de cours et non sur des processus ou des méthodes d’évaluation par ordinateur

L’approche par compétences du Ministère de l’Éducation du Québec nécessite le perfectionnement de moyens actuels d’évaluation des compétences transversales

Les questionnaires traditionnels ou informatisés actuels peuvent parfois donner une mauvaise estimation des connaissances ou des compétences des étudiants en raison de leur manque d’adaptabilité

Ce présent projet vise l’élaboration de normes et de spécifications en vue de l’administration de tests adaptatifs

Concepts élémentaires

Langage XML [eXtensible Markup Language]: langage à bases de balises (éléments décrivant l’information) comme le HTML servant à créer les pages Web. Dans le XML, les balises sont définies par le programmeur.

<?xml version="1.0" encoding="UTF-8"?><employe> <matricule>1234</matricule> <prenom>Jean</prenom> <nom>Tremblay</nom></employe>

Concepts élémentaires

Objets d’apprentissage ou objets d’instruction:– Entités électroniques partageables et réutilisables pouvant être utilisées pour l’apprentissage. Ces entités sont toujours disponibles partout et en tout temps souvent mais pas nécessairement sur l’Internet.

– Entreposés dans des répertoires contrôlés par leurs développeurs

– Les objets d’apprentissage peuvent être des cours entiers ou des entités plus granulaires telles que des clips audio, des clips vidéo, des images, des graphiques ainsi que des animations

Concepts élémentaires

Objets d’évaluation (Items):– Un item est un ensemble d’interactions (pouvant être vide) saisi avec tout matériel de support et possiblement analysé avec un ensemble de règles permettant la conversion de la réponse d’un candidat en résultats d’évaluation.

– La taille d’un item peut varier d’une simple question comportant un champ de saisie de texte à un examen entier comportant des instructions et du matériel de support multimédia.

Projet de recherche en cours

Problématique actuelle:– la gestion actuelle des contenus d’enseignement, d’apprentissage et d’évaluation est parfois difficile

– les cours et les examens peuvent être soit sous format papier, sur acétates en plastique, en présentations électroniques de format WordPerfect, MS Word, Harvard Graphics, Powerpoint, etc

– Il est donc difficile de convertir ces cours et examens sous un format électronique uniforme afin de les placer sur un site Internet d’apprentissage (« E-Learning »).

Projet de recherche en cours

Question de recherche: « Comment peut-on modéliser des interfaces dans un contexte d’évaluation adaptative des apprentissages par ordinateur? »

Hypothèse: par le développement d’un moteur d’administration en ligne des apprentissages basé sur des normes formelles de modélisation d’objets d’apprentissage et d’objets d’évaluation

Normes formelle d’objets d’apprentissage

Ces normes permettent l’encapsulation de fragments de cours ou de points d’enseignements (« learning objets ») sous la forme de petits modules en langage XML (« eXtensible Markup Language »)

Normes formelle d’objets d’apprentissage

Différentes normes existent à l’heure actuelle:– QTI IMS– SCORM– IEEE LTSC LOM– AICC CMI

Les normes SCORM, LOM et CMI sont faites spécialement pour automatiser la gestion des contenus d’enseignement. Elles ne comportent pas de formalisme ni de paramètres pour modéliser les contenus d’évaluation des apprentissages.

Normes formelle d’objets d’apprentissage

La norme QTI IMS est la seule ayant un formalisme et des paramètres pour modéliser les contenus d’évaluation des apprentissages. Son formalisme est à base de balises en langage XML.

Normes formelle d’objets d’évaluation(QTI-IMS)

La question suivante affichée sur un site d’apprentissage à distance

Cette question estt modélisée selon le fichier XML présenté à la prochaine page

Normes formelle d’objets d’apprentissage

<?xml version="1.0" encoding="UTF-8"?><!-- Thie example adapted from the PET Handbook, copyright University of Cambridge ESOL Examinations --><assessmentItem xmlns="http://www.imsglobal.org/xsd/imsqti_v2p0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.imsglobal.org/xsd/imsqti_v2p0 imsqti_v2p0.xsd" identifier="choice" title="Unattended Luggage" adaptive="false" timeDependent="false"> <responseDeclaration identifier="RESPONSE" cardinality="single" baseType="identifier"> <correctResponse> <value>ChoiceA</value> </correctResponse> </responseDeclaration> <outcomeDeclaration identifier="SCORE" cardinality="single" baseType="integer"> <defaultValue> <value>0</value> </defaultValue> </outcomeDeclaration> <itemBody> <p>Look at the text in the picture.</p> <p> <img src="images/sign.png" alt="NEVER LEAVE LUGGAGE UNATTENDED"/> </p> <choiceInteraction responseIdentifier="RESPONSE" shuffle="false" maxChoices="1"> <prompt>What does it say?</prompt> <simpleChoice identifier="ChoiceA">You must stay with your luggage at all times.</simpleChoice> <simpleChoice identifier="ChoiceB">Do not let someone else look after your luggage.</simpleChoice> <simpleChoice identifier="ChoiceC">Remember your luggage when you leave.</simpleChoice> </choiceInteraction> </itemBody> <responseProcessing template="http://www.imsglobal.org/question/qti_v2p0/rptemplates/match_correct"/></assessmentItem>

Sommaire du projet

Aspect théorique:– La norme QTI IMS permet la gestion des contenus d’évaluation à l’intérieur des applications en ligne d’apprentissage

– La norme QTI IMS ne permet pas actuellement d’effectuer du testing adaptif en ligne selon la théorie de la réponse à l’item (TRI)

– Afin de remédier à cette situation, le CAMRI veut améliorer la norme QTI IMS par la formalisation et le développement d’une sous-norme permettant la caractérisation de paramètres d’item selon la théorie de la réponse à l’item

Sommaire du projet Aspect pratique:

– Le CAMRI veut développer un moteur d’administration en ligne des apprentissages basé sur des normes formelles d’objets d’évaluation à l’aide du progiciel Macromedia Flash

– Ce logiciel a été choisi à cause de: ses très grandes capacités multimédia, son aspect avant-gardiste, sa capacité à créer des sites Internet captivants et accrocheurs, sa très grande présence sur le Web, Langage se programmation ActionScript et Flash JavaScript (JSFL), Capacités de traitement et d’analyse sémantique du langage XML; et Possibilité d’interaction avec un serveur Web et des bases de

données MySQL.

Schéma de principe (Développement)

Poste detravail de l’usager

Progiciel Flash

Langage ActionScript

Affichage et saisie de questions à l’écran

Fichiers XML selon la norme QTI IMS

Programmationetdéveloppement

JSFL

Schéma de principe (Production)

Poste de travail de l’usager

Internet(« WWW »)

Serveur WebInterface de présentation Flash en format « .SWF »

Base de données SQL contenant les objets d’évaluation

Réponses

Rustine Flash(« Flash Plugin »)

Requêtes

Servlet créant des questions en format XML

Questions

Résultats Obtenus

Programmation partielle du moteur d’administration des questions en ligne

Analyse sémantique (« XML Parsing ») des fichiers de questions en langage XML

Travaux Futurs

Finalisation du moteur d’affichage des questions:– Saisie des questions– Création/écriture de fichiers XML de questions sur le serveur

– Implantation des fonctions de testing adaptatif Formulation de la sous-norme QTI IMS permettant la caractérisation des paramètres d’items

Production d’articles scientifiques

Conclusion

Ce projet est dans ses débuts Les bases théoriques de ce projet sont fondées

L’implantation du module de saisie et d’affichage des questions est débutée

Beaucoup de travail est en vue pour l’implantation de la sous-norme QTI-IMS permettant l’implantation d’un module de testing adaptatif dans une interface FLASH

Conclusion

Une extension intéressante de ce projet serait la production d’une seule interface d'apprentissage s’adaptant à tout genre d'usagers (étudiant, travailleur ou militaire).

Cette interface sera capable de présenter un contenu ainsi que de créer plusieurs types de tests lors de l'accès de ces usagers à un site Internet d’apprentissage à distance

Références Bonk, C. J., & Wisher, R. A. (2000). Applying collaborative and e-

learning tools to military distance learning: A research framework (Technical Report 2207). Alexandria, VA: United States Army Research Institute for the Behavioral and Social Sciences.

Chang, W., Hsu, H., Smith, T.K., & Wang, C. (2004). Enhancing SCORM metadata for assessment authoring in e-learning. Journal of Computer Assisted Learning, 20(4), 305-316.

Raîche, G. (2004). Le testing adaptatif. In R. Bertrand & J.-G. Blais (Eds), Modèles de mesure : l'apport de la théorie des réponses aux items. Montréal : Presses de l'Université du Québec.

Thissen, D. & Mislevy, R.J. (2000). Testing algorithms. In H. Wainer, N. Dorans, D. Eignor, R. Flaugher, B. Green, R. Mislevy, L. Steinberg & D. Thissen (Eds.), Computerized adaptive testing: A primer (Second Edition). Hillsdale, NJ: Lawrence Erlbaum Associates, 101-133.

Weld, D. S., Anderson, C. R., Domingos, P., Etzioni, O., Gajos, K., Lau, T. & Wolfman, S. (2004). Automatically personalizing user interfaces. International joint conference on artificial intelligence (IJCAI) 2003, 1613–1619, Acapulco, Mexico.

IMS Global Learning Consortium, Inc. QTI standard. Available: http://www.imsglobal.org/question