Υπολογιστική ανάλυση λαθών στο πλαίσιο της εκμάθησης της νέας ελληνικής ως δεύτερης γλώσσας: διερεύνηση της αποτελεσματικότητας της κατάρτισης

των διορθωτών Δημήτριος Τζιμώκας

Πανεπιστήμιο Αθηνών

Περίληψη

Η παρούσα έρευνα εντάσσεται στο πλαίσιο της Υπολογιστικής Ανάλυσης Λαθών και εξετάζει τη διυποκειμενική συμφωνία μεταξύ επτά (7) διαφορετικών διορθωτών (έξι φοιτητριών του ΠΜΣ «Διδασκαλία της Νέας Ελληνικής ως Ξένης Γλώσσας» του Πανεπιστημίου Αθηνών και του γράφοντα) όσον αφορά την επισημείωση λαθών σε δέκα (10) παραγωγές γραπτού λόγου μαθητών της Ν.Ε. ως Γ2. Ο άμεσος στόχος της έρευνας είναι η αξιολόγηση της λειτουργικότητας της ταξινομίας γλωσσικών λαθών που χρησιμοποιήθηκε καθώς και του τρόπου κατάρτισης των διορθωτών, ώστε να δημιουργηθούν καλύτερες προϋποθέσεις για την ανάπτυξη ενός αξιόπιστου και εύχρηστου ηλεκτρονικού σώματος λαθών. Τα ερευνητικά δεδομένα συλλέχθηκαν σε δύο φάσεις. Κατά την α ́ φάση οι διορθώτριες – πληροφορητές δεν είχαν λάβει πριν τη διόρθωση συστηματική κατάρτιση, ενώ κατά τη β ́φάση είχαν παρακολουθήσει δύο σχετικά σεμινάρια κατάρτισης και τους είχε χορηγηθεί αναλυτικό εγχειρίδιο επισημείωσης λαθών. Τα αποτελέσματα της ποσοτικής ανάλυσης των δεδομένων έδειξαν ότι η πιο συστηματική κατάρτιση των διορθωτριών έφερε κάποια αποτελέσματα, αλλά όχι σε ικανοποιητικό βαθμό, καθώς τα υψηλά ποσοστά ασυμφωνίας μεταξύ των διορθωτριών παραμένουν, κυρίως όσον αφορά τα μορφολογικά, τα συντακτικά και τα λεξικά λάθη. Εν κατακλείδι, δίνονται ορισμένες προτάσεις για τη βελτίωση της κατάρτισης των διορθωτών.

1. Θεσμικό πλαίσιο της έρευνας

Η παρούσα έρευνα ολοκληρώθηκε σε δύο φάσεις, από τις οποίες η πρώτη ξεκίνησε στο

πλαίσιο του συγχρηματοδοτούμενου προγράμματος «Ηλεκτρονικά Σώματα Κειμένων (στο εξής

Η.Σ.Κ.) για την έρευνα και τη διδασκαλία της Νέας Ελληνικής Γλώσσας» (Πιθαγόρας Ι) και

ειδικότερα του υποέργου «Ανάπτυξη ΗΣΚ εκμάθησης της Ν.Ε. ως ξένης γλώσσας» (Μικρός

2007). Το συγκεκριμένο πρόγραμμα υλοποιήθηκε από το Πανεπιστήμιο Αθηνών κατά τα έτη

2004 έως 2007 και μέρος των παραδοτέων του είναι αναρτημένο στην ιστοσελίδα

http://greekcorpora.isll.uoa.gr. Η δεύτερη φάση ολοκληρώθηκε πρόσφατα βάσει νέων

δεδομένων, των οποίων, όμως, η επεξεργασία διενεργήθηκε με την ίδια σχεδόν μεθοδολογία

έρευνας που χρησιμοποιήθηκε κατά την αρχική φάση.

2. Θεωρητικό πλαίσιο έρευνας

Όπως καταδεικνύεται και από τον τίτλο της εισήγησης, η παρουσιαζόμενη έρευνα

εντάσσεται στο χώρο της ανάλυσης της διαγλώσσας των μαθητών ξένης γλώσσας (Corder 1981)

και ειδικότερα της υπολογιστικής ανάλυσης των λαθών τους με τη χρήση Η.Σ.Κ. γλωσσικής

εκμάθησης (learner corpora) (Belz 2004, Cobb 2003, Dagneaux et al. 1998, Granger 2003a,

Granger 2003b, McEnery et al. 2006, Τζιμώκας 2010). Προκειμένου, βέβαια, να είναι εφικτή η

υπολογιστική ανάλυση των συγκεκριμένων λαθών, είναι απαραίτητος ο χαρακτηρισμός του εν

λόγω Η.Σ.Κ. γλωσσικής εκμάθησης ως προς τα γλωσσικά λάθη με τη χρήση ειδικού λογισμικού

επισημείωσης λαθών, το οποίο διαθέτει ενσωματωμένη μια τυποποιημένη ταξινομία λαθών. Η

ερευνητική ομάδα που συμμετείχε στο παραπάνω ερευνητικό πρόγραμμα (βλ. § 1) ανέπτυξε το

πρώτο σχετικό λογισμικό «Σημειωτής» (βλ. Koutsis, Markopoulos & Mikros 2007), με την

απαραίτητη ταξινομία λαθών βάσει της διεθνούς βιβλιογραφίας (βλ. Granger 2003a, James

1998, Τζιμώκας υπό δημοσίευση) για τα ελληνικά ως δεύτερη γλώσσα. Όπως διευκρινίζεται και

στους στόχους της έρευνας, η τελευταία επικεντρώνεται στο στάδιο της επισημείωσης των

λαθών (βλ. Leech 1997, Τζιμώκας 2006).

3. Στόχοι έρευνας

Πιο συγκεκριμένα, οι κύριοι στόχοι της έρευνας έχουν ως εξής:

α) Αποτίμηση του βαθμού της διυποκειμενικής συμφωνίας μεταξύ των διορθωτών ως προς την

επισημείωση λαθών σε παραγωγές γραπτού λόγου (στο εξής ΠΓΛ) μαθητών της Νέας

Ελληνικής ως δεύτερης γλώσσας,

β) αξιολόγηση της λειτουργικότητας της χρησιμοποιούμενης από τους διορθωτές ταξινομίας

λαθών,

γ) βελτίωση του λογισμικού επισημείωσης λαθών «Σημειωτής» και

δ) αξιολόγηση και περαιτέρω βελτίωση του τρόπου κατάρτισης των διορθωτών, ώστε να

επιτευχθεί πιο αξιόπιστη και πιο ομοιόμορφη επισημείωση λαθών στο Η.Σ.Κ. εκμάθησης της

Νέας Ελληνικής ως δεύτερης γλώσσας από τους διαφορετικούς διορθωτές.

Απώτερος στόχος της έρευνας, εν τέλει, είναι η δημιουργία ενός πιο αξιόπιστου και πιο

εύχρηστου Η.Σ.Κ. λαθών για τους ενδιαφερόμενους ερευνητές, το οποίο θα πληροί κατά το

δυνατόν τις διεθνείς προδιαγραφές (βλ. Granger 2003b και Pravec 2002).

4. Μεθοδολογία έρευνας

4.1 Οι μαθητές

Τα δημογραφικά χαρακτηριστικά των μαθητών που συνέταξαν τις ΠΓΛ, βάσει των οποίων

διενεργήθηκε η έρευνα, είναι τα εξής: οι μαθητές είναι δέκα (10) ενήλικες (οι περισσότεροι

μεταξύ 18 και 25 ετών), κατανεμημένοι ισαρίθμως σε άνδρες και γυναίκες, οι οποίοι φοίτησαν

στο Διδασκαλείο της Νέας Ελληνικής ως Δεύτερης Γλώσσας του Πανεπιστημίου Αθηνών κατά

το ακαδημαϊκό έτος 2001-2002. Οι εθνικότητες των μαθητών ανέρχονται στις εννέα (9) και είναι

οι εξής: γερμανική, πολωνική, ουκρανική, βρετανική, γεωργιανή, ιορδανική, ρωσική, ρουμανική

και παλαιστινιακή.

4.2 Το γλωσσικό υλικό

Το γλωσσικό υλικό που ερευνήθηκε είναι δέκα (10) ΠΓΛ (μία από κάθε μαθητή), οι οποίες

συντάχτηκαν από τους μαθητές κατά τις εξετάσεις για τη χορήγηση πιστοποιητικού

ελληνομάθειας τον Σεπτέμβριο του 2001 και κυρίως τον Ιούνιο του 2002 μετά από

παρακολούθηση μονοετούς σειράς μαθημάτων. Οι συγκεκριμένες ΠΓΛ ποικίλης έκτασης

επισημειώθηκαν για πρώτη φορά ως προς τα λάθη τους με χρήση του σχετικού λογισμικού από

τον γράφοντα στο πλαίσιο της συμμετοχής του στην κατάρτιση του Η.Σ.Κ. γλωσσικής

εκμάθησης. Όσον αφορά τη βαθμολογία των ΠΓΛ, η οποία αποδόθηκε με βάση την

εικοσάβαθμη κλίμακα, καταβλήθηκε προσπάθεια να αντιπροσωπεύει όσο πιο ευρύ φάσμα

επιδόσεων γινόταν. Συγκεκριμένα, επιλέχτηκαν τρεις ΠΓΛ με βαθμολογία γύρω στο 6, τέσσερις

ΠΓΛ με βαθμολογία γύρω στο 15 και τρεις ΠΓΛ με βαθμολογία γύρω στο 19. Η επιλογή ΠΓΛ

με σημαντικές διαφορές ως προς την έκταση και τη βαθμολογία απέβλεπε στη διακύμανση και

ως προς τη συχνότητα λαθών, χωρίς, βέβαια, να προϋποτίθεται η άμεση αλληλεξάρτηση των

στοιχείων αυτών. Στον πίνακα 1 παρατίθενται τα χαρακτηριστικά των συγκεκριμένων ΠΓΛ:

Πίνακας 1: Χαρακτηριστικά των ΠΓΛ Όνομα ηλ.

αρχείου ΠΓΛ Πλήθος λέξεων Βαθμολογία Εθνικότητα μαθητή Φύλο μαθητή Εξεταστική

περίοδος

EXJ004 243 18,5 Γερμανική Άνδρας Ιούνιος 2002

EXJ010 175 15,5 Πολωνική Γυναίκα Ιούνιος 2002

EXJ012 255 6 Ουκρανική Άνδρας Ιούνιος 2002

EXJ015 331 6 Βρετανική (ομογενής) Γυναίκα Ιούνιος 2002

EXJ017 219 15 Γεωργιανή Γυναίκα Ιούνιος 2002

EXJ024 244 19 Ιορδανική Γυναίκα Ιούνιος 2002

EXJ030 217 15 Ρωσική Γυναίκα Ιούνιος 2002

EXJ031 266 16 Ρουμανική Άνδρας Ιούνιος 2002

EXJ037 206 19 Ουκρανική Άνδρας Ιούνιος 2002

EXS002 173 7 Παλαιστινιακή ---- Σεπτέμβριος 2001

4.3 Οι διορθώτριες

Οι διορθώτριες που ανέλαβαν να επισημειώσουν τα λάθη των παραπάνω ΠΓΛ στο πλαίσιο

της παρούσας έρευνας ήταν έξι (6) μεταπτυχιακές φοιτήτριες του Προγράμματος

Μεταπτυχιακών Σπουδών «Διδασκαλία της Νέας Ελληνικής ως Ξένης Γλώσσας» του

Πανεπιστημίου Αθηνών, οι οποίες παρακολουθούσαν το δεύτερο έτος των σπουδών τους. Οι

διορθώτριες χωρίστηκαν σε δύο ομάδες των τριών μελών η καθεμία, από τις οποίες η πρώτη

εργάστηκε κατά το ακαδημαϊκό έτος 2004-2005, ενώ δύο διορθώτριες της δεύτερης ομάδας

εργάστηκαν κατά το ακαδημαϊκό έτος 2006-2007 και μία κατά το ακαδημαϊκό έτος 2009-20101.

4.4 Τρόπος κατάρτισης των διορθωτριών

Κατ’ αρχάς πρέπει να σημειωθεί ότι και οι δύο ομάδες διορθωτριών δεν καταρτίστηκαν

ειδικά εν όψει της παρούσας έρευνας, αλλά στο πλαίσιο μίας μεταπτυχιακής εργασίας, η οποία

προέβλεπε την επισημείωση συγκεκριμένου αριθμού ΠΓΛ ως προς τα λάθη τους από κάθε

φοιτήτρια ως μία συμβολή στην ανάπτυξη του ΗΣΚ εκμάθησης της Νέας Ελληνικής ως ξένης

γλώσσας (βλ. § 1). Η πρώτη ομάδα διορθωτριών δεν έλαβε συστηματική επιμόρφωση σχετικά

με τη διαδικασία διόρθωσης. Συγκεκριμένα, οι διορθώτριες είχαν μία συνάντηση με τον

γράφοντα, όπου τους έγινε σύντομη επίδειξη του τρόπου λειτουργίας και χρήσης του λογισμικού 1 Οφείλω πολλές ευχαριστίες στις μεταπτυχιακές φοιτήτριες Βάσω Σολωμού, Έλλη Μεϊμάρη, Μένια Σουφλιά, Θεοδώρα Κουζέλη, Ηλιάνα Μανιατάκου και Θεοδοσία Καβαρνού που αφιέρωσαν μεγάλο μέρος από τον πολύτιμο χρόνο τους, και μάλιστα εκτός των υποχρεώσεών τους στο πλαίσιο των σπουδών τους, προκειμένου να παραγάγουν τα πρωτογενή ερευνητικά δεδομένα.

επισημείωσης λαθών και τους χορηγήθηκε ένα φυλλάδιο με την ταξινομία των λαθών και με

παραδείγματα για τη χρήση κάθε επισημείωσης λάθους. Επίσης, τους χορηγήθηκαν σύντομες

επιπρόσθετες διευκρινίσεις σχετικά με τα παραπάνω.

Η δεύτερη ομάδα διορθωτριών παρακολούθησε ένα σύντομο πρόγραμμα κατάρτισης πριν

αρχίσει η επισημείωση των λαθών. Συγκεκριμένα, οργανώθηκαν δύο συναντήσεις των δύο ωρών

η καθεμία περίπου. Στην πρώτη συνάντηση οι διορθώτριες είχαν μια πρώτη εξοικείωση με την

ταξινομία των λαθών και με το λογισμικό επισημείωσης των λαθών μέσω απευθείας επίδειξης

της χρήσης του σε ηλεκτρονικό υπολογιστή. Επίσης, τους χορηγήθηκε ειδικό αναλυτικό

εγχειρίδιο με πλήρη την ταξινομία των λαθών, με παραδείγματα χρήσης για κάθε επισημείωση

λάθους, με αναλυτικές διευκρινίσεις για τη χρήση αυτών των επισημειώσεων καθώς και με

οδηγίες χρήσης του λογισμικού και συμβουλές για την επισημείωση λαθών. Στο διάστημα που

μεσολάβησε μέχρι τη δεύτερη συνάντηση οι διορθώτριες επιχείρησαν δοκιμαστικές

επισημειώσεις μικρού αριθμού ΠΓΛ ως προς τα λάθη τους βάσει των οδηγιών που έλαβαν,

φροντίζοντας παράλληλα να συλλέγουν τις τυχόν απορίες ή προβλήματα που ανέκυπταν. Στο

δεύτερο σεμινάριο έγινε επίδειξη της πλήρους διαδικασίας επισημείωσης μιας ΠΓΛ ως προς τα

λάθη της και συζητήθηκαν οι απορίες ή τα προβλήματα που αντιμετώπισαν οι διορθώτριες κατά

την πρώτη απόπειρά τους να χρησιμοποιήσουν το λογισμικό επισημείωσης λαθών. Στη

συνέχεια, κατά τη διάρκεια της καθαυτό εργασίας τους, οι διορθώτριες βρίσκονταν σε συνεχή

επικοινωνία μέσω διαδικτύου με τον γράφοντα, ώστε να επιλύουν μαζί του όποιο νέο ζήτημα

προέκυπτε.

4.5 Επεξεργασία του γλωσσικού υλικού

Οι ίδιες δέκα υπό έρευνα ΠΓΛ δόθηκαν σε ηλεκτρονική μορφή στις διορθώτριες τόσο της

πρώτης όσο και της δεύτερης ομάδας, αφού είχαν ολοκληρώσει τη διαδικασία της επισημείωσης

λαθών στις ΠΓΛ που τους αναλογούσαν στο πλαίσιο της μεταπτυχιακής τους εργασίας και χωρίς

να τους γνωστοποιηθούν οι επισημειώσεις που είχε ήδη επισυνάψει ο γράφων στα ίδια κείμενα.

Ύστερα, οι διορθώτριες επισημείωσαν τα γλωσσικά λάθη κάνοντας χρήση του ειδικού

λογισμικού, το οποίο καταχωρίζει αυτόματα κάθε επισημείωση λάθους σε λογιστικό φύλλο. Στη

συνέχεια, διενεργήθηκε ποσοτική ανάλυση ξεχωριστά των δεδομένων που προέκυψαν από κάθε

ομάδα διορθωτριών, ενώ παράλληλα τα δεδομένα κάθε ομάδας συνεξετάστηκαν σε όλα τα

στάδια της ανάλυσης με τα δεδομένα των επισημειώσεων του γράφοντα. Συγκεκριμένα,

διενεργήθηκαν οι εξής μετρήσεις: α) Τα αθροίσματα των επισημειώσεων λαθών που έδωσαν οι

διορθώτριες κάθε ομάδας σε καθεμία από τις δέκα ΠΓΛ. β) Τα ποσοστά συμφωνίας μεταξύ των

διορθωτριών κάθε ομάδας ως προς την επιλογή των επισημειώσεων λαθών σε τρεις ΠΓΛ από τις

δέκα συνολικά, την EXJ010, την EXJ015 και την EXJ037 (βλ. § 4.2). Ο περιορισμός σε τρεις

από τις δέκα ΠΓΛ προτιμήθηκε χάριν συντομίας και καταβλήθηκε προσπάθεια να επιλεχθούν

ΠΓΛ που να ποικίλουν τόσο ως προς την έκταση όσο και ως προς τη βαθμολογία, την

εθνικότητα και το φύλο του/της μαθητή/-τριας. Οι μετρήσεις των ποσοστών συμφωνίας και στις

τρεις ΠΓΛ έγιναν ανά ζεύγη διορθωτών (βλ. §5). γ) Η ποσοστιαία κατανομή μεταξύ των ίδιων

και των διαφορετικών επισημειώσεων λάθους, τις οποίες επέλεξαν οι διορθώτριες μόνο της

δεύτερης ομάδας και του γράφοντα στις τρεις παραπάνω ΠΓΛ καθώς και η ποσοστιαία

κατανομή των διαφόρων υποκατηγοριών τόσο των ίδιων όσο και των διαφορετικών

επισημειώσεων στις ίδιες ΠΓΛ. δ) Τα ποσοστά συμφωνίας μεταξύ των διορθωτριών μόνο της

δεύτερης ομάδας και του γράφοντα ως προς την επιλογή των επισημειώσεων λαθών στις

παραπάνω τρεις ΠΓΛ, κατανεμημένα, όμως, ανά επίπεδο λάθους (μορφολογικά, ορθογραφικά,

συντακτικά, λάθη ως προς τη λεξική μορφή, σημασιολογικά και λάθη στίξης).

5. Αποτελέσματα

Στο γράφημα 1 παρουσιάζονται τα αθροίσματα των επισημειώσεων λαθών που προέκυψαν

από τις τρεις διορθώτριες της πρώτης ομάδας και τον γράφοντα σε καθεμία από τις δέκα ΠΓΛ2.

2 Για αναλυτικότερη παρουσίαση των επιδόσεων των διορθωτριών της α ́ομάδας ως προς τη συμφωνία τους κατά την επισημείωση των λαθών βλ. Τζιμώκας 2009.

Πλήθος επισημειώσεων - Α΄ φάση

0

50

100

150

200

250

300

EXJ004 EXJ010 EXJ012 EXJ015 EXJ017 EXJ024 EXJ030 EXJ031 EXJ037 EXS002

Παραγωγές γραπτού λόγου

Πλή

θος

Επισ

ημει

ώσε

ις

Διορθώτρια Α

Διορθώτρια Β

Διορθώτρια Γ

Ερευνητής

Γράφημα 1: Συνολικό πλήθος επισημειώσεων λαθών ανά διορθωτή κατά την α΄ φάση της έρευνας

Στις μετρήσεις του γραφήματος 1 μπορούμε να παρατηρήσουμε τα εξής: α) οι αποκλίσεις

μεταξύ των διορθωτών είναι αισθητές. Η μέγιστη απόκλιση είναι 153 επισημειώσεις λαθών στην

ΠΓΛ EXJ015 και η ελάχιστη απόκλιση είναι 5 λάθη στην ΠΓΛ EXJ004. Η μέση απόκλιση είναι

36 λάθη περίπου, β) υπάρχει ελλιπής επισημείωση από την διορθώτρια Β, καθώς σε όλες σχεδόν

τις ΠΓΛ (εκτός της EXJ010) παρουσιάζει τον ελάχιστο αριθμό επισημειώσεων γεγονός που

συμβάλλει αποφασιστικά στην ασυμφωνία της συγκεκριμένης ομάδας, γ) οι επισημειώσεις των

υπόλοιπων τριών διορθωτών δεν παρουσιάζουν μεγάλες ποσοτικές αποκλίσεις μεταξύ τους και

δ) σε έξι (6) από τις δέκα ΠΓΛ παρατηρείται απόκλιση μεγαλύτερη των 20 επισημειώσεων

λαθών, ενώ απόκλιση μικρότερη των 10 επισημειώσεων λαθών παρατηρείται σε δύο (2) ΠΓΛ.

Στο γράφημα 2 παρουσιάζονται τα αθροίσματα των επισημειώσεων λαθών που προέκυψαν

από τις τρεις διορθώτριες της δεύτερης ομάδας και πάλι σε σύγκριση με τον γράφοντα σε

καθεμία από τις δέκα ΠΓΛ.

Πλήθος επισημειώσεων - Β΄ φάση

0

50

100

150

200

250

300

EXJ004 EXJ010 EXJ012 EXJ015 EXJ017 EXJ024 EXJ030 EXJ031 EXJ037 EXS002

Παραγωγές γραπτού λόγου

Πλή

θος

Επισ

ημει

ώσε

ις

Διορθώτρια Α

Διορθώτρια Β

Διορθώτρια Γ

Ερευν ητής

Γράφημα 2: Συνολικό πλήθος επισημειώσεων λαθών ανά διορθωτή κατά τη β΄ φάση της έρευνας

Στις μετρήσεις του γραφήματος 2 μπορούμε να παρατηρήσουμε τα εξής: α) οι αποκλίσεις

μεταξύ των διορθωτών παραμένουν, αλλά αυτή τη φορά είναι μικρότερες. Συγκεκριμένα, η

μέγιστη απόκλιση είναι 80 επισημειώσεις λαθών και πάλι στην ΠΓΛ EXJ015, ενώ η ελάχιστη

απόκλιση είναι 5 επισημειώσεις λαθών στην ΠΓΛ EXJ017. Η μέση απόκλιση είναι 20 λάθη

περίπου, β) μόνο τρεις (3) από τις δέκα ΠΓΛ παρουσιάζουν αποκλίσεις μεγαλύτερες των 20

επισημειώσεων λαθών, ενώ σε επίσης τρεις (3) ΠΓΛ παρατηρείται απόκλιση μικρότερη των 10

επισημειώσεων λαθών.

Πρέπει, βέβαια, εδώ να σημειωθεί ότι η μεταβολή των μέγιστων αποκλίσεων μεταξύ των

διορθωτών ανά ΠΓΛ από την πρώτη στη δεύτερη φάση δεν είναι στατιστικά σημαντική (Chi

square p-value: 0,0117).

Όσον αφορά, τώρα, τα ποσοστά συμφωνίας μεταξύ των διορθωτών, το γράφημα 3

παρουσιάζει συγκριτικά τις σχετικές μετρήσεις στην ΠΓΛ EXJ010 ανά ζεύγος διορθωτών τόσο

της πρώτης όσο και της δεύτερης ομάδας.

EXJ010

0

10

20

30

40

50

60

70

80

Α+Β Α+Γ Α+ΕΡ Β+Γ Β+ΕΡ Γ+ΕΡ

Ζεύγη διορθωτών

% σ

υμφ

ωνί

ας

Α΄ ομάδα

Β΄ ομάδα

Γράφημα 3: Ποσοστά συμφωνίας ανά ζεύγη διορθωτών πρώτης και δεύτερης ομάδας ως προς τις επισημειώσεις λαθών στην ΠΓΛ EXJ010

Στα γραφήματα 4 και 5 παρουσιάζονται οι ανάλογες μετρήσεις στις ΠΓΛ EXJ015 και

EXJ037.

EXJ015

0

10

20

30

40

50

60

70

80

Α+Β Α+Γ Α+ΕΡ Β+Γ Β+ΕΡ Γ+ΕΡ

Ζεύγη διορθωτών

% σ

υμφ

ωνί

ας

Α΄ ομάδαΒ΄ ομάδα

Γράφημα 4: Ποσοστά συμφωνίας ανά ζεύγη διορθωτών πρώτης και δεύτερης ομάδας ως προς τις επισημειώσεις λαθών στην ΠΓΛ EXJ015

EXJ037

0

10

20

30

40

50

60

70

80

Α+Β Α+Γ Α+ΕΡ Β+Γ Β+ΕΡ Γ+ΕΡ

Ζεύγη διορθωτών

% σ

υμφ

ωνί

ας

Α΄ ομάδαΒ΄ ομάδα

Γράφημα 5: Ποσοστά συμφωνίας ανά ζεύγη διορθωτών πρώτης και δεύτερης ομάδας ως προς τις επισημειώσεις λαθών στην ΠΓΛ EXJ037 Στις παραπάνω μετρήσεις, όπως παρουσιάζονται στα γραφήματα 3,4 και 5 παρατηρούνται τα

εξής: α) Στην ΠΓΛ EXJ010 τα ποσοστά συμφωνίας σε όλα τα ζεύγη διορθωτών παρουσιάζουν

αύξηση από την πρώτη στη δεύτερη ομάδα και είναι χαρακτηριστικό ότι το σύνολο των ζευγών

της δεύτερης ομάδας επιτυγχάνει συμφωνία άνω του 50%. Είναι, επίσης, ενδεικτικό το ότι οι

διαφορές μεταξύ των δύο ομάδων διορθωτών ως προς τα ποσοστά συμφωνίας είναι στατιστικά

σημαντικές (Chi square p-value <0,0001). β) Και στην ΠΓΛ EXJ015 η συμφωνία των ζευγών

διορθωτών ως προς την επιλογή των επισημειώσεων λαθών από την πρώτη στη δεύτερη ομάδα

αυξάνεται σημαντικά σε τρία ζεύγη (Α+Β, Β+Γ, Β+ΕΡ), ενώ μειώνεται λιγότερο αισθητά στα

υπόλοιπα τρία ζεύγη (Α+Γ, Α+ΕΡ, Γ+ΕΡ). Και πάλι όλα τα ζεύγη της δεύτερης ομάδας έχουν

συμφωνία μεγαλύτερη του 50%, ενώ και σε αυτή την ΠΓΛ οι διαφορές μεταξύ των δύο ομάδων

διορθωτών είναι στατιστικά σημαντικές (Chi square p-value <0,0001). γ) Στην ΠΓΛ EXJ037 τα

πράγματα είναι κάπως διαφορετικά, καθώς εδώ οι διαφορές μεταξύ των δύο ομάδων διορθωτών

είναι λιγότερο αισθητές. Συγκεκριμένα, οι αυξήσεις των ποσοστών συμφωνίας μεταξύ των

διορθωτών από τη μία ομάδα στην άλλη κυμαίνονται μόλις μεταξύ του 2% και του 30%

περίπου, αλλά και οι μειώσεις των ποσοστών συμφωνίας δεν είναι μεγαλύτερες της τάξεως του

20%. Και πάλι βέβαια, οι διορθωτές της δεύτερης ομάδας παρουσιάζουν κατά κανόνα ποσοστά

συμφωνίας μεγαλύτερα του 50%, αλλά και οι διορθωτές της πρώτης ομάδας δεν είχαν ποσοστά

συμφωνίας μικρότερα του 35%, όπως συνέβη στις δύο προηγούμενες ΠΓΛ. Η μικρή έκταση των

διαφορών μεταξύ των δύο ομάδων επιβεβαιώνεται και στατιστικά (Chi square p-value <0,0437).

Όσον αφορά αποκλειστικά τις επιδόσεις της δεύτερης ομάδας, η οποία είχε και τη

συστηματικότερη κατάρτιση ως προς την επισημείωση των λαθών, στο γράφημα 6 εμφανίζεται

η ποσοστιαία κατανομή των ίδιων και των διαφορετικών επισημειώσεων λαθών μεταξύ των

διορθωτών της κατά την επεξεργασία των ίδιων τριών ΠΓΛ που αναφέρθηκαν και

προηγουμένως.

43,6%

56,4%

Ίδιες

Διαφορετικές

Γράφημα 6: Ποσοστιαία κατανομή ίδιων-διαφορετικών επισημειώσεων λαθών μεταξύ των διορθωτών της β΄ ομάδας Αυτό που παρατηρείται στο σύνολο των ζευγών των διορθωτών της δεύτερης ομάδας είναι η

ελαφρά υπερίσχυση των διαφορετικών επισημειώσεων έναντι των ίδιων κατά 12,8%.

Στα γραφήματα 7 και 8 παρουσιάζεται η ποσοστιαία κατανομή των υποκατηγοριών των

ίδιων και των διαφορετικών επισημειώσεων αντίστοιχα μεταξύ των διορθωτών της δεύτερης

ομάδας. Οι υποκατηγορίες των ίδιων επισημειώσεων λαθών είναι: α) ίδια επισημείωση λάθους

για το ίδιο σημείο της ΠΓΛ με την ίδια διόρθωση (Ι), β) ίδια επισημείωση λάθους για το ίδιο

σημείο της ΠΓΛ με διαφορετική διόρθωση (ΙΙΔΙ). Οι υποκατηγορίες των διαφορετικών

επισημειώσεων λαθών είναι: α) διαφορετική επισημείωση λάθους για διαφορετικό σημείο της

ΠΓΛ (Δ), β) διαφορετική επισημείωση λάθους για το ίδιο σημείο της ΠΓΛ με διαφορετική

διόρθωση (ΔΙΔΔ), γ) διαφορετική επισημείωση λάθους για το ίδιο σημείο της ΠΓΛ με την ίδια

διόρθωση (ΔΙΔΙ).

99,5%

0,5%ΙΙΙΔΙ

Γράφημα 7: Ποσοστιαία κατανομή των υποκατηγοριών των ίδιων επισημειώσεων λαθών μεταξύ των διορθωτών της β ́ομάδας

Στο γράφημα 7 παρατηρείται η σχεδόν ολική υπερίσχυση των ίδιων επισημειώσεων λαθών για

το ίδιο σημείο της ΠΓΛ και με την ίδια διόρθωση, των πραγματικών δηλαδή κοινών

επισημειώσεων μεταξύ των διορθωτών (99,5%), έναντι των ίδιων επισημειώσεων για το σημείο

του κειμένου, αλλά με διαφορετική προτεινόμενη διόρθωση (0,5%). Στην τελευταία περίπτωση,

άλλες διορθώσεις δεν έχουν μεγάλες διαφορές μεταξύ τους ως προς το νόημα και τη διατύπωση,

π.χ. η εσφαλμένη διατύπωση «για την ορθή του απόφαση αυτή» από άλλους διορθωτές

διορθώνεται «για την ορθή αυτή απόφασή του» και από άλλους «για αυτή την ορθή του

απόφαση», ενώ άλλες διορθώσεις αποκλίνουν μεταξύ τους σημαντικά, όπως στην περίπτωση

που το εσφαλμένο «χώρες» από άλλους διορθώνεται ως «χώρο» και από άλλους ως «ώρες»

χρησιμοποιώντας, όμως, πάντα την ίδια επισημείωση λάθους.

2,7%

22,6%

74,7%

Δ

ΔΙΔΔ

ΔΙΔΙ

Γράφημα 8: Ποσοστιαία κατανομή των υποκατηγοριών των διαφορετικών επισημειώσεων λαθών μεταξύ των διορθωτών της β ́ομάδας

Στο γράφημα 8 παρατηρείται η συντριπτική υπερίσχυση των καθαυτό διαφορετικών

επισημειώσεων μεταξύ των διορθωτών, οι οποίες εμφανίζουν ποσοστό 74,7%. Δεύτερες

έρχονται οι επισημειώσεις που διαφέρουν μεν μεταξύ των διορθωτών, αλλά αφορούν το ίδιο

σημείο της ΠΓΛ και συνοδεύονται από την ίδια διόρθωση με ποσοστό 22,6%. Τέλος, οι

διαφορετικές επισημειώσεις λαθών που αναφέρονται στο ίδιο σημείο του κειμένου, αλλά δεν

συνοδεύονται και από τις ίδιες διορθώσεις συγκεντρώνουν το 2,7%.

Στο γράφημα 9 παρουσιάζονται τα ποσοστά συμφωνίας μεταξύ των ζευγών διορθωτών της

δεύτερης ομάδας ως προς την επιλογή των επισημειώσεων ανά επίπεδο λάθους. Τα επίπεδα

λάθους είναι τα εξής: Μ= λάθη μορφολογίας και μορφοσύνταξης, Ο= λάθη ορθογραφίας και

επιλογής λεξικών καταλήξεων, Φ= λάθη σύνταξης στο πλαίσιο ονοματικής φράσης, Π= λάθη

σύνταξης στο πλαίσιο πρότασης, Ι= λάθη στη χρήση κειμενικών δεικτών, Λ= λάθη στη μορφή,

στη σημασία και στη χρήση των λέξεων, Ε= λάθη στη χρήση των χαρακτηριστικών των

διαφόρων κειμενικών γενών, Σ= ασαφές/ βαρύ ύφος και Ξ= λάθη στη χρήση της στίξης. Στο

υπόμνημα που συνοδεύει το γράφημα αναγράφονται τα διάφορα ζεύγη διορθωτών, για τα οποία

έγιναν οι μετρήσεις.

0

10

20

30

40

50

60

70

80

Μ Ο Φ Π Ι Λ Ε Σ Ξ

Επίπεδα λάθους

% σ

υμφ

ωνί

ας

Α+ΒΑ+ΓΑ+ΕΡΒ+ΓΒ+ΕΡΓ+ΕΡ

Γράφημα 9: Ποσοστά συμφωνίας μεταξύ των διορθωτών της δεύτερης ομάδας ως προς την επιλογή των επισημειώσεων λαθών ανά επίπεδο λάθους

Όσον αφορά τα μορφολογικά και τα μορφοσυντακτικά λάθη (Μ), παρατηρείται χαμηλή

συμφωνία μεταξύ των διορθωτών που κυμαίνεται από 14,2% έως 27,3%, με μέση τιμή

ποσοστού συμφωνίας στο 20%. Στα λάθη ορθογραφίας και επιλογής λεξικής κατάληξης (Ο) τα

ποσοστά συμφωνίας αυξάνονται αισθητά και κινούνται μεταξύ 58,2% και 72,7% (Μ.Ο.: 62,8%).

Στα λάθη σύνταξης στο πλαίσιο ονοματικής φράσης (Φ) τα ποσοστά συμφωνίας είναι περίπου

τα ίδια με αυτά των επισημειώσεων για τα μορφολογικά/μορφοσυντακτικά λάθη (από 11,5%

έως 25%) με το μέσο ποσοστό συμφωνίας να ανέρχεται στο 19%. Στην επισημείωση των λαθών

σύνταξης στο πλαίσιο της πρότασης (Π) οι διορθωτές επέδειξαν στις περισσότερες περιπτώσεις

πλήρη ασυμφωνία καθώς μόνο δύο ζεύγη από τα έξι, το Α+ΕΡ και το Β+ΕΡ παρουσίασαν κοινές

επιλογές κατά 66,6% και 50% αντίστοιχα. Αλλά ακόμη και αυτά τα υψηλά ποσοστά δεν είναι

αντιπροσωπευτικά, καθώς αφορούν έναν πολύ μικρό αριθμό καταχωρήσεων λαθών. Για τα λάθη

στη χρήση κειμενικών δεικτών απλώς δεν εντοπίστηκε καμία σχετική καταχώρηση από τους

διορθωτές του δείγματος και γι’ αυτό εμφανίζουν στο γράφημα μηδενική συμφωνία. Επίσης, και

οι επισημειώσεις των λεξικών λαθών (μορφή, σημασία, χρήση) (Λ) παρουσιάζουν χαμηλά

επίπεδα συμφωνίας, τα οποία κυμαίνονται μεταξύ 15,4% και 25,6% (Μ.Ο.: 19,6%). Οι

καταχωρίσεις των λαθών ως προς τα χαρακτηριστικά των κειμενικών γενών (Ε) και του ύφους

(Σ) παρουσιάζουν πλήρη ασυμφωνία μεταξύ των διορθωτών, χωρίς όμως και εδώ το δείγμα να

είναι αντιπροσωπευτικό, λόγω του μικρού αριθμού των σχετικών καταχωρίσεων. Τέλος, στις

επισημειώσεις των λαθών στίξης οι διορθωτές παρουσιάζουν ελαφρώς μεγαλύτερη συμφωνία

από ό,τι στις επισημειώσεις των μορφολογικών/μορφοσυντακτικών λαθών, η οποία ξεκινά από

το 17% και φτάνει μέχρι το 32,6% με τη μέση τιμή του ποσοστού συμφωνίας να ανέρχεται στο

25,3%.

6. Συζήτηση – συμπεράσματα

Τα κυριότερα συμπεράσματα που προκύπτουν από την προηγούμενη ποσοτική ανάλυση

είναι τα εξής: α) η ασυμφωνία ως προς την επιλογή των επισημειώσεων λαθών μειώθηκε από

την πρώτη στη δεύτερη φάση της έρευνας, αλλά παρόλο που σε ορισμένες περιπτώσεις η μείωση

ήταν στατιστικά σημαντική δεν μπορεί να θεωρηθεί και ικανοποιητική, διότι αφενός το

συνολικό ποσοστό συμφωνίας μεταξύ των διορθωτών παραμένει και στη δεύτερη ομάδα

μικρότερο από το ποσοστό ασυμφωνίας και αφετέρου η συντριπτική πλειοψηφία των

περιπτώσεων ασυμφωνίας αφορά επισημειώσεις σε διαφορετικά σημεία των ΠΓΛ μεταξύ των

διορθωτριών (βλ. γράφημα 8), β) τα ποσοστά συμφωνίας μεταξύ των διορθωτών παραμένουν

και στη δεύτερη ομάδα σχετικά χαμηλά (κάτω του 50%) κυρίως σε πολύ σημαντικές από

πλευράς γλωσσικής εκμάθησης κατηγορίες λαθών, όπως τα μορφολογικά, τα συντακτικά και τα

λεξικά λάθη. Το συναγόμενο από τα παραπάνω συμπέρασμα είναι ότι το εγχειρίδιο του

λογισμικού και η πιο συστηματική συνεργασία μεταξύ διορθωτών και ερευνητή που

εφαρμόστηκε κατά την κατάρτιση της β΄ ομάδας έφερε κάποια αποτελέσματα, αλλά υπάρχουν

ακόμη αρκετά περιθώρια βελτίωσης, ώστε η συμφωνία μεταξύ των διορθωτών να φτάσει σε

ικανοποιητικά επίπεδα. Το τι συνιστά, βέβαια, ικανοποιητικό επίπεδο συμφωνίας μεταξύ των

διορθωτών χρήζει περαιτέρω συζήτησης και έρευνας. Με τις δεδομένες συνθήκες υπό τις οποίες

αναπτύσσεται το ΗΣΚ εκμάθησης της Ν.Ε. ως ξένης γλώσσας και συνεκτιμώντας το γεγονός

του κεντρικού ρόλου του ανθρώπινου παράγοντα και της εμπλοκής εκ των πραγμάτων μεγάλου

αριθμού ατόμων στη διαδικασία της επισημείωσης λαθών, το ικανοποιητικό ποσοστό

συμφωνίας θα μπορούσε να εκτιμηθεί γύρω στο 60% με 70%.

Τα κυριότερα πιθανά αίτια της παραπάνω επίμονης ασυμφωνίας μεταξύ των διορθωτών

είναι τα εξής:

α) η αναπόφευκτη διαφοροποίηση των προτεινόμενων διορθώσεων για το ίδιο λάθος από

διορθώτρια σε διορθώτρια (βλ. §5),

β) η ελλιπής εξοικείωση των διορθωτριών με το σύστημα κωδικοποίησης λαθών,

γ) η ασάφεια ορισμένων κατηγοριών λαθών του συστήματος κωδικοποίησης που δεν αίρεται

ούτε από την παρουσία ενδεικτικών παραδειγμάτων,

δ) η παρουσία πλήθους υποκατηγοριών λαθών στη σχετική ταξινομία (βλ. Τζιμώκας υπό

δημοσίευση, Τζιμώκας 2006),

δ) η εσκεμμένη απουσία ανατροφοδότησης μεταξύ ερευνητή και διορθωτριών κατά τη διάρκεια

της ερευνητικής δειγματοληψίας,

ε) η ελλιπής, όπως αποδεικνύεται από τα πορίσματα της έρευνας, κατάρτιση των διορθωτριών,

ε) η απλή απροσεξία.

Οι κυριότερες κατευθύνσεις προς τις οποίες πρέπει στο εξής να επικεντρωθεί η προσπάθεια

για τη βελτίωση της κατάρτισης των διορθωτών είναι: α) η αύξηση των επιμορφωτικών

συναντήσεων για τους διορθωτές ανάλογα με τις ανάγκες της κάθε ομάδας, β) η εστίαση στις

προβληματικές κατηγορίες λαθών με παράθεση περισσότερων παραδειγμάτων τόσο ορθής όσο

και εσφαλμένης χρήσης τους κατά την επισημείωση, γ) η διενέργεια περισσότερων

δοκιμαστικών διορθώσεων σε περισσότερες ΠΓΛ πριν αρχίσει το κύριο μέρος της διόρθωσης, δ)

η επέκταση της έρευνας σε μεγαλύτερο δείγμα διορθωτών και η ανάλυση των δεδομένων βάσει

του παράγοντα ορθή-εσφαλμένη επισημείωση λάθους.

Ο κεντρικός στόχος των παραπάνω προσπαθειών για τη βελτίωση της κατάρτισης των

διορθωτών δεν είναι άλλος από την επίτευξη ικανοποιητικού γενικού ποσοστού συμφωνίας

μεταξύ των διορθωτών μέσω της δραστικής μείωσης των πραγματικά διαφορετικών

επισημειώσεων (Δ, βλ. γράφημα 9) και της εξάλειψης της ασυμφωνίας στα προφανή λάθη

(ορθογραφικά, τονισμού, λεξικής μορφής, μορφολογικών ανωμαλιών), τα οποία είναι και τα πιο

συχνά, με παράθεση περισσότερων σχετικών παραδειγμάτων.

ΒΙΒΛΙΟΓΡΑΦΙΚΕΣ ΑΝΑΦΟΡΕΣ

Belz, J. A. 2004. “Learner corpus analysis and the development of foreign language proficiency”. System 32, 577-591.

Cobb, T. 2003. “Analyzing late interlanguage with learner corpora: Québec replications of three European studies”. The Canadian Modern Language Review/La Revue canadienne des langues vivantes 59(3), 393-423.

Corder, S.P. 1981. Error Analysis and Interlanguage. Oxford, Oxford University Press.

Dagneaux, E., Denness, S. & Granger, S. 1998. “Computer-aided error analysis”. System 26, 163-174.

Granger S. 2003a. “Error-tagged learner corpora and CALL: a promising synergy.” CALICO Journal (special issue on Error Analysis and Error Correction in Computer-Assisted Language Learning) 20(3), 465-480.

Granger, S. 2003b. “The International Corpus of Learner English: A New Resource for Foreign Language Learning and Teaching and Second Language Acquisition Research”. TESOL Quarterly (special issue on Corpus Linguistics) 37(3), 538-546.

James, C. 1998. Errors in Language Learning and Use. Exploring Error Analysis. London & New York, Longman.

Koutsis, I., Markopoulos, G., & Mikros, G. 2007. “Episimiotis. A multilingual tool for hierarchical annotation of texts”. Στο Davies, M., Rayson, P., Hunston, S. & Danielsson, P. (εκδ.). Proceedings of the Corpus Linguistics Conference CL2007, 27-30 July, 2007. Bimingham, University of Birmingham UK, ηλ. διαθ.: http://ucrel.lancs.ac.uk/publications/CL2007/paper/243_Paper.pdf.

Leech, G. 1997. “Introducing Corpus Annotation”. Στο Garside, R., Leech, G. & McEnery, Τ. (εκδ.). Corpus Annotation: linguistic information from computer text corpora. London & New York, Longman, 1-18.

McEnery, Τ., Xiao, R. & Tono, Y. 2006. Corpus-based language studies: An advanced resource book. London & New York, Routledge.

Μικρός, Γ. 2007. «Ηλεκτρονικά Σώματα Κειμένων για την έρευνα και τη διδασκαλία της Νέας Ελληνικής», ανακοίνωση στη Διημερίδα διάχυσης των ερευνητικών αποτελεσμάτων των ερευνητικών προγραμμάτων "Πυθαγόρας Ι & ΙΙ -Μέτρο 4.2 ΦΥΛΟ", 10-11 Δεκεμβρίου 2007, ΕΚΠΑ, Αθήνα.

Pravec, N. 2002. “Survey of Learner Corpora”. ICAME Journal 26, 81-114.

Τζιμώκας, Δ. (υπό δημοσίευση). «Σύστημα ταξινόμησης λαθών σε ΠΓΛ μαθητών της ΝΕ ως δεύτερης γλώσσας». Στο Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών (επιμ.). Γ΄ Διεθνές συνέδριο για τη Διδασκαλία της Νέας Ελληνικής ως Ξένης Γλώσσας Αθήνα 22-23 Οκτωβρίου 2004. Πρακτικά συνεδρίου. Αθήνα, Γκέλμπεσης Γεώργιος.

Τζιμώκας, Δ. 2006. Εγχειρίδιο για την Επισημείωση Λαθών σε Π.Γ.Λ. Μαθητών της Ν.Ε. ως Δεύτερης Γλώσσας με Χρήση του Ειδικού Λογισμικού «Επισημειωτής». Αθήνα, Αδημοσίευτο κείμενο εργασίας για το ερευνητικό πρόγραμμα «Πυθαγόρας (Ι) - Ηλεκτρονικά Σώματα Κειμένων για την έρευνα και τη διδασκαλία της Νέας Ελληνικής γλώσσας. ΠΕ3: Ανάπτυξη ΗΣΚ εκμάθησης της ΝΕ ως ΞΓ».

Τζιμώκας, Δ. 2009. «Διυποκειμενική συμφωνία διορθωτών στην επισημείωση λαθών των ΗΣΚ μαθητών της ΝΕ ως Γ2». Στα Πρακτικά της 4ης Συνάντησης Εργασίας των Μεταπτυχιακών Φοιτητών του τμήματος Φιλολογίας. Αθήνα, Πανεπιστήμιο Αθηνών, 341-348.

Τζιμώκας, Δ. 2010. «Ηλεκτρονικό σώμα κειμένων (ΗΣΚ) εκμάθησης της νέας ελληνικής ως δεύτερης γλώσσας: προς ένα ερευνητικό και διδακτικό εργαλείο». Στο Μελέτες για την Ελληνική Γλώσσα. Πρακτικά της 30ης Ετήσιας Συνάντησης του Τομέα Γλωσσολογίας του Τμήματος Φιλολογίας της Φιλοσοφικής Σχολής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης, 2-3 Μαΐου 2009. Θεσσαλονίκη, ΙΝΣ, 602-616.

Λέξεις-κλειδιά: Ηλεκτρονικά Σώματα Κειμένων – σχεδιασμός και ανάπτυξη, Ελληνική Γλώσσα – Σπουδή και διδασκαλία, Ξένη γλώσσα, Λάθη, Υπολογιστική Γλωσσολογία, Κατάρτιση διορθωτών.