Εφαρμογές Μεικτών Μεθόδων Έρευνας: O ΔιερευνητικόςΑκολουθιακός Σχεδιασμός στην Κατασκευή Εργαλείων Μέτρησης

Κοινωνικών Ερευνών1

Στεφανία Καλογεράκη

ΠΕΡΙΛΗΨΗ Τα εργαλεία μέτρησης αποτελούν τον ακρογωνιαίο λίθο κάθε ποσοτικήςκοινωνικής έρευνας καθώς αντανακλούν το γεφύρωμα του θεωρητικού με το εμπειρικόεπίπεδο της έρευνας προάγοντας τη θεωρία και την γνώση. Ο σχεδιασμός έγκυρων εργαλείωνμέτρησης δεν συνιστά μια απλή διαδικασία, για αυτό και η κατασκευή τους συχνάχαρακτηρίζεται ως μαεστρία ή τέχνη. Στο κείμενο υποστηρίζεται ότι στην τέχνη κατασκευήςποσοτικών εργαλείων μέτρησης η μεικτή προσέγγιση δύναται να συντελέσει σε έναερευνητικό αποτέλεσμα που επαυξάνει την εγκυρότητά τους σε σχέση με μονομερείςμεθοδολογικές προσεγγίσεις. Το αποτέλεσμα αυτό επιτυγχάνεται με ένα διερευνητικόακολουθιακό σχεδιασμό όπου στο αρχικό στάδιο της ποιοτικής προσέγγισης συλλαμβάνονταιοι πολλαπλές πτυχές του υπό μελέτη φαινομένου στο πρωταρχικό του πλαίσιο συμβάλλονταςσε μια «εκ των έσω» διερεύνηση σε πραγματικές καταστάσεις. Στο δεύτερο στάδιο, τααποτελέσματα της ποιοτικής ανάλυσης χρησιμοποιούνται στην κατασκευή εμπειρικώνδεικτών οι οποίοι ελέγχονται με εξωτερικά κριτήρια και στατιστικούς ελέγχους εγκυρότηταςκαι αξιοπιστίας, πριν την εφαρμογή του εργαλείου μέτρησης σε ευρύτερα δειγματικά μεγέθη.Η αμαλγάμωση της ποιοτικής και ποσοτικής παράδοσης στο διερευνητικό ακολουθιακόσχεδιασμό επαυξάνει την εγκυρότητα των εργαλείων μέτρησης τόσο στο επίπεδο διερεύνησηςτων θεωρητικών εννοιών που συνθέτουν το υπό μελέτη κοινωνικό φαινόμενο όσο και στοεπίπεδο κατασκευής εμπειρικών δεικτών που αντιπροσωπεύουν τις έννοιες αυτές. Ηπροσέγγιση αυτή βασίζεται στις θέσεις του πραγματισμού όπου οι διαμάχες περίασυμβατότητας της ποσοτικής και ποιοτικής παράδοσης παραμερίζονται με απώτερο σκοπότη βελτιστοποίηση της εγκυρότητας των εργαλείων μέτρησης. Σε ένα τέτοιο πλαίσιο, ηεφαρμογή του διερευνητικού ακολουθιακού σχεδιασμού για την κατασκευή εργαλείωνμέτρησης στις κοινωνικές επιστήμες και ειδικότερα στη Ψυχολογία και την Παιδαγωγικήδύναται να οδηγήσει σε ένα ερευνητικό αποτέλεσμα που υπερέχει σε σχέση με τααποτελέσματα μονομερών μεθοδολογικών προσεγγίσεων.

Λέξεις-κλειδιά: Εγκυρότητα, Εργαλεία μέτρησης, Διερευνητικός ακολουθιακός σχεδιασμός,Μεικτές έρευνες.

1. Εισαγωγή: ο πόλεμος των παραδειγμάτων και ο «τρίτος» δρόμος του μεικτούπαραδείγματος

Οι πόλεμοι στην ιστορία της ανθρωπότητας λαμβάνουν χώρα ως ένοπλεςσυρράξεις μεταξύ κρατών ή ομάδων εντός του ίδιου κράτους, ωστόσο πόλεμοιδύναται να διεξαχθούν μεταξύ διαφορετικών παραδειγμάτων (paradigms) στη μάχηγια την κατάκτηση της γνώσης. Η δεκαετία του 1980 έχει πλέον καταγραφεί στηνιστορία των κοινωνικών επιστημών ως η χρονική περίοδος του πολέμου τωνπαραδειγμάτων (paradigm war) αντικατοπτρίζοντας τη διαμάχη μεταξύ τωνυποστηρικτών της ποσοτικής και ποιοτικής προσέγγισης περί ασυμβατότητας τωνπαραδοχών τους στη διερεύνηση της κοινωνικής πραγματικότητας (Tashakkori &Teddlie, 2003a· Teddlie & Tashakkori, 2003· Τσιώλης 2011).

1 Στο Πουρκός Μ., (Επιμ.), Δυνατότητες και 'Ορια της Μείξης των Μεθοδολογιών στην Κοινωνική,Ψυχολογική και Εκπαιδευτική Έρευνα, Ίων, Αθήνα, 2013, κεφ. 8.

2

2

Η θέση της ασυμβατότητας (Howe, 1988) εξέφρασε την άποψη των αγεφύρωτωνδιαφορών μεταξύ των εν λόγω προσεγγίσεων (Smith, 1983· Lincoln & Guba, 1985·Guba, 1990), έτσι όπως αυτές διατυπώνονται στους φιλοσοφικούς τουςπροσανατολισμούς, αντανακλώντας δυο διαφορετικά παραδείγματα στον χώρο τωνκοινωνικών επιστημών, το φυσιοκρατικό και το ανθρωπιστικό. Το δύο αυτάπαραδείγματα διαφοροποιούνται σε θεμελιώδη ζητήματα που αφορούν στη φύσηκαι τα χαρακτηριστικά της κοινωνικής πραγματικότητας που μελετάται(οντολογικές παραδοχές), στους τρόπους προσέγγισης της γνώσης για την υπόμελέτη πραγματικότητα (γνωσιολογικές/επιστημολογικές παραδοχές), στις μεθόδουςδιερεύνησης της (μεθοδολογικές παραδοχές) καθώς και ζητημάτων που άπτονταιτου ρόλου που επιτελούν οι αξίες του ερευνητή στη διερεύνηση αυτή (αξιολογικέςπαραδοχές)2 (Πουρκός, 2010α).

Η ποσοτική προσέγγιση συμβαδίζοντας με το φυσιοκρατικό παράδειγμαενστερνίζεται βασικές αρχές του θετικισμού (positivism)3 υιοθετώντας μιαοντολογική θέση που υποστηρίζει την ύπαρξη μιας αντικειμενικής κοινωνικήςπραγματικότητας ανεξάρτητης από την ανθρώπινη αντίληψη (οντολογικόςρεαλισμός) (Πουρκός, 2010α). Στη θετικιστική προσέγγιση ο κοινωνικός κόσμος,κατ’ αναλογία με το φυσικό κόσμο, διέπεται από σχέσεις αιτίου και αποτελέσματοςοι οποίες δύναται να διερευνηθούν με επιστημονικά ουδέτερο τρόπο, με απώτεροστόχο τη διατύπωση καθολικών νόμων που διέπουν την ατομική και κοινωνικήσυμπεριφορά (Κυριαζή, 2006). Βασική αξιολογική θέση στο φυσιοκρατικόπαράδειγμα συνιστά το γεγονός ότι η διατύπωση αιτιοκρατικών νόμων προϋποθέτειτην αντικειμενικότητα του ερευνητή και την αποστασιοποίηση του από τοερευνητικό αντικείμενο έτσι ώστε το αξιακό του σύστημα να μην επιδρά στηνερευνητική διαδικασία. Σε ένα τέτοιο πλαίσιο, η κοινωνική πραγματικότητα είναιεξωτερική ως προς το δρων υποκείμενο και τα εμπειρικά δεδομένα ανεξάρτητα απότα υποκειμενικά κριτήρια και αξίες του εκάστοτε ερευνητή, και ως εκ τούτου είναιδυνατή η αντικειμενική διερεύνηση του κοινωνικού κόσμου.

Οι οντολογικές, επιστημολογικές και αξιολογικές παραδοχές του φυσιοκρατικούπαραδείγματος έχουν μια καθοριστική επίδραση στις μεθόδους διερεύνησης τηςκοινωνικής πραγματικότητας και των φαινομένων της. Η ποσοτική προσέγγισηυιοθετεί μια απαγωγική λογική (deduction) που βασίζεται σε ένα προκαθορισμένοερευνητικό σχεδιασμό για τον εμπειρικό έλεγχο προ-διατυπωμένων ερευνητικώνυποθέσεων έτσι όπως αυτές συνάγονται παραγωγικά από συγκεκριμένες θεωρίες(Johnson & Onwuegbuzie, 2004· Gelo, Braakman & Benetka, 2008). Σε ένα τέτοιοπλαίσιο, η ποσοτική παράδοση ασπάζεται ένα νομοθετικό προσανατολισμό όπου ηεπαλήθευση ή απόρριψη των προ-διατυπωμένων υποθέσεων, με την εφαρμογή

2 Επιπρόσθετες διαφοροποιήσεις μεταξύ του φυσιοκρατικού και ανθρωπιστικού παραδείγματος αφορούνστη γλώσσα που χρησιμοποιείται στην περιγραφή του κοινωνικού κόσμου (ρητορικές παραδοχές). Στοφυσιοκρατικό παράδειγμα η κοινωνική πραγματικότητα περιγράφεται με γλώσσα αυστηρή και ψυχρή, εναντιθέσει με το ανθρωπιστικό παράδειγμα όπου ο ερευνητής γράφει με περισσότερο αφηγηματικό καιανεπίσημο ύφος ενσωματώνοντας το λόγο των ίδιων συμμετεχόντων έτσι όπως προκύπτει από ταδεδομένα της ποιοτικής έρευνας (Πουρκός, 2010α)3 Στο φυσιοκρατικό παράδειγμα εντάσσονται δύο επιπρόσθετες μορφές ή εκδοχές του θετικισμού, ονεοθετικισμός και ο μεταθετικισμός, οι οποίες διαμορφώθηκαν έπειτα από την κριτική που ασκήθηκε σεσυγκεκριμένες θέσεις του θετικισμού. Ο θεωρητικές αυτές προσεγγίσεις υποστηρίζουν ότι οιαιτιοκρατικοί νόμοι που διέπουν τα κοινωνικά φαινόμενα προσεγγίζονται πιθανολογικά ενώ θέτουνζητήματα που αφορούν στην επίδραση των υποκειμενικών κριτηρίων και αξιών του ερευνητή στηδιερεύνηση της κοινωνικής πραγματικότητας (για λεπτομερέστερη παρουσίαση βλ., Πουρκός 2010α).

3

3

στατιστικών αναλύσεων, συντελεί στη διερεύνηση σχέσεων αιτίου-αιτιατού καισυνεπώς στη διατύπωση καθολικών νόμων που ορίζουν τα κοινωνικά φαινόμενα.

Σε αντιδιαστολή με το φυσιοκρατικό παράδειγμα, το ανθρωπιστικό παράδειγμα,το οποίο ενστερνίζεται η ποιοτική προσέγγιση, απορρίπτει τις θέσεις περίανεξαρτησίας της πραγματικότητας από τη συνείδηση των υποκειμένων (Πουρκός,2010α). Στο πλαίσια του ανθρωπιστικού παραδείγματος, η ποιοτική παράδοσηασπάζεται βασικές αρχές των ερμηνευτικών και κονστρουκτιβιστικών θεωρητικώνπροσεγγίσεων4 υποστηρίζοντας ότι ο κοινωνικός κόσμος είναι είτε υποκειμενικάείτε διυποκειμενικά προσδιοριζόμενος και συνεπώς κατασκευάζεται μέσα από ταίδια του τα κοινωνικά υποκείμενα, τις δράσεις και αλληλεπιδράσεις τους αλλά καιτα συστήματα νοηματοδότησης των εμπειριών τους (Neuman, 1997). Υπό αυτήν τηνέννοια, η ποιοτική προσέγγιση θεμελιώνεται στη συστηματική ανάλυση τωννοημάτων των κοινωνικών δράσεων και αλληλεπιδράσεων έτσι όπωςνοηματοδοτούνται από τα κοινωνικά υποκείμενα σε συγκεκριμένα χωρο-χρονικάπλαίσια προσφέροντας μια ολιστική προσέγγιση του υπό μελέτη φαινομένου. Ενώστην ποσοτική παράδοση απώτερος σκοπός είναι η διασφάλιση τηςαντικειμενικότητας της γνώσης, στην ποιοτική, έτσι όπως διαμορφώνεται στουςκόλπους του ανθρωπιστικού παραδείγματος, ο κοινωνικός κόσμος δομείταιυποκειμενικά και δεν δύναται να υπάρξει έξω από τις αντιλήψεις και τα αξιακάσυστήματα τόσο των κοινωνικών υποκειμένων όσο και του ίδιου του ερευνητή.Όπως επισημαίνει η Σαραφίδου:

.....οι αξίες του ερευνητή είναι αναπόσπαστες από τα γεγονότα που μελετά και αποτελούνουσιαστικό μέρος της διαδικασίας παραγωγής γνώσης. Συνεπώς το αξιακό σύστημα τουερευνητή δεν μπορεί παρά να λαμβάνεται υπόψη ως μέρος της μελέτης και να αποτελείμέρος της εικόνας που επιχειρεί να κατανοήσει (Σαραφίδου, 2011 :20)

Οι επιστημολογικές, οντολογικές και αξιολογικές θέσεις του ανθρωπιστικούπαραδείγματος αναπόφευκτα διαμορφώνουν και τις μεθοδολογικές του παραδοχές.Στην ποιοτική προσέγγιση, η θεωρία και συνεπώς οι ερευνητικές υποθέσεις δενπροϋπάρχουν αλλά παράγονται από τα εμπειρικά δεδομένα κατά τη διάρκεια τηςερευνητικής διαδικασίας. Γι’ αυτό στην εν λόγω προσέγγιση υιοθετούνται ευέλικτοιερευνητικοί σχεδιασμοί οι οποίοι δεν αποσκοπούν στη διατύπωση καθολικών νόμωνκαι κανονικοτήτων αλλά εξετάζουν τα κοινωνικά φαινόμενα σε συγκεκριμέναπλαίσια υιοθετώντας μια ιδιογραφική προσέγγιση η οποία θεμελιώνεται σε μιαεπαγωγική (induction) λογική που σκοπό έχει την ανακάλυψη, τη διερεύνηση καιτην παραγωγή θεωρίας και υποθέσεων (Johnson & Onwuegbuzie, 2004· Gelo,Braakman & Benetka, 2008· Τσιώλης, 2011 ).

Οι θεμελιώδεις διαφορές μεταξύ της ποσοτικής και της ποιοτικής προσέγγισηςσε οντολογικό, επιστημολογικό και αξιολογικό επίπεδο πυροδότησαν τον πόλεμοτων παραδειγμάτων5 που επικράτησε κατά τη δεκαετία του 1980 με πρωταγωνιστέςτους υποστηρικτές της θέσης της ασυμβατότητας να διατείνονται ότι οι φιλοσοφικέςπαραδοχές των εν λόγω προσεγγίσεων καθιστούν «το συμβιβασμό τους αδύνατο»(Guba, 1990:81). Ωστόσο, η θέση της ασυμβατότητας επικρίθηκε έντονα καθώς

4 Στο ανθρωπιστικό παράδειγμα συμπεριλαμβάνονται και κριτικές-μετανεωτερικές θεωρητικέςπροσεγγίσεις (για λεπτομερέστερη παρουσίαση βλ. Πουρκός, 2010α).5 Για την ιστορική αναδρομή της εξέλιξης της σχέσης μεταξύ της ποιοτικής και της ποσοτικήςπροσέγγισης με αναφορές στην περίοδο του πολέμου των παραδειγμάτων βλ. Τσιώλης, 2011.

4

4

βασίστηκε στην αποκλειστική σύνδεση του φυσιοκρατικού και ανθρωπιστικούπαραδείγματος με την ποσοτική και ποιοτική ερευνητική προσέγγιση, αντίστοιχααγνοώντας την συνύπαρξη κοινών αποδοχών στα εν λόγω επιστημολογικά-θεωρητικά παραδείγματα6. Συνάμα, η θέση της ασυμβατότητας ακυρώθηκε στοεπίπεδο της ερευνητικής πράξης καθώς από το 19ο αιώνα επιχειρήθηκε η σύζευξητων δύο προσεγγίσεων σε μελέτες των κοινωνικών επιστημών (Τσιώλης, 2011).

Η περίοδος του πολέμου των παραδειγμάτων έδωσε τη θέση της σε μια νέαεποχή κατά την οποία αμφισβητήθηκαν οι μονομερείς προσεγγίσεις στη διερεύνησητης πολυσχιδούς κοινωνικής πραγματικότητας, ενώ αναζητήθηκαν τρόποιγεφύρωσης του χάσματος μεταξύ της ποιοτικής και ποσοτικής προσέγγισης. Στιςαρχές της δεκαετίας του 1990 ενισχύθηκαν οι θέσεις περί συνάρθρωσης των δύοπροσεγγίσεων υποστηρίζοντας ότι, ανεξαρτήτως παραδειγματικώνπροσανατολισμών, οι εν λόγω προσεγγίσεις εξυπηρετούν ένα κοινό ερευνητικόσκοπό που αντανακλά τη βαθύτερη κατανόηση της πολλαπλότητας καιπολυπλοκότητας του κοινωνικού κόσμου και των φαινομένων του (Johnson &Onwuegbuzie, 2004). Σ’ αυτό το πλαίσιο, ο συγκερασμός των δύο παραδόσεων είναιεπιθυμητός καθώς παρέχει μια πολυπρισματική θεώρηση και συνεπώς μιαπληρέστερη οπτική της πολυδιάστατης κοινωνικής πραγματικότητας (Πουρκός,2010β· Τσιώλης, 2011). Όπως χαρακτηριστικά αναφέρει η Κυριαζή:

Η πολλαπλότητα και η αλληλεπίδραση των επιπέδων της κοινωνικήςπραγματικότητας επιζητεί συνδυασμό διαφορετικών μεθόδων για την πιοαποτελεσματική διερεύνηση των μηχανισμών, μέσω των οποίων αυτάδιασυνδέονται (Κυριαζή, 1998: 312).

Η σύζευξη των δύο παραδόσεων οδηγεί σε μια μεικτή προσέγγιση η οποίααπορρίπτει τις θέσεις περί ασυμβατότητας και υιοθετεί το συνδυασμό ποιοτικών καιποσοτικών προσεγγίσεων, τεχνικών και εννοιών σε μια ενιαία μελέτη με απώτεροσκοπό τη σφαιρικότερη, πληρέστερη και συμπληρωματική διερεύνηση ερευνητικώνερωτημάτων (Johnson, Onwuegbuzie & Turner, 2007). Η επιστημολογική θέση της«τρίτης» μεθοδολογικής προσέγγισης, όπως έχει χαρακτηριστεί (Tashakkori &Teddli, 2003a: x), βασίζεται στον πραγματισμό (pragmatism) απορρίπτοντας τουςδιπολισμούς θετικισμός-κονστρουκτιβιτισμός/ερμηνευτισμός και αντικειμενισμός-υποκειμενισμός όσον αφορά τη φύση της κοινωνικής πραγματικότητας,προτάσσοντας το ερευνητικό ερώτημα per se και το πώς αυτό θα εξυπηρετηθεί με τοβέλτιστο δυνατό τρόπο για την παροχή λογικών και πρακτικών απαντήσεων (Howe,1988· Datta, 1994). Σύμφωνα με τον Morgan (2007), η πραγματιστική θεμελίωσητης μεικτής προσέγγισης την καθιστά α-παραδειγματική καθώς βασίζεται στηναποσύνδεση των ποσοτικών και ποιοτικών μεθόδων από τις επιστημολογικές καιοντολογικές τους ρίζες.

Θεμελιώδης αρχή στη μεικτή προοπτική συνιστά η συνάρθρωση της ποσοτικήςκαι ποιοτικής προσέγγισης, η οποία οδηγεί σ’ ένα ερευνητικό αποτέλεσμα το οποίο

6Για παράδειγμα, τόσο στη μεταθετικιστική όσο και την κονστρουκτοβιστική θεώρηση, έτσι όπωςδιατυπώνονται στο φυσιοκρατικό και ανθρωπιστικό παράδειγμα, αντίστοιχα υποστηρίζεται ότι ηκατανόηση της κοινωνικής πραγματικότητας κατασκευάζεται υποκειμενικά και συνεπώς η ερευνητικήδιαδικασία διαμεσολαβείται από τις αντιλήψεις και το αξιακό σύστημα του εκάστοτε ερευνητή(Σαραφίδου, 2011). Συνάμα, η μεταθετικιστική προσέγγιση υιοθετεί ευέλικτους ερευνητικούςσχεδιασμούς κατά τους οποίους οι ποσοτικές μέθοδοι που εφαρμόζονται στη διαδικασία ελέγχου τωνερευνητικών υποθέσεων δύναται να συνδυαστούν με ποιοτικές μεθόδους (Πουρκός, 2010α).

5

5

διέπεται από συμπληρωματικά οφέλη και μη-επικαλυπτόμενους περιορισμούς(Johnson & Turner, 2003). Υπό αυτό το πρίσμα, οι μεικτές μέθοδοι δύναται ναοδηγήσουν σ’ ένα ερευνητικό αποτέλεσμα το οποίο υπερέχει σε σχέση με τααποτελέσματα μονομερών μεθοδολογικών προσεγγίσεων (Johnson & Onwuegbuzie,2004). Ωστόσο, ο συγκερασμός των δύο παραδόσεων δεν υπερτερεί αναγκαστικά σεόλες τις ερευνητικές περιπτώσεις.

Η αποτελεσματικότητα της εφαρμογής μεικτών μεθόδων είναι άρρηκτασυνυφασμένη με το βασικό στόχο και τη σκοπιμότητα της εκάστοτε έρευνας.Κοινός παρανομαστής στις σημαντικότερες τυπολογίες σκοπιμοτήτων διεξαγωγήςμεικτών ερευνών, έτσι όπως διατυπώθηκαν από ερευνητές μεικτών μεθόδων πουθεμελίωσαν τη μεικτή προσέγγιση, αποτελεί η κατασκευή εργαλείων μέτρησης. Γιαπαράδειγμα, οι Greene, Caracelli και Graham (1989)7 επισημαίνουν ότι η«ανάπτυξη» (development), ως ένας από τους βασικούς στόχους διεξαγωγήςμεικτών ερευνών, αναφέρεται στη διαδοχική εφαρμογή των δύο μεθόδων με σκοπότα αποτελέσματα της πρώτης να χρησιμοποιηθούν ως βάση για την ανάπτυξη τηςδεύτερης ως προς την επιλογή του δείγματος, το είδος της ανάλυσης αλλά και τηςκατασκευής εργαλείων μέτρησης. Συνάμα, οι Collins, Onwuegbuzie και Sutton(2006)8, στην τυπολογία σκοπιμοτήτων διεξαγωγής μεικτών ερευνώνσυμπεριλαμβάνουν μεταξύ άλλων την πιστότητα των εργαλείων (instrumentfidelity), η οποία ορίζεται ως η διαδικασία αξιολόγησης της εγκυρότηταςυφιστάμενων εργαλείων μέτρησης και κατασκευής νέων.

Η κατασκευή έγκυρων εργαλείων μέτρησης αποτελεί τον ακρογωνιαίο λίθο κάθεποσοτικής κοινωνικής έρευνας καθώς στα εργαλεία αποτυπώνεται το γεφύρωμα τουθεωρητικού με το εμπειρικό επίπεδο της έρευνας και διασφαλίζεται η εγκυρότητατων ερευνητικών αποτελεσμάτων προάγοντας τη θεωρία και την γνώση (Groves etal., 2009· Bergman, 2010). Ωστόσο, ο σχεδιασμός έγκυρων εργαλείων μέτρησης δενσυνιστά μια απλή διαδικασία, για αυτό και η κατασκευή τους συχνά χαρακτηρίζεταιως μαεστρία και τέχνη (Payne, 1951· Saris & Gallhofer, 2007).

Βασικός μας στόχος στην εργασία αυτή είναι να υποστηρίξουμε ότι στην τέχνηκατασκευής ποσοτικών εργαλείων μέτρησης η μεικτή προσέγγιση δύναται νασυντελέσει σ’ ένα ερευνητικό αποτέλεσμα που επαυξάνει την εγκυρότητά τους σεσχέση με τις μονομερείς ποσοτικές προσεγγίσεις (Onwuegbuzie, Bustamante &Nelson, 2010). Το αποτέλεσμα αυτό μπορεί να επιτευχθεί στη βάση ενόςδιερευνητικού ακολουθιακού σχεδιασμού (exploratory sequential design) (Creswell& Plano Clark, 2011) κατά τον οποίο το αμάλγαμα της ποιοτικής και ποσοτικήςπροσέγγισης βελτιστοποιεί την εγκυρότητα του εργαλείου μέτρησης τόσο στοεπίπεδο διερεύνησης των θεωρητικών εννοιών που συνθέτουν το υπό μελέτη

7 Σύμφωνα με την τυπολογία των Greene, Caracelli και Graham (1989) επιπρόσθετοι στόχοι ερευνώνμεικτών μεθόδων περιλαμβάνουν: (α) την τριγωνοποίηση (triangulation) (για την αύξηση τηςεγκυρότητας των ευρημάτων), (β) τη συμπληρωματικότητα (complementarity) (για τον εντοπισμό πτυχώντου υπό μελέτη φαινομένου οι οποίες αλληλοσυμπληρώνονται), (γ) την αφετηρία (initiation) (για τηνανακάλυψη τυχόν αντιφάσεων οι οποίες δίνουν το έναυσμα για νέα ερευνητικά ερωτήματα ή νέεςπροοπτικές διερεύνησης του υπό μελέτη φαινομένου, και (δ) την επέκταση (expansion) (για τονεμπλουτισμό και την διεύρυνση των σκοπών της έρευνας).8 Στην τυπολογία των Collins, Onwuegbuzie και Sutton (2006) επιπρόσθετοι ερευνητικοί στόχοιαφορούν: (α) στον εμπλουτισμό των συμμετεχόντων (participant enrichment) (για τη βελτιστοποίηση τουδείγματος των συμμετεχόντων), (β) στην αξιολόγηση της ακεραιότητας (treatment integrity) (για τηναποτίμηση της αποτελεσματικότητας διαφορετικών παρεμβάσεων και προγραμμάτων), και (γ) στηναύξηση της σημαντικότητας (significance enhancement) (για τον εμπλουτισμό δεδομένων που συντελούνστη μεγαλύτερη ερμηνευτικότητα των αποτελεσμάτων).

6

6

κοινωνικό φαινόμενο όσο και στο επίπεδο κατασκευής και ελέγχου εμπειρικώνμεταβλητών που αντιπροσωπεύουν τις έννοιες αυτές. Έτσι καθίσταται δυνατή ηπροαγωγή μιας περισσότερο αξιόπιστης και έγκυρης γνώσης στον χώρο τωνκοινωνικών επιστημών και ειδικότερα στα επιστημονικά πεδία που αφορούν τηνΠαιδαγωγική και την Ψυχολογία.

2. Η μέτρηση ως συνδετικός κρίκος θεωρίας και εμπειρικής έρευνας

Κάθε ερευνητικό θέμα, θεωρία ή υπόθεση στα πλαίσια μιας κοινωνικής έρευναςσυνθέτεται από θεωρητικές έννοιες και από τις μεταξύ τους σχέσεις (Bergman,2010). Οι κοινωνικοί ερευνητές, έχοντας ως απώτερο σκοπό τη συστηματικήδιερεύνηση, έλεγχο και αξιολόγηση των κοινωνικών θεωριών και των υποθέσεωνπου τις διέπουν, καλούνται να κατασκευάσουν εμπειρικές μεταβλητές οι οποίεςαναπαριστούν συγκεκριμένες θεωρητικές έννοιες (Zeller & Carmines, 1980). Σε ένατέτοιο πλαίσιο, η μέτρηση στην ποσοτική παράδοση αποτελεί «τη διαδικασία πουεπιτρέπει στον κοινωνικό ερευνητή να μεταβεί από τον χώρο των αφηρημένωνθεωρητικών εννοιών και θεωριών στον κόσμο της εμπειρίας» (McGaw & Watson,1976: 205). Η μετουσίωση των θεωρητικών εννοιών σε αντίστοιχους εμπειρικούςδείκτες γεφυρώνει το θεωρητικό και εννοιολογικό επίπεδο με το επίπεδο μέτρησηςαναπαράγοντας το διάλογο μεταξύ θεωρίας και εμπειρικών δεδομένων (Bergman,2010). Ωστόσο, η διαδικασία μετάβασης από το επίπεδο της θεωρίας και τωνθεωρητικών εννοιών που τη συνθέτουν στο επίπεδο των εμπειρικών δεικτών ενέχεισημαντικές δυσκολίες.

Οι κοινωνικοί επιστήμονες συχνά καλούνται να χρησιμοποιήσουν θεωρητικέςέννοιες9 οι οποίες αντικατοπτρίζουν την πολυπλοκότητα της κοινωνικήςπραγματικότητας στην οποία αναφέρονται παρουσιάζοντας σημαντικές αποκλίσειςαπό τις αντίστοιχες εμπειρικές μεταβλητές (Blalock, 1968). Οι αποκλίσεις μεταξύθεωρητικών εννοιών και εμπειρικών μεταβλητών οφείλονται στο ότι οι πρώτες δενδύναται να παρατηρηθούν και συνεπώς να μετρηθούν άμεσα (Zeller & Carmines,1980). Αυτό έχει ως αποτέλεσμα να καθίσταται πολύ δύσκολη αν όχι αδύνατη(Blalock, 1990) η πλήρης αντιστοιχία των θεωρητικών αυτών εννοιών με τηνπραγματικότητα και με τους εμπειρικούς δείκτες που την αντιπροσωπεύουν. Υπόαυτό το πρίσμα, οι εμπειρικοί δείκτες δεν μπορούν παρά να αποτελούν μόνοπροσεγγιστικές αναπαραστάσεις των υπό μελέτη θεωρητικών εννοιών έτσι όπωςαυτές διατυπώνονται στις θεωρίες των κοινωνικών επιστημών (Zeller & Carmines,1980).

Η διαδικασία μετάβασης από το θεωρητικό στο εμπειρικό επίπεδο μιας έρευναςαποτυπώνεται στα τυποποιημένα εργαλεία μέτρησης. Στο πρώτο στάδιο τηςμετάβασης συντελούνται οι διαδικασίες της εννοιολόγησης (conceptualization) καιδιατύπωσης λειτουργικών ορισμών (operational definitions) των θεωρητικών

9 O Northrop (1947) αλλά και άλλοι ερευνητές, όπως ο Blalock (1990) και ο Hox (1997), διαχωρίζουν ταείδη των θεωρητικών εννοιών σε διαισθητικές έννοιες (concepts-by-intuition) και σε αξιωματικές έννοιες(concepts-by-postulation). Οι πρώτες συνιστούν απλές θεωρητικές έννοιες το νόημα των οποίων είναιάμεσα κατανοητό, όπως για παράδειγμα, συναισθήματα, γνώμες και συμπεριφορές. Εν αντιθέσει, οιαξιωματικές έννοιες (οι οποίες αποκαλούνται και εννοιολογικές κατασκευές) είναι περισσότεροδυσνόητες και συνεπώς χρήζουν σαφείς ορισμούς ώστε να είναι ξεκάθαρο το νόημά τους (Saris &Gallhofer, 2007). Η μέτρησή τους προκύπτει από την εφαρμογή πολλαπλών εμπειρικών δεικτών πουαφορούν απλούστερες έννοιες, δηλαδή διαισθητικές έννοιες. Παραδείγματα εννοιολογικών κατασκευώναποτελούν ο εθνοκεντρισμός, ο ρατσισμός, η ισότητα των δύο φίλων κτλ., εννοιολογικές δηλαδήκατασκευές που συχνά απαντώνται στις κοινωνικές έρευνες (Saris & Gallhofer, 2007).

7

7

εννοιών που συμπεριλαμβάνονται στο θεωρητικό πλαίσιο της έρευνας (Babbie,2010). Η εννοιολόγηση αναφέρεται στη διαδικασία προσδιορισμού τωνπαρατηρήσεων που αποσαφηνίζουν την υπό μελέτη θεωρητική έννοια και τις πτυχέςτης στον εμπειρικό κόσμο για τους σκοπούς της μελέτης. Η διαδικασία αυτήλαμβάνει χώρα μέσω λεπτομερούς βιβλιογραφικής αναδίφησης και επισκόπησηςτων ορισμών της θεωρητικής έννοιας και της επιλογής των ορισμών εκείνων πουεξυπηρετούν με το βέλτιστο τρόπο τον εκάστοτε ερευνητικό σκοπό. Η διατύπωσηλειτουργικών ορισμών, ως ορισμών αναφορικά με τις παρατηρήσιμες πτυχές μιαςθεωρητικής έννοιας, αποτελεί προέκταση της εννοιολόγησης και περιλαμβάνει τιςδιαδικασίες μέτρησης των χαρακτηριστικών της. Στο τελικό στάδιο της μετάβασηςδιατυπώνονται συγκεκριμένες ερωτήσεις/προτάσεις και κατασκευάζονταικατάλληλες κλίμακες μέτρησης οι οποίες και συμπεριλαμβάνονται στο εργαλείομέτρησης (Babbie, 2010).

Η ακρίβεια και πληρότητα ενός εργαλείου μέτρησης αξιολογείται βάσει τηςαξιοπιστίας (reliability) και εγκυρότητάς (validity) του. Ένα εργαλείο θεωρείταιαξιόπιστο όταν σε επαναληπτικές μετρήσεις, υπό παρόμοιες συνθήκες, τααποτελέσματά του διέπονται από σταθερότητα και συνέπεια (Nunnally, 1967). Ενώ,η εγκυρότητα ενός εργαλείου διασφαλίζεται όταν το εργαλείο καλύπτει πλήρως τηθεωρητική έννοια για την οποία κατασκευάστηκε (Carmines & Zeller, 1979)10. Οέλεγχος της εγκυρότητας ενός εργαλείου μέτρησης λαμβάνει χώρα μέσω τριώντύπων επικύρωσης: (α) της εγκυρότητας περιεχομένου, (β) του κριτηρίου (η οποίασυμπεριλαμβάνει τη συντρέχουσα και την προγνωστική εγκυρότητα), και (γ) τηςεννοιολογικής κατασκευής (η οποία συμπεριλαμβάνει τη συγκλίνουσα και τηναποκλίνουσα εγκυρότητα) (Cronbach & Meehl, 1955). Η εγκυρότητα τουπεριεχομένου (content validity) εκφράζει το βαθμό στον οποίο το σύνολο τωνεπιμέρους στοιχείων ενός εργαλείου μέτρησης αντιπροσωπεύει όλες τις εκφάνσειςκαι ιδιότητες του υπό μελέτη φαινομένου. Η εγκυρότητα του κριτηρίου (criterionvalidity) ελέγχει κατά πόσο μια μέτρηση: (α) συσχετίζεται με αποτελέσματαεξωτερικών μεταβλητών (οι οποίες ονομάζονται μεταβλητές κριτήρια) που μετράνεάμεσα το υπό μελέτη φαινόμενο (συντρέχουσα εγκυρότητα-concurrent validity) και(β) μπορεί να προβλέψει μελλοντικά αποτελέσματα τα οποία αναφέρονται σευποθετικά συσχετιζόμενα φαινόμενα (προγνωστική εγκυρότητα-predictive validity)(De Vaus, 2008). Η εγκυρότητα της εννοιολογικής κατασκευής (construct validity)αναφέρεται στο βαθμό κατά τον οποίο το εργαλείο μέτρησης μετρά πράγματι ταχαρακτηριστικά της εννοιολογικής κατασκευής για την οποία κατασκευάστηκε. Οσυγκεκριμένος τύπος εγκυρότητας αξιολογείται βάσει της συγκλίνουσας(convergent validity) και της αποκλίνουσας (ή διακρίνουσας) εγκυρότητας(discriminant validity). Η πρώτη αναφέρεται στη συσχέτιση μετρήσεωνδιαφορετικών μεταβλητών που μετράνε παρεμφερείς εννοιολογικές κατασκευές.Ενώ η αποκλίνουσα (ή διακρίνουσα) εγκυρότητα αφορά στην επιβεβαίωση της μη-συσχέτισης διαφορετικών μεταβλητών που μετράνε διαφορετικές κατασκευές (DeVaus, 2008). Το τρίπτυχο της εγκυρότητας του περιεχομένου, του κριτηρίου και τηςεννοιολογικής κατασκευής δεν αντιπροσωπεύει τρεις διαφορετικούς τύπους

10 Ένα έγκυρο εργαλείο μέτρησης δεν μπορεί παρά να είναι και αξιόπιστο, καθώς αν οι εμπειρικέςμεταβλητές που εμπεριέχονται στο εργαλείο μέτρησης αντιπροσωπεύουν τα χαρακτηριστικά για τα οποίακατασκευάστηκαν τότε οι μεταβλητές αυτές διακατέχονται από σταθερότητα και συνέπεια σεεπαναληπτικές μετρήσεις. Εν αντιθέσει, ένα αξιόπιστο εργαλείο μέτρησης δεν σημαίνει κατ’ ανάγκην ότιείναι και έγκυρο. Υπό αυτήν την έννοια, η εγκυρότητα ενός εργαλείου μέτρησης θεωρείται πιο σημαντικήαπό την αξιοπιστία του (Carmines & Zeller, 1979).

8

8

εγκυρότητας αλλά αντανακλά μια ενιαία έννοια επικύρωσης του εργαλείουμέτρησης στην οποία η εγκυρότητα της εννοιολογικής κατασκευής κατέχει κεντρικήθέση συμπεριλαμβάνοντας τους υπόλοιπους τύπους (Cronbach & Meehl, 1955·Messick, 1989a, 1989b, 1995b).

Η διασφάλιση της εγκυρότητας και αξιοπιστίας της μέτρησης, έτσι όπωςαποτυπώνεται στα τυποποιημένα εργαλεία, επιτελεί θεμελιώδες ρόλο στηδιερεύνηση της κοινωνικής πραγματικότητας και των φαινομένων της καθώςσυνιστά το συνδετικό κρίκο μεταξύ θεωρίας και εμπειρικής έρευνας. Όπωςεπισημαίνεται από τους Zeller και Carmines:

[...] η μέτρηση δεν αποτελεί ένα εσωτερικό θέμα που δεν σχετίζεται με τα θεμελιώδηζητήματα των κοινωνικών επιστημών, εν αντιθέτως είναι συνυφασμένη στο πανί τηςκοινωνικής έρευνας (Zeller & Carmines, 1980: 6).

3. Η σύζευξη των δύο ερευνητικών παραδόσεων στην κατασκευή έγκυρωνεργαλείων μέτρησης

Η διαδικασία κατασκευής τυποποιημένων εργαλείων μέτρησης διέπεται από τιςβασικές φιλοσοφικές παραδοχές του φυσιοκρατικού παραδείγματος, έτσι όπωςαναπτύχθηκαν παραπάνω, περί αντικειμενικότητας, ουδετερότητας και γενικότερααποστασιοποίησης του ερευνητή από το ερευνητικό αντικείμενο, με απώτερο σκοπότην ανάπτυξη καθολικών αιτιοκρατικών νόμων που διέπουν τα κοινωνικάφαινόμενα. Ωστόσο, η διασφάλιση της αντικειμενικής διερεύνησης της κοινωνικήςπραγματικότητας αποτελεί, κατά παράδοξο τρόπο, το μεγαλύτερο πλεονέκτημα γιατην ευρύτερη εφαρμογή της ποσοτικής προσέγγισης στις κοινωνικές επιστήμες αλλάκαι το σημαντικότερο περιορισμό της (Reynolds & Cavanagh, 2005).

Αντικείμενο σφοδρής κριτικής συνιστά το γεγονός ότι στο βωμό της εφαρμογήςτων αυστηρών αρχών του θετικιστικού παραδείγματος για τη διασφάλιση τηςαντικειμενικότητας, αμεροληψίας και γενίκευσης, η ποσοτική παράδοση θυσιάζει τανοήματα που τα ίδια τα κοινωνικά υποκείμενα προσδίδουν στα κοινωνικάφαινόμενα ως αποτέλεσμα των δράσεων και αλληλεπιδράσεών τους σεσυγκεκριμένα χωρο-χρονικά πλαίσια (Σαραφίδου, 2011). Κατά τη διαδικασία τηςμέτρησης αποσπώνται πληροφορίες από το πρωταρχικό πλαίσιο εντός του οποίουδιαδραματίζεται το κοινωνικό φαινόμενο παραμερίζοντας το ρόλο που επιτελεί τοίδιο το πλαίσιο και τα υποκείμενά του στη διαμόρφωσή του (Moghaddam, Walker &Harre, 2003). Συνεπώς, συντελείται μια απο-πλαισιοποίηση (decontextualization)του υπό μελέτη φαινομένου καθώς η διερεύνησή του βασίζεται σε μιααποσπασματική γνώση αντί μια ολιστική προσέγγιση που θα αντιστοιχούσε στοφαινόμενο στο σύνολό του (Castro et al., 2010).

Υπό αυτό το πρίσμα, η διερεύνηση των κοινωνικών φαινομένων βάσειτυποποιημένων εργαλείων μέτρησης καθορίζεται από εξωτερικά κριτήρια χωρίς ναλαμβάνεται υπόψη ότι η κοινωνική πραγματικότητα κατασκευάζεται καιανασκευάζεται μέσα από τα νοήματα που της αποδίδουν τα ίδια τα υποκείμενα ταοποία αποτελούν προϊόντα του εκάστοτε κοινωνικο-οικονομικού και πολιτισμικούπλαισίου εντός του οποίου λειτουργούν (Blumer, 1956· Mill, 1967). Όπως αναφέρειη Κυριαζή:

Οι άνθρωποι αντιμετωπίζονται ως φορείς χαρακτηριστικών δίχως να εξετάζεται ηδημιουργική διαδικασία ερμηνείας και κατασκευής των κοινωνικών γεγονότων. Η έρευνα

9

9

στηρίζεται στην υπόθεση ότι υπάρχει μια δεδομένη τάξη πραγμάτων, μια αντικειμενικήπραγματικότητα που μπορεί να μελετηθεί με κατάλληλες ερευνητικές τεχνικές. Συνεπώς,η ποσοτική έρευνα δεν επικεντρώνεται στη διαδικασία διαμόρφωσης των κοινωνικώνσχέσεων, αλλά η προσέγγιση είναι στατική με έμφαση στις ομοιομορφίες που συνθέτουντην «αντικειμενική» πραγματικότητα (Κυριαζή, 2006: 92).

Μια τέτοια προσέγγιση περιορίζει τη διερεύνηση της πολυσχιδούς κοινωνικήςπραγματικότητας (Reynolds & Cavanagh, 2005), περιορισμός ο οποίος καιαποτυπώνεται στη μετουσίωση των θεωρητικών εννοιών σε εμπειρικές μεταβλητέςκατά την κατασκευή τυποποιημένων εργαλείων μέτρησης. Πιο συγκεκριμένα, ηυιοθέτηση ενός νομοθετικού προσανατολισμού που στοχεύει στη διατύπωσηαιτιοκρατικών νόμων επιτυγχάνεται με την χρήση απλουστευμένων εμπειρικώνδεικτών που εφαρμόζονται σε πολυάριθμες περιπτώσεις επιτρέποντας γενικεύσεις σεευρύτερες πληθυσμιακές ομάδες (Coppedge, 1999). Ωστόσο οι δείκτες αυτοίδύναται να μην ενσωματώνουν όλες τις πτυχές των πολυδιάστατων θεωρητικώνεννοιών11 έτσι όπως αυτές διατυπώνονται στις θεωρίες των κοινωνικών επιστημών(Goertz, 2005· Mahoney & Goertz, 2006).

Η έμφαση στην κατασκευή απλουστευμένων εμπειρικών δεικτών μπορεί ναερμηνεύει το γεγονός ότι -παρά τον κομβικό ρόλο που επιτελούν οι θεωρητικέςέννοιες στο στάδιο της εννοιολόγησης της κατασκευής εργαλείων μέτρησης-κατέχουν δευτερεύουσα θέση στην ποσοτική προσέγγιση (Goertz, 2005). Οιερευνητές της ποσοτικής παράδοσης επικεντρώνονται στην κατασκευή εμπειρικώνδεικτών, κλιμάκων μέτρησης και γενικότερα σε ζητήματα που άπτονται τωνψυχομετρικών ιδιοτήτων των δεικτών ως προς την εγκυρότητα και αξιοπιστία τους.Η ογκώδης βιβλιογραφία με αναφορές στα παραπάνω ζητήματα πιστοποιεί ότι ηποσοτική προσέγγιση εστιάζει πρωτίστως στην κατασκευή, έλεγχο και εφαρμογήεμπειρικών δεικτών (Mahoney & Goertz, 2006) ενώ σπανίως ασχολείται με τηνπροέλευση των δεικτών αυτών (Rowan & Wulff, 2007· Nassar-McMillan et al.,2010).

Υπό αυτό το πρίσμα, το σφάλμα μέτρησης λαμβάνει χώρα στο επίπεδο τωνεμπειρικών δεικτών και όχι στο εννοιολογικό επίπεδο (Mahoney & Goertz, 2006).Συνεπώς, οι στατιστικές τεχνικές εντοπισμού και διόρθωσης σφαλμάτων μέτρησηςέχουν αποκλειστικό αντικείμενο τους εμπειρικούς δείκτες per se, παραμερίζονταςδιορθώσεις που αφορούν διαδικασίες επανα-εννοιολόγησης του υπό μελέτηθεωρητικού φαινομένου. Το εν λόγω ζήτημα αποτυπώνεται στην εφαρμογήανάλυσης συσχετίσεων για τον έλεγχο εγκυρότητας της εννοιολογικής κατασκευής(μέσω της συντρέχουσας και διακρίνουσας εγκυρότητας) των μετρήσεων δύοεννοιών όπου ο De Vaus συμπεραίνει:

Τα στοιχεία σχετικά με την ύπαρξη συντρέχουσας και διακρίνουσας εγκυρότηταςπαρέχουν στήριξη όσον αφορά την εγκυρότητα των μετρήσεων των δύο εννοιών. Παρόλααυτά παραμένει το πρόβλημα ότι αν και μπορούμε να είμαστε βέβαιοι ότι έχουμε έγκυρεςμετρήσεις δύο διαφορετικών μεταξύ τους εννοιών, εξακολουθούμε να μην είμαστεβέβαιοι ότι αυτές μετρούν πράγματι τις έννοιες που ισχυριζόμαστε ότι μετρούν. Δενυπάρχει απόλυτα βέβαιος τρόπος υπερπήδησης του προβλήματος (De Vaus, 2008: 38).

Αν και οι θεωρητικές έννοιες κατέχουν δευτερεύοντα ρόλο στην ποσοτικήπροσέγγιση και οι υφιστάμενες στατιστικές τεχνικές δεν συμπεριλαμβάνουν

11 Κυρίως των εννοιολογικών κατασκευών έτσι όπως αναπτύχθηκαν στην υποσημείωση 8.

10

10

διορθώσεις σφαλμάτων σε εννοιολογικό επίπεδο (Jacoby, 1991), η εγκυρότητα τωνθεωρητικών εννοιών που συνθέτουν ένα κοινωνικό φαινόμενο αποτελεί κεντρικόζήτημα στην ποιοτική προσέγγιση (Goertz, 2005). Οι ερευνητές της ποιοτικήςπαράδοσης επικεντρώνονται στην ανάπτυξη επακριβών ορισμών συλλαμβάνονταςτις πολλαπλές και εις βάθος πτυχές των υπό μελέτη θεωρητικών εννοιών (Mahoney& Goertz, 2006· Bergman, 2010) έτσι όπως αυτές προσδιορίζονται από τα ίδια τακοινωνικά υποκείμενα και τα νοήματα που αυτά προσδίδουν στις δράσεις καιαλληλεπιδράσεις τους (Patton, 1990· Denzin & Lincoln, 2000). Μια τέτοιαπροσέγγιση συνάδει με την εφαρμογή των αρχών του κονστρουκτιβισμού και τουερμηνευτισμού όπου το κοινωνικό υποκείμενο μελετάται ολιστικά μέσα στο φυσικότου περιβάλλον συντελώντας σε μια «εκ των έσω» διερεύνηση του υπό μελέτηφαινομένου σε πραγματικές καταστάσεις. Η διαδικασία αυτή συνδράμει στηδιαδικασία εννοιολόγησης της κατασκευής του εργαλείου μέτρησηςσυλλαμβάνοντας τις πολλαπλές πτυχές του υπό μελέτη φαινομένου στο πρωταρχικότους πλαίσιο (Bergman, 2010).

Ο κεντρικός ρόλος των θεωρητικών εννοιών στην ποιοτική προσέγγισηαντανακλάται στο γεγονός ότι συνιστά και τη σημαντικότερη πηγή σφάλματος. Ενώστην ποσοτική παράδοση το σφάλμα μέτρησης διαπιστώνεται στο επίπεδο τωνεμπειρικών δεικτών, στην ποιοτική η έλλειψη ξεκάθαρων και επακριβών ορισμώνεγκυμονεί κινδύνους για την εγκυρότητα των θεωρητικών εννοιών και συνεπώςθεωρείται η βασικότερη πηγή σφάλματος (Mahoney & Goertz, 2006). Ωστόσο, γιατη διερεύνηση της κοινωνικής πραγματικότητας και των φαινομένων τηςαπαιτούνται εργαλεία μέτρησης στα οποία διασφαλίζεται τόσο η εγκυρότητα τωνθεωρητικών εννοιών όσο και η εγκυρότητα και αξιοπιστία των μετρήσεων τωνεμπειρικών δεικτών που προσεγγιστικά αναπαριστούν τις έννοιες αυτές. Όπωςαναφέρουν οι Lazarsfeld και Barton:

Πριν διερευνήσουμε την παρουσία ή απουσία κάποιου χαρακτηριστικού... ή πρινταξινομήσουμε αντικείμενα ή τα μετρήσουμε μέσω κάποιας μεταβλητής, θα πρέπει ναδιαμορφώσουμε την θεωρητική έννοια αυτής της μεταβλητής (Lazarsfeld & Barton, 1965:155).

Στην τέχνη ή μαεστρία κατασκευής εργαλείων μέτρησης (Payne, 1951· Saris &Gallhofer, 2007), ο ερευνητής καλείται να ελαχιστοποιήσει το σφάλμα μέτρησηςστο επίπεδο της εγκυρότητας των θεωρητικών εννοιών και στο επίπεδο τηςμέτρησης των εμπειρικών δεικτών. Για να είναι εφικτή η ελαχιστοποίηση των ενλόγω σφαλμάτων απαιτείται η σύζευξη της ποιοτικής και ποσοτικής προσέγγισης μεαπώτερο σκοπό τη βελτιστοποίηση της εγκυρότητας των εργαλείων μέτρησης καισυνεπώς των ερευνητικών αποτελεσμάτων στο σύνολο τους. Βασικός μας στόχοςστην εργασία αυτή είναι να παρουσιάσουμε έναν τέτοιο σχεδιασμό μεικτήςπροσέγγισης, ο οποίος ονομάζεται διερευνητικός ακολουθιακός σχεδιασμός(exploratory sequential design) και εφαρμόζεται σε διαφορετικά πεδία τωνκοινωνικών επιστημών-συμπεριλαμβανομένης της Ψυχολογίας και τηςΠαιδαγωγικής- για την κατασκευή έγκυρων εργαλείων μέτρησης.

11

11

4. Ο διερευνητικός ακολουθιακός σχεδιασμός στην κατασκευή εργαλείωνμέτρησης

Οι βασικοί σκοποί διεξαγωγής ερευνών μεικτών μεθόδων, στους οποίουςσυμπεριλαμβάνεται και η κατασκευή εργαλείων μέτρησης (Greene, Caracelli &Graham, 1989· Collins, Onwuegbuzie & Sutton, 2006), είναι άρρηκτα συνυφασμένοιμε τους σχεδιασμούς ερευνών μεικτής προσέγγισης. Οι Tashakkori και Teddlie(2003b) αναφέρουν ότι στη σχετική βιβλιογραφία έχουν εντοπιστεί σχεδόν 40διαφορετικά είδη σχεδιασμών μεικτών μεθόδων. Ωστόσο, οι Creswell και PlanoClark (2011) στα πλαίσια μιας ευρύτερης ταξινόμησης διακρίνουν τέσσεριςβασικούς σχεδιασμούς, οι οποίοι περιλαμβάνουν το σχεδιασμό τριγωνοποίησης(triangulation design), τον εγκολπώμενο σχεδιασμό (embedded design), τονεπεξηγηματικό (explanatory design) και το διερευνητικό σχεδιασμό (exploratorydesign). Οι σχεδιασμοί αυτοί, με άξονα την ταυτόχρονη ή διαδοχική συλλογήποιοτικών και ποσοτικών δεδομένων, δύναται να διακριθούν σε ταυτόχρονους ήμιας φάσης (concurrent/one-phase designs) και ακολουθιακούς ή δύο φάσεων(sequential/two-phase designs), αντίστοιχα12.

Ο διερευνητικός ακολουθιακός σχεδιασμός εφαρμόζεται σε περιπτώσειςερευνών μεικτών μεθόδων όπου τα αποτελέσματα μιας ποιοτικής μελέτηςχρησιμοποιούνται με σκοπό να αναπτύξουν περαιτέρω ή να παρέχουν πληροφορίεςγια τη διεξαγωγή μιας ποσοτικής έρευνας. Παραδείγματα τέτοιων μεικτώνπροσεγγίσεων αφορούν την γενίκευση των αποτελεσμάτων ποιοτικών προσεγγίσεωνσε ευρύτερες πληθυσμιακές ομάδες (Morse, 1991) και τον έλεγχο μιας θεωρίας ήταξινόμησης που έχει προκύψει από μια ποιοτική προσέγγιση σε ποσοτικές έρευνες(Morgan, 1998). Ωστόσο, η σημαντικότερη εφαρμογή του συγκεκριμένουσχεδιασμού είναι η κατασκευή εργαλείων μέτρησης (Creswell, 1999) για αυτό καιστη βιβλιογραφία απαντάται ως σχεδιασμός κατασκευής εργαλείων (instrumentdevelopment design) (Creswell, Fetters & Ivankova, 2004).

Η κατασκευή ενός εργαλείου μέτρησης με την εφαρμογή του διερευνητικούακολουθιακού σχεδιασμού θεωρείται κατάλληλη στις περιπτώσεις εκείνες όπου δενυπάρχουν διαθέσιμα εργαλεία που να εξυπηρετούν τον ερευνητικό σκοπό τηςμελέτης, τα υφιστάμενα εργαλεία συμπεριλαμβάνουν εμπειρικές μεταβλητέςακατάλληλα εννοιολογημένες ή δεν αντιπροσωπεύουν τον πληθυσμό στον οποίοαναφέρεται η έρευνα (Creswell, 1999· Creswell, Fetters & Ivankova, 2004· Creswell& Plano Clark, 2011).

12 Ο σχεδιασμός της τριγωνοποίησης αποτελεί τον πιο γνωστό σχεδιασμό ερευνών μεικτών μεθόδων καιχρησιμοποιείται όταν ο ερευνητής συγκρίνει ή αντιπαραθέτει τα ευρήματα της ποσοτικής ανάλυσης μεεκείνα της ποιοτικής ή επικυρώνει ή αναπτύσσει τα αποτελέσματα μιας ποσοτικής ανάλυσης με τηνχρήση ποιοτικών δεδομένων (Creswell et al., 2003). Στον εγκολπώμενο σχεδιασμό ο ερευνητήςχρησιμοποιεί ποιοτικά ή ποσοτικά δεδομένα για να απαντήσει σε ένα συγκεκριμένο ερευνητικό ερώτημαμιας ευρύτερης ποσοτικής ή ποιοτικής μελέτης. Ο επεξηγηματικός σχεδιασμός δύο φάσεων βασίζεται στησυλλογή ποσοτικών δεδομένων τα αποτελέσματα των οποίων ερμηνεύονται με την χρήση ποιοτικώνδεδομένων. Οι βασικοί σχεδιασμοί μεικτών μεθόδων διακρίνονται από επιμέρους σχεδιασμούς (γιαλεπτομερέστερη παρουσίαση βλ. Creswell & Plano Clark, 2011). Για παράδειγμα, το μοντέλο επιλογήςσυμμετεχόντων (participant selection model) αποτελεί επιμέρους σχεδιασμό του επεξηγηματικούσχεδιασμού και περιλαμβάνει τη συλλογή πληροφοριών ποσοτικής φύσεως που χρησιμοποιούνται στονεντοπισμό και επιλογή συμμετεχόντων σε ποιοτικές μελέτες.

12

12

Ο συγκεκριμένος ερευνητικός σχεδιασμός βασίζεται στη στρατηγική τηςσυναρμολόγησης (Πουρκός, 2013)13 και διακρίνεται από τρία στάδια κατά τα οποίαη συλλογή και ανάλυση δεδομένων λαμβάνει χώρα διαδοχικά (Creswell & PlanoClark, 2011)14. Στο αρχικό στάδιο υιοθετείται η ποιοτική προσέγγιση, η οποίαθεωρείται και η πιο κατάλληλη για τη διερεύνηση ενός φαινομένου (Creswell et al.,2003) και συλλέγεται ποιοτικό υλικό (μέσω συμμετοχικής παρατήρησης,συνεντεύξεων, ομάδων εστίασης κτλ.). Στο δεύτερο στάδιο, τα αποτελέσματα τηςποιοτικής ανάλυσης χρησιμοποιούνται στην κατασκευή εμπειρικών δεικτών (υπό τημορφή συγκεκριμένων ερωτήσεων και αντιστοίχων κλιμάκων μέτρησης) τουεργαλείου μέτρησης, το οποίο εν συνεχεία αξιολογείται ως προς την εγκυρότητα καιαξιοπιστία του παρέχοντας τη δυνατότητα βελτιστοποίησης, πριν το τελικό στάδιοτης διανομής του σε ευρύτερα δειγματικά μεγέθη (Creswell & Plano Clark, 2011).

Αν και ο συγκεκριμένος σχεδιασμός μεικτών μεθόδων θεωρείται σχετικά απλόςενέχει μια σειρά προκλήσεων κατά την εφαρμογή του στην κατασκευή εργαλείωνμέτρησης. Οι ερευνητές μεικτών μεθόδων καλούνται να αντιμετωπίσουν ζητήματαπου άπτονται των δειγματοληπτικών διαδικασιών που θα υιοθετηθούν σταδιαφορετικά στάδια του σχεδιασμού, της επιλογής των καταλληλότερωναποτελεσμάτων της ποιοτικής ανάλυσης που θα χρησιμοποιηθούν στην κατασκευήτου εργαλείου μέτρησης αλλά και της κατασκευής ενός εργαλείου πουχαρακτηρίζεται από κατάλληλες ψυχομετρικές ιδιότητες. Οι Creswell και PlanoClark (2011) υποστηρίζουν ότι οι δειγματοληπτικές διαδικασίες στα στάδιαεφαρμογής του διερευνητικού ακολουθιακού σχεδιασμού θα πρέπει να είναιδιαφορετικές. Πιο συγκεκριμένα, οι συμμετέχοντες στο αρχικό στάδιο της ποιοτικήςπροσέγγισης δεν θα πρέπει να συμπεριλαμβάνονται στην μετέπειτα (follow-up)ποσοτική μελέτη η οποία θα πρέπει να περιλαμβάνει δειγματικά μεγέθη πουεπιτρέπουν την γενίκευση των αποτελεσμάτων σε ευρύτερες πληθυσμιακές ομάδες.

Μια επιπρόσθετη πρόκληση που δύναται να αντιμετωπίσουν οι ερευνητέςμεικτών μεθόδων αφορά στον προσδιορισμό και εφαρμογή των καταλληλότερωναποτελεσμάτων της ποιοτικής προσέγγισης στην κατασκευή εργαλείων μέτρησης.Γενικότερα, μια τυπική διαδικασία ποιοτικής ανάλυσης περιλαμβάνει τον εντοπισμόχρήσιμων αποσπασμάτων ή προτάσεων (quotes), την κατασκευή κωδικών (codes) οιοποίοι αντιπροσωπεύουν συνοπτικά τις ερμηνείες που δίνει ο ερευνητής σεδιαφορετικές ενότητες του ποιοτικού υλικού και την ομαδοποίηση των κωδικών πουπαρουσιάζουν παρεμφερή χαρακτηριστικά ή νοήματα σε θεματικές ενότητες(themes) (Tesch, 1990· Strauss & Corbin, 1998). Οι θεματικές ενότητες αποτελούνσυμπυκνωμένες περιγραφές για το πώς οι ίδιοι οι συμμετέχοντες ερμηνεύουν,

13 Η στρατηγική της συναρμολόγησης στη μεικτή προσέγγιση αντανακλά μια συνδυαστική λογική κατάτην οποία κάθε επιμέρους μέθοδος δύναται να συντελέσει στη διερεύνηση διαφορετικών πτυχών του υπόμελέτη φαινομένου. Επιπρόσθετες στρατηγικές διερεύνησης ερευνητικού σχεδιασμού στις έρευνεςμεικτών μεθόδων περιλαμβάνουν τη στρατηγική της ενσωμάτωσης, την παράλληλη ή πραγματιστικήστρατηγική, την επιβεβαιωτική στρατηγική ή τη στρατηγική του τριγωνισμού και της κρυσταλλοποίησης,την πολυδιάστατη στρατηγική και την ευκαιριακή ή συγκυριακή μείξη μεθόδων (για λεπτομερήπαρουσίαση βλ. κεφάλαιο του Μάριου Πουρκού στο παρόν βιβλίο).14 Οι σχεδιασμοί μεικτών μεθόδων συνδέονται με αντίστοιχες διαδικασίες συλλογής και ανάλυσηςδεδομένων. Η συλλογή δεδομένων στις μεικτές έρευνες μπορεί να είναι ταυτόχρονη (όπως γιαπαράδειγμα, στον σχεδιασμό της τριγωνοποίησης και στον εγκολπώμενο σχεδιασμό μιας φάσης) ήακολουθιακή (όπως για παράδειγμα, στο διερευνητικό, στον επεξηγηματικό και στο εγκολπώμενοσχεδιασμό δύο φάσεων). Αντίστοιχα, η ανάλυση δεδομένων μπορεί να λάβει χώρα ταυτόχρονα ήακολουθιακά (για λεπτομερέστερη παρουσίαση βλ. Creswell & Plano Clark, 2011).

13

13

αντιλαμβάνονται και βιώνουν το υπό μελέτη κοινωνικό φαινόμενο προσφέρονταςμια βαθύτερη κατανόηση και γνώση (Huberman & Miles, 1998).

Κατά το στάδιο της μείξης των αποτελεσμάτων της ποιοτικής ανάλυσης στηνκατασκευή εργαλείων μέτρησης, ο ερευνητής μεικτών μεθόδων χρησιμοποιεί: (α)τις θεματικές ενότητες για την κατασκευή των κλιμάκων μέτρησης, (β) τουςαντιπροσωπευτικούς κωδικούς κάθε θεματικής ενότητας για την κατασκευή τωνεμπειρικών μεταβλητών και (γ) τα αποσπάσματα ή προτάσεις για την κατασκευήτων ερωτήσεων του εργαλείου μέτρησης (Creswell & Plano Clark, 2011). ΟOppenheim (1992) υποστηρίζει ότι στο αρχικό στάδιο κατασκευής εργαλείωνμέτρησης η συμπερίληψη του μέγιστου δυνατού αριθμού ερωτήσεων, έτσι όπωςπροκύπτουν από την ποιοτική ανάλυση, διασφαλίζει ότι όλες οι οπτικές ή πτυχές τουυπό μελέτη φαινομένου έχουν καλυφθεί.

Η πιο σημαντική πρόκληση που δύναται να αντιμετωπίσουν οι ερευνητέςμεικτών μεθόδων στην κατασκευή εργαλείων μέτρησης είναι τα εργαλεία αυτά ναδιακρίνονται από καλές ψυχομετρικές ιδιότητες έτσι ώστε να ικανοποιούνται οισχετικές συνθήκες εγκυρότητας και αξιοπιστίας (De Vaus, 1990· DeVellis, 2003).Για το σκοπό αυτό, οι ερωτήσεις και οι αντίστοιχες κλίμακες μέτρησης πουπροκύπτουν από την ποιοτική ανάλυση υπόκεινται στην κρίση κριτών-εμπειρογνώμων οι οποίοι δύναται να αναθεωρήσουν μέρος αυτών βάσει τηςυπάρχουσας βιβλιογραφίας και των ήδη εγκυροποιημένων ερωτήσεων και κλιμάκωνμέτρησης συναφών εργαλείων μέτρησης. Η αξιολόγηση και η πιθανή αναθεώρησηενός εργαλείου μέτρησης από κριτές-εμπειρογνώμονες βελτιστοποιεί τηνεγκυρότητά του βάσει εξωτερικών κριτηρίων (Messick, 1995a). Η περαιτέρωεγκυροποίηση του εργαλείου μέτρησης λαμβάνει χώρα με τη διεξαγωγή πιλοτικήςμελέτης σε δείγμα συμμετεχόντων τα αποτελέσματα της οποίας συντελούν στηναξιολόγησή του βάσει στατιστικών τεχνικών, όπως ελέγχων αξιοπιστίας15 καιεγκυρότητας16 (De Vaus, 1990· Oppenheim, 1992· DeVellis, 2003). Τααποτελέσματα της πιλοτικής μελέτης επιτρέπουν την επαναξιολόγηση τωνψυχομετρικών ιδιοτήτων του εργαλείου μέτρησης με απώτερο σκοπό τηβελτιστοποίησή του (DeVellis, 2003). Στο τελικό στάδιο της εφαρμογής τουδιερευνητικού ακολουθιακού σχεδιασμού, το εργαλείο μέτρησης διανέμεται σεκατάλληλα δειγματικά μεγέθη έτσι ώστε οι ερευνητές να διεξάγουν στατιστικέςαναλύσεις αλλά και να οδηγηθούν σε συγκεκριμένα συμπεράσματα σε σχέση με τονυπό μελέτη πληθυσμό (Creswell & Plano Clark, 2011).

Στο διερευνητικό ακολουθιακό σχεδιασμό η αμαλγάμωση της ποιοτικής καιποσοτικής παράδοσης συνδράμουν στην κατασκευή ενός εργαλείου μέτρησης, ηεγκυρότητα του οποίου διασφαλίζεται τόσο στο επίπεδο διερεύνησης τωνθεωρητικών εννοιών που συνθέτουν το υπό μελέτη κοινωνικό φαινόμενο όσο καιστο επίπεδο κατασκευής και έλεγχου των εμπειρικών δεικτών που αντιπροσωπεύουν

15 Υπάρχουν τέσσερις βασικές στατιστικές μέθοδοι που χρησιμοποιούνται στην αξιολόγηση τηςαξιοπιστίας ενός εργαλείου μέτρησης: (α) η μέθοδος ελέγχου-επαναελέγχου, (β) η μέθοδος της ομάδαςκριτών, (γ) η μέθοδος των παράλληλων τύπων, και (δ) η μέθοδος της εσωτερικής συνέπειας (γιαλεπτομερέστερη παρουσίαση βλ. De Vaus, 2008). Αν και οι παραπάνω μέθοδοι ελέγχου αξιοπιστίαςπαρουσιάζουν σημαντικές διαφοροποιήσεις κοινός παρανομαστής είναι ότι εκτιμούν κατά πόσο έναεργαλείο παρουσιάζει σταθερότητα και συνέπεια σε επαναληπτικές μετρήσεις.16 Η απλούστερη και πιο δημοφιλής μέθοδος ελέγχου εγκυρότητας ενός εργαλείου μέτρησης λαμβάνειχώρα μέσω αναλύσεων συσχέτισης, ωστόσο υπάρχουν και περισσότερο πολύπλοκες τεχνικές όπως γιαπαράδειγμα, η μέθοδος των πολλαπλών χαρακτηριστικών, πολλαπλών μεθόδων (Campbell & Fiske,1959), η μέθοδος εναρμόνισης διαφορετικών σχηματισμών (Cook & Campbell, 1979) και η ανάλυσηπαραγόντων.

14

14

τις έννοιες αυτές. Στο πρώτο στάδιο του μεικτού σχεδιασμού, η ποιοτικήπροσέγγιση επιτρέπει τον ορισμό των χαρακτηριστικών που σχετίζονται καιαντιπροσωπεύουν το υπό μελέτη θεωρητικό ζήτημα σε πραγματικές καταστάσειςκαι παρατηρήσεις (Padgett, 1998· Rowan & Wulff, 2007· Nassar-McMillan et al.,2010). Στο αρχικό αυτό στάδιο διερευνώνται οι παραλλαγές των απόψεων τωνκοινωνικών υποκειμένων στην κατασκευή του νοήματος του υπό μελέτηφαινομένου πληροφορώντας τις διαδικασίες εννοιολόγησης και συντελώντας στηνκατασκευή ενός εργαλείου μέτρησης που χαρακτηρίζεται από υψηλό βαθμόεγκυρότητας περιεχομένου (Haynes, Richard & Kubany, 1995· Vogt, King & King,2004).

Ωστόσο, ενώ η ποιοτική προσέγγιση βελτιστοποιεί τη διαδικασία εννοιολόγησης,τα αποτελέσματά της απορρέουν από έναν περιορισμένο αριθμό περιπτώσεων οιερμηνείες των οποίων για το υπό μελέτη φαινόμενο και τις θεωρητικές έννοιες πουτο συνθέτουν δύναται να μην είναι καθολικά εφαρμόσιμες και γενικεύσιμες για τηνεφαρμογή τους σε εργαλεία μέτρησης ποσοτικών ερευνών (Gelo, Braakman &Benetka, 2008). Ο συγκεκριμένος περιορισμός στο διερευνητικό ακολουθιακόσχεδιασμό δύναται να αντιμετωπισθεί μέσω των διαδικασιών που υιοθετούνται στοδεύτερο στάδιο διεξαγωγής του. Πιο συγκεκριμένα, οι διαδικασίες πουεφαρμόζονται στο στάδιο μείξης των δύο προσεγγίσεων διασφαλίζουν τηνεγκυρότητα του εργαλείου μέτρησης από κριτές-εμπειρογνωμόνες, ο ρόλος τωνοποίων, κατά τον Messick (1995a), συνιστά προϋπόθεση sine qua non για τηναξιολόγηση της εξωτερικής εγκυρότητάς του. Συνάμα, τα αποτελέσματα τηςπιλοτικής μελέτης συνδράμουν στην περαιτέρω βελτιστοποίηση του εργαλείουμέτρησης μέσω ελέγχων αξιοπιστίας και εγκυρότητας διασφαλίζοντας την εφαρμογήτου σε ευρύτερες πληθυσμιακές ομάδες (De Vaus, 1990· Oppenheim, 1992·Messick, 1995a· DeVellis, 2003).

Υπό αυτό το πρίσμα, ο διερευνητικός ακολουθιακός σχεδιασμός επιτυγχάνει τηνκατασκευή ενός εργαλείου μέτρησης το οποίο διακρίνεται από τη σύζευξη μιας «εκτων έσω» (η οποία απορρέει από τους ίδιους τους συμμετέχοντες) και «εκ των έξω»οπτικής (η οποία απορρέει από κοινωνικές θεωρίες, ερευνητικές υποθέσεις,βιβλιογραφικές επισκοπήσεις, αξιολογήσεις κριτών-εμπειρογνωμόνων, στατιστικούςελέγχους αξιοπιστίας και εγκυρότητας) στην μέτρηση ενός κοινωνικού φαινομένου.Η «εκ των έσω» διερεύνηση, έτσι όπως συλλαμβάνεται στην ποιοτική προσέγγιση,αντανακλά μια εμική (emic) οπτική, ενώ η «εκ των έξω» μια ετική (etic) οπτική(Pike, 1967· Currall & Towler, 2003). Ο συγκερασμός των δύο αυτών οπτικώνσυντελεί σε μια εσωτερική-εξωτερική επικύρωση (legitimation) του εργαλείουμέτρησης επαυξάνοντας τη συνολική εγκυρότητά του (Onwuegbuzie & Johnson,2006).

Ο διερευνητικός ακολουθιακός σχεδιασμός εφαρμόζεται σε διαφορετικά πεδίατων κοινωνικών επιστημών (Smith, Earp & DeVellis, 1995· Tashiro, 2002· Arnold& Reynolds, 2003· Myers & Oetzel, 2003· Nassar-McMillan et al., 2010·Lahsaeizadeh, & Yousefinejad, 2011) στα οποία συμπεριλαμβάνονται ηΠαιδαγωγική και η Ψυχολογία (Meijer, Verloop & Beijaard, 2001· Milton et al.,2003· Mak & Marshall, 2004· Nagle et al., 2004· Erawan, 2010) πιστοποιώντας τηναποτελεσματικότητα της εφαρμογής του στην αξιολόγηση της εγκυρότηταςυφιστάμενων εργαλείων μέτρησης και στην κατασκευή νέων.

Για παράδειγμα, οι Onwuegbuzie et al. (2007) βάσει του διερευνητικούακολουθιακού σχεδιασμού αμφισβήτησαν την εγκυρότητα των εργαλείωναξιολόγησης της διδακτικής αποτελεσματικότητας των καθηγητών στα Αμερικάνικα

15

15

κολέγια καθώς το αρχικό στάδιο της ποιοτικής ανάλυσης ανέδειξε επιπρόσθεταχαρακτηριστικά (όπως για παράδειγμα, η εξειδίκευση, ο ενθουσιασμός, το ήθος τωνδιδασκόντων) από εκείνα που συνήθως περιλαμβάνονται στις τυπικές φόρμεςαξιολόγησης διδακτικού προσωπικού. Συνάμα, οι Shablak, Cavino και Spaulding(2005) εφήρμοσαν το διερευνητικό ακολουθιακό σχεδιασμό για την κατασκευή ενόςεργαλείου μέτρησης που διερευνά τα προβλήματα που αντιμετωπίζουν Αμερικάνικασχολεία τα οποία σύμφωνα με το πρόγραμμα No Child Left Behind χρήζουνπεραιτέρω βελτιώσεων. Στο αρχικό στάδιο της μεικτής έρευνας επιλέχθηκαν 10σχολεία στα οποία διεξήχθησαν έρευνες περίπτωσης για την συλλογή ποιοτικούυλικού (παρατηρήσεις, συνεντεύξεις με προσωπικό και καθηγητές, μελέτη σχολικώναρχείων/εγγράφων) η ανάλυση του οποίου συντέλεσε στην κατασκευή ενόςεργαλείου μέτρησης, το οποίο σύμφωνα με τους ερευνητές επέτρεψε την συλλογήυψηλής ποιότητας ποσοτικών δεδομένων (Shablak, Cavino & Spaulding, 2005).

Στο επιστημονικό πεδίο της Ψυχολογίας, ο διερευνητικός ακολουθιακόςσχεδιασμός έχει εφαρμοστεί για την κατασκευή εργαλείων που μετρούνδιαφορετικές ψυχολογικές διαδικασίες όπως ο προσδιορισμός της σημαντικότηταςτου εαυτού μέσω συντρόφων (Mak & Marshall, 2004), η αυτοαντίληψη μαθητώνστη Σρι Λάνκα (Hitchcock et al., 2005), οι δεξιότητες ζωής σε εφήβους (Erawan,2010) και οι ψυχο-κοινωνικές επιπτώσεις σε επαγγελματίες κατά την αγωγήασθενών με σοβαρές δερματικές παθήσεις (Dures et al., 2010).

5. Επίλογος

Οι έρευνες μεικτών μεθόδων έχουν γίνει ιδιαίτερα δημοφιλείς στον χώρο τωνκοινωνικών επιστημών πιστοποιώντας τον εκλεκτισμό των ερευνητών στηδιερεύνηση των κοινωνικών φαινομένων βάσει πολλαπλών μεθόδων (Tashakkori &Creswell, 2008· Tashakkori & Teddlie, 2010). Ωστόσο, η μεικτή προσέγγιση δεναποτελεί πανάκεια για όλους τους ερευνητικούς σκοπούς. Κατά τον Creswell,ανάμεσα στους πιο σημαντικούς σκοπούς διεξαγωγής ερευνών μεικτών μεθόδωνείναι η κατασκευή «ποσοτικών μετρήσεων και εργαλείων τα οποία θεμελιώνονταιστις απόψεις των υποκειμένων ή των συμμετεχόντων» (1999: 460). Η εφαρμογή τηςμεικτής προσέγγισης αποτελεί ένα χρήσιμο μεθοδολογικό μονοπάτι που δύναται νασυντελέσει στην κατασκευή εργαλείων μέτρησης που διακρίνονται από μεγαλύτερηεγκυρότητα σε σχέση με εργαλεία μονομερών μεθοδολογικών προσεγγίσεων στιςκοινωνικές επιστήμες (Onwuegbuzie, Bustamante & Nelson, 2010) και ειδικότεραστην Παιδαγωγική και τη Ψυχολογία.

Για παράδειγμα, οι Nieswandt και Mceneaney (2009) υποστηρίζουν ότι ησύζευξη της ποιοτικής και ποσοτικής παράδοσης αποτελεί τον χρυσό κανόνα για τηβαθύτερη κατανόηση των πολύπλοκων διαδικασιών της διδασκαλίας και τηςμάθησης. Οι ίδιοι ερευνητές επισημαίνουν την ακαταλληλότητα εργαλείωνμέτρησης συγκεκριμένων διδακτικών και μαθησιακών διαδικασιών (όπως τηςμαθητο-κεντρικής παιδαγωγικής, της αποτελεσματικότητας της ομαδικής εργασίαςκτλ.) και την αναγκαιότητα επανα-αξιολόγησής τους βάσει ερευνών μεικτήςπροσέγγισης (Nieswandt & Mceneaney, 2009).

Παρόμοια, ερευνητές στο πεδίο της Ψυχολογίας διατείνονται ότι οι διαφορές πουδιακρίνουν την ποσοτική και ποιοτική παράδοση μπορούν να γεφυρωθούν σε μιαμεικτή προσέγγιση, συνδράμοντας σε μια περιεκτική γνώση στην έρευνα τηςΨυχολογίας (Hanson et al., 2005· Gelo, Braakman & Benetka, 2008). Σ’ αυτό τοπλαίσιο, έρευνες μεικτών μεθόδων δύναται να βελτιστοποιήσουν τα εργαλεία

16

16

μέτρησης καθώς οι εμπειρικοί δείκτες που συχνά απαντώνται στις ποσοτικέςέρευνες έχουν επικριθεί ως προς την αδυναμία τους να συλλάβουν σε ικανοποιητικόβαθμό τα ψυχολογικά φαινόμενα και συνεπώς τη δυνατότητά τους να παρέχουνέγκυρες συσχετίσεις και ερμηνείες (Michell, 1999· Toomela, 2008).Ο διερευνητικός ακολουθιακός σχεδιασμός επιτρέπει στον ερευνητή μεικτώνμεθόδων να μεταβεί από τις βασικές αρχές του κονστρουκτιβισμού καιερμηνευτισμού για τη βαθύτερη κατανόηση του υπό μελέτη φαινομένου στις αρχέςτου θετικισμού για τη μέτρηση εμπειρικών μεταβλητών και στατιστικών τάσεων. Ηπροσέγγιση αυτή θεμελιώνεται στις θέσεις του πραγματισμού όπου οι διαμάχες περίασυμβατότητας της ποσοτικής και ποιοτικής παράδοσης παραμερίζονται δίνονταςτην θέση τους σε ένα μεικτό σχεδιασμό που διέπεται από τα συμπληρωματικάοφέλη και τους μη-επικαλυπτόμενους περιορισμούς των δύο παραδόσεων μεαπώτερο σκοπό τη βελτιστοποίηση της εγκυρότητας των εργαλείων μέτρησης.

Βιβλιογραφία

Arnold, M. & Reynolds, K. (2003). Hedonic Shopping Motivations. Journal ofRetailing, 79, 2, 77-95.

Babbie, E. (2010). The Basics of Social Research (5th Ed.) Belmont, CA:Wadsworth/Thomson Learning.

Bergman, M. (2010). On Concepts and Paradigms in Mixed Methods Research.Journal of Mixed Methods Research, 4, 3, 171-175.

Blalock, H. (1968). The Measurement Problem: A Gap Between the Languages ofTheory and Research. In H. Blalock & A. Blalock (Eds.), Methodology in SocialResearch (pp. 5-27). New York: McGraw-Hill.

Blalock H. (1990). Auxilary Measurement Theories Revisited. In J. Hox & J. deJong-Gierveld (Eds.), Operationalization and Research Strategy (pp.33-49).Amsterdam: Swets and Zeitlinger.

Blumer, H. (1956) Sociological Analysis and the ‘Variable’. American SociologicalReview, 21, 6, 683-690.

Campbell, D. & Fiske, D. (1959). Convergent and Discriminant Validation by theMultitrait Multimethod Matrix. Psychological Bulletin, 56, 81-105.

Carmines, E. & Zeller, R. (1979). Reliability and Validity Assessment. Beverly Hills:Sage.

Castro, F., Kellison, J., Boyd, S. & Kopak, A. (2010). A Methodology forConducting Integrative Mixed Methods Research and Data Analyses. Journal ofMixed Methods Research, 4, 342-360.

Collins, K., Onwuegbuzie, A. & Sutton, I. (2006). A Model Incorporating theRationale and Purpose for Conducting Mixed Methods Research in SpecialEducation and Beyond. Learning Disabilities: A Contemporary Journal, 4, 67-100.

Cook, T. & Campbell, D. (1979). Quasi-experimentation: Design and AnalysisIssues for Field Settings. Chicago: Rand McNally College Publications.

Coppedge, M. (1999). Thickening Thin Concepts and Theories: Combining Large-Nand Small in Comparative Politics. Comparative Politics, 31, 465-476.

17

17

Creswell, J. (1999). Mixed-Method Research: Introduction and Application. In G.Cizek (Ed.), Handbook of Educational Policy (pp. 455-472). San Diego:Academic Press.

Creswell, J., Fetters M. & Ivankova N. (2004). Designing a Mixed Methods Study inPrimary Care. Annals of Family Medicine, 2, 1, 7-12.

Creswell, J. & Plano Clark, V. (2011). Designing and Conducting Mixed MethodsResearch (2nd Ed.). Thousand Oaks, CA: Sage.

Creswell, J., Plano Clark, V., Guttman, M. & Hanson, W. (2003). Advanced MixedMethods Research Designs. In A. Tashakkori & C. Teddlie (Eds.), Handbook onMixed Methods in the Behavioral and Social Sciences (pp. 209-240). ThousandOaks, CA: Sage.

Cronbach, L. & Meehl, P. (1955). Construct Validity in Psychological Tests.Psychological Bulletin, 52, 4, 281-302.

Currall, S. & Towler, A. (2003). Research Methods in Management andOrganizational Research: Toward Integration of Qualitative and QuantitativeTechniques. In A. Tashakkori & C. Teddlie (Eds.), Handbook of Mixed Methodsin Social and Behavioral Research (pp. 513-526). Thousand Oaks, CA: Sage.

Datta, L. (1994). Paradigm Wars: A Basis for Peaceful Coexistence and Beyond. InC. Reichardt & S. Rallis (Eds.), The Qualitative-Quantitative Debate: NewPerspectives (pp.53-70). San Francisco: Jossey-Bass.

De Vaus, D. (1990). Surveys in Social Research (2nd Ed.) Sydney: Allen & Unwin.De Vaus, D. (2008). Ανάλυση Κοινωνικών Δεδομένων: 50 Βασικά Θέματα (μτφρ.

Ε. Δημητριάδου, Εισαγωγή-Επιμέλεια Ν. Κυριαζή).Αθήνα: Ελληνικά Γράμματα.DeVellis, R. (2003). Scale Development (2nd Ed.). Thousand Oaks, CA: Sage.Denzin, N. & Lincoln, Y. (2000). Introduction: The Discipline and Practice of

Qualitative Research. In N. Denzin & Y. Lincoln (Eds.), Handbook ofQualitative Research (pp. 1-28). Thousand Oaks, CA: Sage.

Dures, E., Morris, M., Gleeson, K. & Rumsey, N. (2010). “You’re Whatever thePatient Needs at the Time”: The Impact on Health and Social Care Professionalsof Supporting People with Epidermolysis Bullosa. Chronic Illness, 6, 3, 215-227.

Erawan, P. (2010). Developing Life Skills Scale for High School Students ThroughMixed Methods Research. European Journal of Scientific Research, 47, 2, 169-186.

Gelo, O., Braakman, D. & Benetka, G. (2008). Quantitative and QualitativeResearch: Beyond the Debate. Integrative Psychological & Behavioral Science,42, 266-290.

Goertz, G. (2005). Social Science Concepts: A User's Guide. Princeton: PrincetonUniversity Press.

Greene, J., Caracelli, V. & Graham, W. (1989). Toward a Conceptual Frameworkfor Mixed-Method Evaluation Designs. Educational Evaluation and PolicyAnalysis, 11, 255-274.

Groves, R., Fowler, F., Couper, M., Lepkowski, J., Singer, E. & Tourangeau, R.(2009). Survey Methodology (2nd Ed.). New York: John Wiley & Sons.

Guba, E. (1990). The Alternative Paradigm Dialog. In E. Guba (Ed.), The ParadigmDialog (pp. 17-27). Newbury Park, CA: Sage.

Hanson, W., Creswell J., Plano Clark, V., Petska, K. & Creswell, J. (2005). Mixed-Methods Research Designs in Counseling Psychology. Journal of CounselingPsychology, 52, 2, 224-235.

18

18

Haynes, S., Richard, D. & Kubany, E. (1995). Content Validity in PsychologicalAssessment: A Functional Approach to Concepts and Methods. PsychologicalAssessment, 7, 238-247.

Hitchcock, J., Nastasi, B., Dai, D., Newman, J., Jayasena, A., Bernstein-Moore, R.,Sarkar, S. & Varjas, K. (2005). Illustrating a Mixed-method Approach forValidating Culturally Specific Constructs. Journal of School Psychology, 43,259-278.

Howe, K. (1988). Against the Quantitative-Qualitative Incompatibility Thesis or,Dogmas Die Hard. Educational Researcher, 17, 10-16.

Hox J. (1997). From Theoretical Concept to Survey Questions. In P. Lyberg, P.Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwartz & D. Trewin (Eds.),Survey Measurement and Process Quality (pp. 47-70). New York: Wiley.

Huberman, M. & Miles, B. (1998). Data Management and Analysis Method. In: K.Denzin & S. Lincoln (Eds.), Collecting and Interpreting Qualitative Materials(pp. 179-210). Thousand Oaks, CA : Sage.

Jacoby, W. (1991). Data Theory and Dimensional Analysis. Newbury Park, CA:Sage.

Johnson, R. & Onwuegbuzie, A. (2004). Mixed Methods Research: A ResearchParadigm Whose Time has Come. Educational Researcher, 33, 7, 14-26.

Johnson, R., Onwuegbuzie, A. & Turner, L. (2007). Toward a Definition of MixedMethods Research. Journal of Mixed Methods Research, 1, 2, 112-133.

Johnson, R. & Turner, L. (2003). Data Collection Strategies in Mixed MethodsResearch. In A. Tashakkori & C. Teddlie (Eds.), Handbook of Mixed Methods inSocial and Behavioral Research (pp. 297-319). Thousand Oaks, CA: Sage.

Κυριαζή, Ν. (1998). Η Κοινωνιολογική Έρευνα και η Κατασκευή της ΚοινωνικήςΠραγματικότητας. Το Παράδειγμα της Ποσοτικής Προσέγγισης. Στο Γ.Παπαγεωργίου (Επιμ.), Μέθοδοι στην Κοινωνιολογική Έρευνα (σσ. 293-313).Αθήνα: Τυπωθήτω.

Κυριαζή, Ν. (2006). Η Κοινωνιολογική Έρευνα: Κριτική Επισκόπηση των Μεθόδωνκαι των Τεχνικών (9η Εκδ.). Αθήνα: Ελληνικά Γράμματα.

Lahsaeizadeh, A. & Yousefinejad, E. (2011). Social Aspects of Women'sExperiences of Sexual Harassment in Public Places in Iran. Sexuality & Culture,1-21.

Lazarsfeld, P. & Barton, A. (1965). Qualitative Measurement in the Social Sciences:Classification, Typologies, and Indices. In D. Lerner & H. Lasswell (Eds.), ThePolicy Sciences (pp. 155-192). Stanford: Stanford University Press.

Lincoln, Y. S. & Guba, E. G. (1985). Naturalistic Inquiry. Newbury Park, CA:Sage.

Mahoney, J. & Goertz, G. (2006). A Tale of Two Cultures: Contrasting Quantitativeand Qualitative Research. Political Analysis, 14, 3, 227-249.

Mak, L. & Marshall, S. (2004). Perceived Mattering in Young Adults' RomanticRelationships. Journal of Social and Personal Relationships, 21, 469-486.

McGaw, D. & Watson, G. (1976). Political and Social Inquiry. New York: Wiley.Meijer, P., Verloop, N. & Beijaard, D. (2001). Similarities and Differences in

Teachers’ Practical Knowledge about Teaching Reading Comprehension. TheJournal of Educational Research, 94, 3, 171-184.

Messick, S. (1989a). Meaning and Values in Test Validation: The Science andEthics of Assessment. Educational Researcher, 18, 2, 5-11.

19

19

Messick, S. (1989b). Validity. In R. Linn (Ed.), Educational Measurement (pp.13-103). New York: Macmillan.

Messick, S. (1995a). Standards of Validity and the Validity of Standards inPerformance Assessment. Educational Measurement: Issues and Practice, 14, 4,5-8.

Messick, S. (1995b). Validity of Psychological Assessment: Validation of Inferencesfrom Persons’ Responses and Performances as Scientific Inquiry into ScoreMeaning. American Psychologist, 50, 9, 741-749.

Michell, J. (1999). Measurement in Psychology: A Critical History of aMethodological Concept. Cambridge: Cambridge University Press.

Mill, J. (1967). A System of Logic: Ratiocinative and Inductive. Toronto: Universityof Toronto Press.

Milton, J., Watkins, K., Studdard, S. & Burch, M. (2003). The Ever Widening Gyre:Factors Affecting Change in Adult Education Graduate Programs in the UnitedStates. Adult Education Quarterly, 54, 1, 23-41.

Moghaddam, F., Walker, B. & Harre, R. (2003). Cultural Distance, Levels ofAbstraction, and the Advantages of Mixed Methods. In A. Tashakkori & C.Teddlie (Eds.), Handbook of Mixed Methods in Social & Behavioral Research(pp. 111-134). Thousand Oaks, CA: Sage.

Morgan, D. (1998). Practical Strategies for Combining Qualitative and QuantitativeMethods: Applications to Health Research. Qualitative Health Research, 8, 362-376.

Morgan, D. (2007). Paradigms Lost and Pragmatism Regained: MethodologicalImplications of Combining Qualitative and Quantitative Methods. Journal ofMixed Methods Research, 1, 1, 48-76.

Morse, J. (1991). Approaches to Qualitative-Quantitative MethodologicalTriangulation. Nursing Research, 40, 120-123.

Myers, K. & Oetzel, J. (2003). Exploring the Dimensions of OrganizationalAssimilation: Creating and Validating a Measure. Communication Quarterly, 51,438-457.

Nagle, R., Suldo, S., Christenson, S. & Hansen, A. (2004). Graduate Students’Perspectives of Academic Positions in School Psychology. School PsychologyQuarterly, 19, 311-326.

Nassar-McMillan, S., Wyer, M., Oliver-Hoyo, M. & Ryder-Burge, A. (2010). UsingFocus Groups in Preliminary Instrument Development: Expected andUnexpected Lessons Learned. The Qualitative Report, 15, 6, 1621-1634.

Neuman, W. (1997). Social Research Methods: Qualitative and QuantitativeApproaches (3rd Ed.). Needham Heights, MA: Allyn and Bacon.

Nieswandt, M. & Mceneaney, E. (2009). Approaching Classroom Realities: The Useof Mixed Methods and Structural Equation Modeling in Science EducationResearch. In Mack C. Shelley, Larry D. Yore & Brian B. Hand (Eds.), QualityResearch in Literacy and Science Education: International Perspectives andGold Standards (pp.189-211). Dordrecht, London : Springer.

Northrop, F. (1947). The Logic of the Sciences and the Humanities. New York:World Publishing Company.

Nunnally, J. (1967). Psychometric Theory. New York: McGraw-Hill.Onwuegbuzie, A., Bustamante, R. & Nelson, J. (2010). Mixed Research as a Tool

for Developing Quantitative Instruments. Journal of Mixed Methods Research, 4,1, 56-78.

20

20

Onwuegbuzie, A. & Johnson, R. (2006). The Validity Issue in Mixed Research.Research in the Schools, 13, 1, 48-63.

Onwuegbuzie, A., Witcher, A., Collins, K., Filer, J., Weidmaier, C. & Moore, C.(2007). Students' Perceptions of Characteristics of Effective College Teachers: AValidity Study of a Teaching Evaluation Form Using Mixed-Methods Analysis.American Educational Research Journal, 44, 1, 113-160.

Oppenheim, A. (1992).Questionnaire Design, Interviewing and AttitudeMeasurement (2nd Ed.). London, UK: Pinter.

Padgett, D. (1998). Qualitative Methods in Social Work Research: Challenges andRewards. Thousand Oaks, CA: Sage.

Patton, M. (1990). Qualitative Evaluation and Research Methods (2nd Ed.).Newbury Park, CA: Sage.

Payne, S. (1951). The Art of Survey Questions. Princeton: Princeton UniversityPress.

Pike, K. (1967). Language in Relation to a Unified Theory of the Structure ofHuman Behavior. The Hague, Netherlands: Mouton.

Πουρκός, Μ. (2010α). Η Έννοια της Θεωρίας και ο Ρόλος της στην Έρευνα τωνΚοινωνικών Επιστημών: Οι «Κρίσεις» και τα «Παραδείγματα». Στο Μ. Πουρκός& Μ. Δαφέρμος (Επιμ.), Ποιοτική Έρευνα στις Κοινωνικές Επιστήμες:Επιστημολογικά, Μεθοδολογικά και Ηθικά Ζητήματα (σσ. 59-130). Αθήνα:Τόπος.

Πουρκός, Μ. (2010β). Η Διαμάχη μεταξύ Ποιοτικής και Ποσοτικής Έρευνας στιςΚοινωνικές Επιστήμες: Διευρύνοντας τις Προοπτικές στη Μεθοδολογία και τονΕρευνητικό Σχεδιασμό. Στο Μ. Πουρκός & Μ. Δαφέρμος (Επιμ.), ΠοιοτικήΈρευνα στις Κοινωνικές Επιστήμες: Επιστημολογικά, Μεθοδολογικά και ΗθικάΖητήματα (σσ. 131-176). Αθήνα: Τόπος.

Reynolds, P. & Cavanagh, R. (2005). A Philosophical Perspective on the Utility ofQuantitative Methods in Educational Research. In R. Waugh (Ed.), Frontiers inEducational Psychology (pp. 213-230). New York: Nova Science Publishers.

Rowan, N. & Wulff, D. (2007). Using Qualitative Methods to Inform ScaleDevelopment. The Qualitative Report, 12, 3, 450-466.

Σαραφίδου, Γ-Ο. (2011). Συνάρθρωση Ποσοτικών και Ποιοτικών Προσεγγίσεων.Αθήνα: Gutenberg.

Saris, W. & Gallhofer, I. (2007). Design, Evaluation and Analysis of Questionnairesfor Survey Research. New York: Wiley.

Shablak, S., Cavino, H. & Spaulding, D. (2005). State Improvement Grant (SIG):Evaluation Report. Syracuse, NY: Syracuse University.

Smith, J. (1983). Quantitative Versus Qualitative Research: An Attempt to Clarifythe Issue. Educational Researcher, 12, 3, 6-13.

Smith, P., Earp, J. & De Vellis, R. (1995). Measuring Battering: Development of theWomen’s Experience with Battering (WEB) Scale. Women’s Health: Researchon Gender, Behavior, and Policy, 1, 4, 273-288.

Strauss, A. & Corbin, J. (1998). Basics of Qualitative Research: Techniques andProcedures for Developing Grounded Theory (2nd Ed). Thousand Oaks, CA:Sage.

Tashakkori, A. & Creswell, J. (2008). Mixed Methodology Across Disciplines.Journal of Mixed Methods Research, 2, 1, 3-6.

Tashakkori, A. & Teddlie, C. (Eds.) (2003a). Handbook of Mixed Methods in Socialand Behavioral Research. Thousand Oaks, CA: Sage.

21

21

Tashakkori, A. & Teddlie, C. (2003b). The Past and the Future of Mixed MethodsResearch: From Data Triangulation to Mixed Model Designs. In A. Tashakkori& C. Teddlie (Eds.), Handbook of Mixed Methods in Social and BehavioralResearch (pp. 671-701). Thousand Oaks, CA: Sage.

Tashakkori, A. & Teddlie, C. (2010). Sage Handbook of Mixed Methods in Socialand Behavioral Research (2nd Ed.). Thousand Oaks, CA: Sage.

Tashiro, J. (2002). Exploring Health Promoting Lifestyle Behaviors of JapaneseCollege Women: Perceptions, Practices, and Issues. Health Care for WomenInternational, 23, 1, 59-70.

Teddlie, C. & Tashakkori, A. (2003). Major Issues and Controversies in the Use ofMixed Methods in the Social and Behavioral Sciences. In A. Tashakkori & C.Teddlie (Eds.), Handbook of Mixed Methods in Social & Behavioral Research(pp. 3-50). Thousand Oaks, CA: Sage.

Tesch R. (1990). Qualitative Research: Analysis, Types and Software Tools. NewYork: Falmer.

Toomela, A. (2008). Variables in Psychology: A Critique of QuantitativePsychology. Integrative Psychological & Behavioral Science, 42, 3, 245-265.

Τσιώλης, Γ. (2011). Η Σχέση Ποιοτικής και Ποσοτικής Έρευνας στις ΚοινωνικέςΕπιστήμες: Από την Πολεμική των «Παραδειγμάτων» στις ΣυνθετικέςΠροσεγγίσεις. Στο Μ. Δαφέρμος, Μ. Σαματάς, Μ. Κουκουριτάκη & Σ. Χιωτάκη(Επιμ.), Οι Κοινωνικές Επιστήμες στον 21ο Αιώνα: Επίμαχα Θέματα καιΠροκλήσεις (σσ. 56-84). Αθήνα: Πεδίο.

Vogt D., King D. & King L. (2004). Focus Groups in Psychological Assessment:Enhancing Content Validity by Consulting Members of the Target Population.Psychological Assessment, 16, 231-243.

Zeller, R. & Carmines, E. (1980). Measurement in the Social Sciences: The LinkBetween Theory and Data. London: Cambridge University Press.