LOS PROGRAMAS FAMILIARES BASADOS EN EVIDENCIA: LA IMPORTANCIA DEL ROL DE LOS FORMADORES
10
Transcript of LOS PROGRAMAS FAMILIARES BASADOS EN EVIDENCIA: LA IMPORTANCIA DEL ROL DE LOS FORMADORES
172
INTRODUCCIÓNRESUMEN
LOS PROGRAMAS FAMILIARES BASADOS EN EVIDENCIA: LA IMPORTANCIA DEL ROL DE LOS FORMADORES
Ballester, LluísVives, MargaPozo, RosarioAmer, JoanOliver, Josep LluísUniversitat de les Illes [email protected]; [email protected]; [email protected]; [email protected]; [email protected]
Palabras clavebasado en evidencia, prevención familiar, formador, técnica Delphi
Los programas de prevención familiar presentan distintos pun-
tos de partida teóricos que determinan las características de los
roles atribuidos a los formadores. Son responsables de la apli-
cación del contenido de las sesiones, por tanto su adherencia al
programa, así como su motivación y habilidades para trabajar
con familias influye en la eficacia de los programas. Mediante
un Delphi o panel de expertos basado en la discusión de un do-
cumento base y la respuesta a un cuestionario, se persiguen las
metas de consensuar las características del buen formador y di-
señar la metodología más adecuada para evaluarlo.
La agencia norteamericana SAMHSA (Substance Abuse and
Mental Health Services Administration) subraya – en sus cri-
terios para proyectos preventivos- la experiencia y la voluntad
de recibir formación y supervisión (www.samhsa.gov). Turner y
Sanders (2006) consideran como principales factores para una
implementación óptima: confianza en sus habilidades, experien-
cia en programas basados en evidencia, conocimiento del tipo
de intervención, identificación de las barreras a la implementa-
ción y calidad en la formación. Shapiro, Prinz y Sanders (2012)
añaden que también impactan en la implementación las motiva-
ciones y necesidades de los formadores, sus actitudes en relación
al programa aplicado y su conocimiento sobre cómo funciona el
cambio familiar a través del programa. Turner y Sanders (2006)
subrayan que, para poder mejorar la confianza de los formadores
en sus habilidades de apoyo a las familias, es necesario entre-
nar sus habilidades relacionales y promover la responsabilidad
personal en el aprendizaje.
Un aspecto subrayado en diferentes estudios son las habilidades
de los formadores. De acuerdo con Breitenstein et al. (2010), la
competencia del formador tiene un efecto positivo en la satis-
facción parental. Small, Cooney y O’Connor (2009) consideran
las habilidades interpersonales como determinantes, mientras
que Kilmes-Dougan et al. (2009) añaden que son más impor-
tantes incluso que la experiencia.
En la investigación sobre programas familiares basados en evi-
dencia se pueden encontrar diferentes bibliografías relacionadas
con el contenido de los programas y los resultados en las fami-
lias. Sin embargo, menos información se puede encontrar sobre
los formadores, actores clave en la implementación de estos pro-
gramas. La presente comunicación es el resultado de un debate
entre ocho formadores y ocho académicos, mediante la técnica
Delphi, con el objetivo de generar consenso sobre los principales
aspectos que definen el buen formador, así como las mejores me-
todologías para evaluar su tarea. En la comunicación se incluyen
primero las principales características que deben reunir los for-
madores de programas basados en la evidencia, de acuerdo con
la literatura. Segundo, se aportan los resultados de un cuestio-
nario que se distribuyó en tres oleadas al grupo de expertos del
Delphi. Los participantes del Delphi subrayan la importancia de
las habilidades interpersonales y la experiencia en intervención
familiar. En relación a las técnicas de evaluación, se destacan
las técnicas cualitativas de observación y grupos de discusión.
En el próximo apartado se discutirán las características de los
formadores así como las mejores metodologías de evaluación de
su trabajo, de acuerdo con los expertos del Delphi. En cuanto
a las metodologías de evaluación, en la literatura encontramos
técnicas muy variadas: entrevistas (Shapiro, Prinz, & Sanders,
2012), grupos de discusión (Baumann, Kolko, Collins & Hers-
chell, 2006), encuestas (Asgary-Eden & Lee, 2011), autoinformes
(Baumann et al., 2006), observaciones independientes (Eames
et al., 2010), observaciones independientes cruzadas con autoin-
formes (Breitenstein et al., 2010; Orte, Amer, Pascual, & Vaqué,
2014), revisión de las sesiones a partir de su grabación (Brei-
tenstein et al., 2010) y autoinformes utilizando sistemas web
(Klimes-Dougan et al., 2009).
173
MÉTODO
METODOLOGÍA
MUESTRA
7DEOD����3HU¿O�GH�OD�PXHVWUD�
EXPERTO/A FORMACIóN
PREVIA
LUGAR DE
TRABAJO SEXO
AC1 Psicóloga Univ.Coimbra, Portugal Femenino
AC2 Pedagoga Univ. Navarra, España Femenino
AC3 Psicólogo Univ. California, USA Masculino
AC4 Psicóloga Univ. Santiago, España Femenino
AC5 Psicólogo Univ. Kentucky, USA Masculino
AC6 Psicólogo Univ. Oporto, Portugal Masculino
AC7 Psicólogo Health Services Irlanda Masculino
AC8 Pedagoga Univ. Oviedo, España Femenino
FORMACIóN
PREVIAPERFIL EN PCF
FM1 Educadora Social Formadora Femenino
FM2 Psicóloga Coordinadora técnica Femenino
FM3 Psicólogo Formador Masculino
FM4 Educador Social Formador Masculino
FM5 Psicólogo Coordinador Masculino
FM6 Ed. y Trab. Social Coordinadora Femenino
FM7 Trabajadora Social Formadora Femenino
FM8 Educación Social Coordinador Masculino
El uso del método Delphi, utilizado prioritariamente en estu-
dios de Economía, Administración y Medicina (García Martínez,
Aquino, Guzmán & Medina, 2012) es también válido y utiliza-
do en estudios relacionados con las ciencias sociales (Landeta,
2006; Rowe & Wright, 2012). En este sentido, los primeros tra-
bajos documentados con fines sociales y económicos aparecen
sobre los 60 (Camisón, Fabra, Florés, & Puig, 2008). En esta pri-
mera etapa de desarrollo del método Delphi, se desarrollaron
también sus primeras definiciones consensuadas, como la de la
Rand Corporation (Bosón, Cortijo & Escobar, 2009; Bennàssar,
2012) en los años 50 centrada en el objetivo de facilitar el acuer-
do entre expertos, habitualmente con finalidades prospectivas.
Se trata de una técnica de consulta a una muestra –no probabi-
lística- de personas con un buen nivel de conocimientos sobre
el tema objeto de análisis.
El método Delphi necesita cumplir una serie de requisitos bási-
cos para ser válido y fiable, algunos de ellos relacionados con la
muestra. En nuestro estudio consideramos importante contar no
sólo con la valoración de expertos académicos sino también con
las valoraciones y aportaciones de profesionales que hubiesen
participado de forma activa en, al menos una implementación
del Programa de Competencia Familiar 8-12 (PCF) (Orte, Balles-
ter & March, 2013). El PCF es la adaptación cultural española
del Strengthening Families Program 6-11 (SFP) (Kumpfer, De-
Marsh & Child, 1989). Así pues, se ha trabajado con dos grupos
muestrales diferenciados, donde la distribución por sexo ha sido
igualitaria (4 hombres y 4 mujeres en los dos grupos). El grupo
de académicos estaba formado por 4 españoles, 2 portugue-
ses y 2 estadounidenses, con amplia experiencia en programas
basados en evidencia, mientras que el grupo de profesionales
responde a perfiles de formadores (responsables de trabajar el
contenido de las sesiones con las familias) y coordinadores (res-
ponsables del conjunto de la aplicación del programa), que han
participado en el Programa de Competencia Familiar (PCF), tal
y como se muestra en la tabla siguiente:
INSTRUMENTO
Para González y López (2010) este cuestionario debe recoger
la información relevante de la primera fase y, al mismo tiempo
ser claro. En este sentido, acompañamos el cuestionario con re-
sumen ejecutivo a modo de resumen del estado de la cuestión
utilizado como base teórica para la elaboración del cuestionario.
Como se puede comprobar en el apartado de resultados, reali-
zamos dos grupos de preguntas (sobre el perfil del formador y
sobre la metodología de evaluación de éste), en el primer grupo
se incluyen listados de ítems que los expertos deben priorizar;
en el perfil del formador se trabaja sobre la experiencia y forma-
ción, las habilidades del formador, la adherencia al programa y
la dinámica del grupo y el perfil de las familias; en el segundo
grupo se trabaja sobre aspectos prioritarios que deben tener-
se en cuenta a la hora de evaluar al formador y las técnicas de
evaluación. Cada grupo de preguntas se finaliza con una pre-
gunta abierta; ésta permite al experto poder incluir aspectos que
considera importantes que puede que no hayan aparecido o ha-
cer puntualizaciones o comentarios que considera relevantes.
174
PROCEDIMIENTO DE ANÁLISIS
Tabla 2: Descripción de las fases realizadas
FASE DESCRIPCIóN OBSERVACIONES
1 Formulación del problema 3ODQWHDPLHQWR�GH�OD�SUHJXQWD�LQLFLDO�\�UHYLVLyQ�ELEOLRJUi¿FD
2Construcción del grupo
director / monitor
Todos son miembros del Grupo de Investigación y Formación Educativa y Social (GIFES), el cual trabaja desde el 2006 en la adaptación e
implementación en diversas instituciones (Projecte Home, Serveis Socials y Dirección General de Menores) del PCF. Sus tareas fueron, principalmente,
seleccionar y comunicarse con los expertos, creación, análisis del cuestionario y del resumen ejecutivo que acompaña al cuestionario.
3 Elaboración del cuestionario
$�SDUWLU�GH�OD�OLWHUDWXUD�UHYLVDGD��VH�HODERUy�HO�FXHVWLRQDULR�EDVDGR�HQ�ORV�LQGLFDGRUHV�PiV�UHOHYDQWHV�FHQWUDGRV�HQ�HO�SHU¿O�GHO�EXHQ�IRUPDGRU�HQ�programas de competencias familiares. El cuestionario solicitaba a los expertos la jerarquización de diferentes ítems según las categorías (4 para
SHU¿O�GHO�IRUPDGRU�\�GRV�VREUH�OD�PHWRGRORJtD�GH�HYDOXDFLyQ��DGHPiV�GH�XQD�SUHJXQWD�DELHUWD�SDUD�OD�LQFOXVLyQ�GH�SRVLEOHV�DSRUWDFLRQHV�
4 Lanzamiento de cuestionariosSe realizó a través del correo electrónico, asegurando anonimato. Dos de los miembros del grupo director / monitor fueron los responsables del
lanzamiento, seguimiento y recepción de los cuestionarios. Uno de ellos coordinó el grupo de académicos y el segundo el de formadores.
5Desarrollo del proceso
iterativo y retroalimentado
Como ya hemos comentado, el cuestionario se envió con un resumen ejecutivo; a partir del primer envío de los expertos, se realizaron un conjunto de estadísticos
que se pueden revisar en el apartado de resultados; además, se introdujeron sus comentarios al informe ejecutivo y un resumen de las aportaciones realizadas en
ODV�SUHJXQWDV�DELHUWDV��(VWH�GRFXPHQWR�VH�UHHQYLy�D�ORV�H[SHUWRV��&DEH�GHVWDFDU�TXH�WRGRV�ORV�H[SHUWRV�TXH�KDQ�LQLFLDGR�HO�PpWRGR�'HOSKL�OR�KDQ�¿QDOL]DGR�
6$QiOLVLV�¿QDO�\�UHGDFFLyQ�
de las conclusiones
$�SDUWLU�GHO�VHJXQGR�HQYtR�GH�ORV�H[SHUWRV��VH�UHDOL]y�HO�LQIRUPH�¿QDO�TXH�IXH�HQYLDGR�D�FDGD�XQR�GH�HOORV��DO�PLVPR�tiempo, se les envió un listado de los consultores que han formado parte de esta investigación
Analizamos, en un primer momento, los resultados de las jerar-
quizaciones de las seis categorías enviadas (4 sobre el perfil del
formador y 2 sobre metodología); donde se recogieron las medias
de las priorizaciones de los académicos, de los formadores y el
total del panel, ésta última sirvió para ordenar los indicadores
evaluados en cada categoría. Realizamos un análisis estadístico
de pruebas no paramétricas de muestras no relacionadas, incor-
porando los estadísticos de chi-cuadrado, W de Kendall, grados
de libertad y grado de significación estadística, tanto del grupo
de expertos en global como de los dos subgrupos por separado
(académicos y formadores).
Fuente: Elaboración propia a partir de Camisón et al. (2008)
RESULTADOS
Los resultados obtenidos tanto en el primer como en el segundo
envío por parte de los expertos quedan reflejados en este apar-
tado. Debemos recordar que en cada tabla, los expertos debían
ordenar (1 más importante) los indicadores incluidos en cada
apartado. En el segundo envío, se les ofrecía la posibilidad de,
si no estaban de acuerdo con la priorización, realizar de nuevo
su priorización.
En cada tabla, puede observarse la media de la priorización del
conjunto del panel de expertos, así como la de los formadores y
de los académicos por separado, además del orden de los indi-
cadores evaluados a partir de la media global. Todos estos datos
responden al análisis del segundo envío, por ello, incorporamos
también la primera priorización realizada por los expertos en
general. Incorporamos los estadísticos (N, chi-cuadrado, W de
Kendall, grados de libertad y grado de significación estadísti-
ca) tanto del conjunto de expertos como de los dos grupos por
separado (académicos y formadores).
175
PERFILES DE LOS FORMADORES
El primer indicador hace referencia a la experiencia y prepara-
ción del formador; la formación en el programa así como tener
experiencia en intervención familiar son los dos indicadores
que tanto formadores como académicos destacan en primer lu-
gar (los formadores con la misma puntuación, 1,50); si bien los
académicos creen que la formación en el programa (1,38 de me-
dia) es la habilidad más importante. En este caso, revisando el
coeficiente de concordancia W de Kendall es superior en el gru-
po de formadores (,828) que en el de académicos (,634); siendo
el nivel de confianza significativo (p=0,000) en los tres grupos.
Referente a las habilidades del formador, sí hay un acuerdo en
qué tres habilidades son las más importantes: habilidades de
comunicación (1,56 de media), habilidades de empatía (2,19) y
manejo de grupos (3,13) son las más valoradas tanto por aca-
démicos como por expertos. Como podemos ver, los acuerdos
no solo se han producido entre los dos grupos sino también en-
tre los dos envíos de los cuestionarios, puesto que sólo se ha
modificado un lugar (de 5 a 6 y viceversa) la confianza en sus
habilidades y la exposición de contenidos y del lugar 7 al 8 y vi-
ceversa de las habilidades para manejar participantes difíciles
y la exposición de contenidos. Ambos grupos obtienen puntua-
ciones similares en coeficiente de concordancia W de Kendall
(,692 académicos y ,639 en formadores), siendo también signi-
ficativa en los tres grupos (p=0,000).
ACADÉMICOS FORMADORES TOTAL 1R RANKING 2º RANKING
Experiencia en intervención familiar 2,25 1,50 1,88 2 2
$GKHUHQFLD�\�¿GHOLGDG�DO�SURJUDPD 2,88 3,38 3,13 3 3
Conocimiento sobre los modelos de intervención familiar 4,25 4,00 4,13 4 4
([SHULHQFLD�HVSHFt¿FD�HQ�HO�SURJUDPD�GH�SUHYHQFLyQ�IDPLOLDU 4,25 4,63 4,44 5 5
Formación en el programa 1,38 1,50 1,44 1 1
Estadísticas de contraste Académicos Formadores Expertos
N 8 8 16
Kendall’s Wa 0,634 0,828 0,705
Chi-square 20,300 26,500 45,150
gl 4 4 4
p ,000 ,000 ,000
Tabla 3. Experiencia y formación
Tabla 4. Habilidades de los formadores
AC
AD
ÉM
IC
OS
FO
RM
AD
OR
ES
TO
TA
L
1R
RA
NK
IN
G
2º
RA
NK
IN
G
Habilidades de comunicación 1,75 1,38 1,56 1 1
Habilidades de empatía 2,13 2,25 2,19 2 2
Dinamización del grupo 3,00 3,25 3,13 3 3
Habilidad para implicar
a las familias4,75 5,13 4,94 4 4
&RQ¿DQ]D�HQ�VXV�propias habilidades
6,13 6,38 6,25 5 6
Estrategias de resolución
GH�FRQÀLFWRV8,13 6,63 7,38 9 9
Responsabilidad personal
en el aprendizaje
6,88 7,38 7,13 7 8
Habilidad para manejar
participantes difíciles
7,00 7,00 7,00 8 7
Presentación de los contenidos 5,25 5,63 5,44 6 5
Estadísticas de contraste
Aca
dém
ico
s
Fo
rm
ad
ore
s
Ex
perto
s
N 8 8 16
Kendall’s Wa 0,692 0,639 0,653
Chi-square 44,267 40,900 83,533
gl 8 8 8
p ,000 ,000 ,000
176
AC
AD
ÉM
IC
OS
FO
RM
AD
OR
ES
TO
TA
L
1R
RA
NK
IN
G
2º
RA
NK
IN
G
Mala gestión del tiempo 2,00 2,63 2,31 2 2
Actividad considerada de poca importancia 3,75 3,88 3,81 4 4
Falta de preparación de la sesión por parte del formador 1,00 1,25 1,13 1 1
Padres/hijos/familias se sienten incómodos con las actividades propuestas 4,88 4,50 4,69 5 5
Falta de comprensión de la actividad propuesta para los padres/hijos/familias 3,38 2,75 3,06 3 3
Estadísticas de contraste Académicos Formadores Expertos
N 8 8 16
Kendall’s Wa 0,922 0,628 0,750
Chi-square 29,500 20,100 48,000
gl 4 4 4
p ,000 ,000 ,000
Tabla 5. Aspectos que impactan negativamente en la adherencia del programa
Respecto a los aspectos que dificultan la adherencia al progra-
ma, la falta de preparación de la sesión por parte del formador
(en primer lugar); especialmente para los académicos y una mala
gestión del tiempo (en segundo lugar) son los elementos más
importantes a tener en cuenta a la hora de la adherencia al pro-
grama. El coeficiente de concordancia de Kendall significativo
en los tres grupos (p=0.000) para los académicos de .922 mien-
tras que hay más dispersión en las respuestas de los formadores
(.628 en coeficiente W de Kendall). El acuerdo en la priorización
de los indicadores se mantiene en la segunda iteración.
El reconocimiento de las posibilidades de cambio familiar a
través del programa es valorado como el primer indicador so-
bre la dinámica del grupo y el perfil de las familias por parte
de los dos grupos (1,69), seguido de la actitud y disposición de
las familias durante el desarrollo de las sesiones (2,19). Cierto
es que entre la primera y la segunda valoración de los expertos
la clasificación no varía, pero si cabe destacar que parece haber
más acuerdo entre los académicos (,831) que entre los formado-
res (,699); siendo significativo el nivel de confianza en los tres
grupos (p=0,000). Cabe destacar que el primer indicador (re-
conocimiento de las posibilidades de cambio familiar a través
del programa) es el que más elevada puntuación ha obtenido en
los formadores (1,38), especialmente si la comparamos con la
de los académicos (2,0).
7DEOH����'LQiPLFD�GHO�JUXSR�\�SHU¿O�GH�ODV�IDPLOLDV
AC
AD
ÉM
IC
OS
FO
RM
AD
OR
ES
TO
TA
L
1R
RA
NK
IN
G
2º
RA
NK
IN
G
Feedback positivo
de las familias4,88 5,25 5,06 4 4
Reconocimiento de la
¿JXUD�GHO�IRUPDGRU 8,25 6,00 7,13 8 8
Constatación de las
posibilidades de cambio
familiar a través del programa
2,00 1,38 1,69 1 1
Actitud y predisposición de las
familias durante las sesiones2,13 2,25 2,19 2 2
&RQÀLFWR�GRPpVWLFR 9,75 9,38 9,56 10 10
Nivel de problemática familiar 8,75 7,88 8,31 9 9
Efectividad de la actividad 5,38 5,63 5,50 6 6
Participación en discusiones 5,75 7,63 6,69 7 7
Comprensión de las
explicaciones5,50 5,25 5,38 5 5
Participación en actividades 2,63 4,38 3,50 3 3
Estadísticas de contraste
Aca
dém
ico
s
Fo
rm
ad
ore
s
Ex
perto
s
N 8 8 16
Kendall’s Wa 0,831 0,659 0,705
Chi-square 59,836 47,482 101,550
gl 9 9 9
p ,000 ,000 ,000
177
METODOLOGÍAS DE EVALUACIÓN DEL TRABAJO DE LOS FORMADORES
Los tres ítems que se consideran necesarios evaluar respecto
a la tarea del formador son: a) habilidad relacional y de vincu-
lación con los participantes (1,44); manejo general de la sesión
y dinamización del grupo (3,0) y c) formación en el programa
(4,22). En este caso sólo se ha modificado el orden del 4 al 5 y
viceversa de los ítems adherencia y fidelidad al programa (pasa
del 4º al 5º lugar) y capacidad para mantener la motivación de
ACADÉMICOS FORMADORES TOTAL 1R RANKING 2º RANKING
$GKHUHQFLD�\�¿GHOLGDG�DO�SURJUDPD 3,63 6,50 5,06 4 5
Habilidades relacionales y vinculación con los participantes 1,50 1,38 1,44 1 1
Claridad expositiva 7,38 6,44 6,91 7 7
Habilidad para captar y mantener la atención 9,13 8,50 8,81 10 10
Habilidad para mantener la motivación de los participantes a lo largo del programa 4,88 5,06 4,97 5 4
Habilidad para implicar a los participantes 10,88 10,25 10,56 12 12
Habilidad de escucha 8,25 6,69 7,47 8 8
Respuestas adecuadas a las demandas de los participantes 8,88 7,88 8,38 9 9
Gestión del tiempo 10,00 10,56 10,28 11 11
Gestión de la dinámica del grupo 3,38 2,63 3,00 2 2
Formación en el programa 3,00 5,44 4,22 3 3
Responsabilidad personal y autoaprendizaje a lo largo del programa 7,13 6,69 6,91 6 6
Estadísticas de contraste Académicos Formadores Expertos
N 8 8 16
Kendall’s Wa 0,742 0,567 0,619
Chi-square 65,269 49,916 108,906
gl 11 11 11
p ,000 ,000 ,000
Tabla 7. Ítems para evaluar el trabajo de los formadores
los participantes a lo largo del programa (del 5º al 4º lugar).
Se mantiene la tendencia que sean los académicos los que me-
jor puntuación obtienen en el coeficiente de concordancia de
Kendall (0,742 académicos y 0,567 formadores) con un nivel de
confianza alto en los tres grupos (académicos, formadores y ex-
pertos en general) (p=0,000).
Referente a las técnicas de evaluación, es, en el único caso en
que el coeficiente de concordancia es más elevado en los for-
madores (0,866) que en los académicos (0,467), manteniendo
el nivel de confianza alto (p=0,00 en formadores y en el grupo
de expertos y p=0,001 en académicos). La observación indepen-
diente es la más valorada (1,00 de media en formadores y 1,50
de media en académicos) seguida de los grupos de discusión y
de la revisión y codificación del contenido de sesiones parenta-
les grabadas. No aparecen cambios entre la priorización de la
primera iteración con respecto a la segunda.
178
AC
AD
ÉM
IC
OS
FO
RM
AD
OR
ES
TO
TA
L
1R
RA
NK
IN
G
2º
RA
NK
IN
G
Auto-informe 5,13 5,25 5,19 5 5
Observación independiente 1,50 1,00 1,25 1 1
Entrevista estructurada 4,13 3,88 4,00 4 4
Encuesta 5,25 5,88 5,56 6 6
Grupos de discusión 2,63 2,13 2,38 2 2
Autoinforme utilizando
sistema de seguimiento 5,44 6,50 5,97 7 7
Revisión del contenido
de las sesiones a partir
de su grabación
3,94 3,38 3,66 3 3
Estadísticas de contraste
Aca
dém
ico
s
Fo
rm
ad
ore
s
Ex
perto
s
N 8 8 16
Kendall’s Wa 0,467 0,866 0,645
Chi-square 22,430 41,571 61,951
gl 6 6 6
p ,001 ,000 ,000
Tabla 8. Técnicas de evaluación DISCUSIÓN Y CONCLUSIÓN
En este apartado se contrastan los resultados del DELPHI con
las aportaciones teóricas tanto en relación al perfil de los for-
madores, como en relación a las metodologías más adecuadas
para evaluar su trabajo.
En relación a las características de los formadores, el debate
teórico y los resultados del DELPHI convergen en subrayar la
importancia de la experiencia en intervención familiar y la re-
levancia de la formación específica en el programa a aplicar
(Turner & Sanders, 2006). Además, en nuestro DELPHI es in-
teresante señalar, para el caso de los formadores entrevistados,
la obtención del mismo resultado a la hora de priorizar entre la
formación en el programa y la experiencia, a diferencia de lo que
ocurre con los académicos entrevistados, que indican la forma-
ción como el primer factor. También los formadores apuntan que
la experiencia permite situar la realidad de las familias y tener
una mirada global de los programas.
Las habilidades de los formadores son destacadas por distintos
autores (Breitenstein et al., 2010; Small, Cooney & O’Connor,
2009; Kilmes-Dougan et al., 2009) y también son resaltadas
en el DELPHI, especialmente las habilidades comunicativas,
la empatía y la gestión del grupo. Estas habilidades tienen que
permitir motivar a las familias y adaptarse culturalmente y emo-
cionalmente a ellas.
Un tema importante en la implementación de programas basa-
dos en evidencia es la fidelidad o adherencia al programa. Sin
embargo, con la excepción de Breitenstein et al. (2010), al hablar
de buenos formadores este aspecto se deja en segundo lugar. En
nuestro estudio, según los profesionales y académicos entrevis-
tados, la falta de preparación de las sesiones y la mala gestión
del tiempo impactan negativamente en la adherencia al progra-
ma. Para el buen funcionamiento del programa, los entrevistados
consideran relevante que los formadores entiendan el modelo
de cambio que el programa contiene, así como un conocimien-
to profundo de los objetivos y contenidos.
En relación a las metodologías más idóneas para la evalua-
ción del trabajo de los profesionales, la bibliografía estudiada
se dedica principalmente a la medida de las habilidades de los
formadores (Eames et al., 2010; Klimes-Dougan et al., 2009;
Turner, Nicholson & Sanders, 2011), aunque también hay enfo-
ques más orientados a la medición de la adherencia (Shapiro,
Prinz & Sanders, 2012). En cuanto a los ítems a evaluar de la
labor de los formadores, en el DELPHI se destacan los siguien-
tes: habilidades relacionales y capacidad de vinculación con los
participantes, manejo de la sesión y de la dinámica del grupo y
la preparación y dominio del programa. En todo ello es primor-
dial la actitud del formador en relación con el programa y con
las sesiones. En referencia a la combinación de técnicas más
adecuadas, profesionales y académicos entrevistados apuntan la
observación independiente y los grupos de discusión. Más con-
cretamente se anota la utilidad de los focus groups al final de
la aplicación del programa, así como sondear vía encuesta o vía
entrevista la opinión de las familias participantes sobre el pa-
pel de los formadores.
En relación a la metodología, el anonimato de la técnica DELPHI
permite eliminar la influencia de la reputación de otro experto,
además del hecho de poder oponerse a la mayoría o cambiar de
opinión (Rosas, Sánchez & Chávez, 2012). En nuestra investi-
gación realizamos dos pasaciones del cuestionario, una tercera
no fue necesaria al haber un grado elevado de acuerdo entre las
respuestas de la primera y la segunda pasación del cuestionario.
Todos los expertos han reenviado sus cuestionarios en las dos
itinerancias. La técnica permite no sólo validar los hallazgos de
la búsqueda bibliográfica sino que permite también incorporar,
con la validez de la opinión de un experto, otros indicadores que
deben tenerse en cuenta.
En cuanto a las implicaciones para la práctica de la presente co-
municación, hay que destacar que un mejor conocimiento de las
características idóneas de los formadores para un buen desar-
rollo de los programas ayudará a obtener mejores resultados.
En la misma línea, las ref lexiones aportadas sobre las técni-
cas más adecuadas para analizar el trabajo de los formadores
permiten afinar los instrumentos de evaluación de la labor de
estos profesionales.
179
En relación a las líneas de futuro, esta investigación DELPHI
colabora en el estudio del papel de los formadores en la imple-
mentación de los programas, especialmente en la aplicación del
contenido de las sesiones y en la adherencia a estos contenidos.
Dado que el análisis del papel de los formadores ha ocupado un
segundo lugar en el estudio sobre los programas, sería un buen
momento para continuar la línea de investigación iniciada con
otros planteamientos metodológicos complementarios a la téc-
nica DELPHI. Éste podría ser el caso de trabajar para el testeo y
refinamiento de las principales técnicas de evaluación del trabajo
de los formadores sugeridas por los participantes del DELPHI,
como son los grupos de discusión y las técnicas de observación
de las sesiones. Otro aspecto a considerar sería la evaluación
previa de los formadores, a través de la evaluación de sus habi-
lidades después de la formación preparatoria para implementar
un programa y antes del inicio de este programa.
En conjunto, los formadores desarrollan un papel clave para el
éxito de los programas familiares basados en evidencia. Un buen
desempeño de sus labores podrá colaborar a mejorar la efecti-
vidad de estos programas.
AGRADECIMIENTOS
Queremos agradecer a las siguientes personas su contribución
al artículo: Apol·lònia Mas, Cristina Fernández, Miquel Far, Mi-
quel Cruz, Oriol Esculies, Dolors Bordas, Xesca Cerdà, Fabiola
Farias, Tomeu Cursach, Ana Melo, Carme Urpí, Enrique Orte-
ga, Estrella Romero, Joaquín Fenollar, Jorge Negreiros, Robert
O’Driscoll y Susana Torío.
REFERÊNCIAS BIBLIOGRÁFICAS
Program, What’s Next? Perspectives of Service Providers
and Administrators. Professional Psychology: Research and Practice, 42, 2, 169–175.
Baumann, B., Kolko, D.J., Collins, K., & Herschell, A.D.
(2006). Understanding practitioners’ characteristics and
perspectives prior to the dissemination of an evidence-
based intervention. Child Abuse & Neglect, 30, 771–787.
Bennàssar, M. (2012) Estilos de vida y salud en estudiantes universitarios: la Universidad como entorno promotor de la salud (Tesis doctoral) Universitat de les Illes Balears, Palma.
Bosón, E., Cortijo, V., & Escobar, T. (2009). A Delphi Investigation
to Explain the Voluntary Adoption of XBRL. The International Journal of Digital Accounting Research. Vol 9, 193-205.
Breitenstein, S., Fogg, L., Garvey, C., Hill, C., Resnick, B., & Gross, D.
(2010). Measuring Implementation Fidelity in a CommunityBased
Parenting Intervention. Nursing Research, 59, 3, 158–165.
Camisón, C.; Fabra, E.; Florés, B.; Puig, A. (2008) ¿Hacia dónde se dirige la
función de calidad?: la visión de expertos en un estudio Delphi. Revista Europea de Dirección y Economía de la Empresa, vol. 18, núm. 2, 13-38.
Eames, C., Daley, D., Hutchings, J., Whitaker, C.J., Bywater, T., Jones,
K., & Hughes, J.C. (2010). The impact of group leaders’ behaviour
on parents acquisition of key parenting skills during parent
training. Behaviour Research and Therapy, 48, 1221-1226.
García, V., Aquino, S., Guzmán, A. & Medina, A. (2012) El uso
del método Delphi como estrategia para la valoración de
indicadores de calidad en programas educativos a Distancia.
Revista Calidad en la Educación Superior, 3, 1, 200 – 222.
González, I. & López, I. (2010). Validación y propuesta de un
modelo de indicadores de evaluación de la calidad en la
universidad. Revista Iberoamericana de Educación, 53, 6.
Landeta, J. (2006). Current validity of the Delphi method in social sciences.
Technological Forecasting and Social Change. Vol 73, 5, 467-482.
Klimes-Dougan, B., August, G.J., Chih-Yuan, S. L., Realmuto, G.,
Bloomquist, M., Horowitz, J.L., & Eisenberg, T.L. (2009) Practitioner
and Site Characteristics That Relate to Fidelity of Implementation: The
Early Risers Prevention Program in a Going-to-Scale Intervention Trial.
Professional Psychology: Research and Practice, 40, 5, 467–475.
Kumpfer, K. L., DeMarsh, J. P., & Child, W. (1989). Strengthening
Families Program: Children’s Skills Training Curriculum Manual,
Parent Training Manual, Children’s Skill Training Manual, and
Family Skills Training Manual (Prevention Services to Children
of Substance-abusing Parents). Social Research Institute,
Graduate School of Social Work, University of Utah.
Orte, C., Ballester, Ll., & March, M. (2013). The family competence approach,
an experience of socio-educational work with families/ El enfoque de
la competencia familiar, una experiencia de trabajo socioeducativo
con familias. Pedagogía Social. Revista Interuniversitaria, 21, 3-27.
Orte, C., Amer, J., Pascual, B., & Vaqué, C. (2014). La perspectiva
de los profesionales en la evaluación de un programa de
intervención socioeducativa con familias. Pedagogía Social. Revista Interuniversitaria, 24 (artículo aceptado y disponible en pre-print).
Rosas, A., Sánchez, J., & Chávez, M. (2012). La técnica Delphi y el
análisis de la capacidad institucional de gobiernos locales que
atienden el cambio climático. Política y Cultura, 38, 165-194.
Rowe, G., & Wright, G. (2012) The Delphi technique: Past, present,
and future prospects — Introduction to the special issue.
Technological Forecasting and Social Change, Vol. 78, 9, 1487-
1498 doi: http://dx.doi.org/10.1016/j.techfore.2011.09.002
Shapiro, C., Prinz, R., & Sanders, M. (2012). Facilitators and
Barriers to Implementation of an Evidence-Based Parenting
Intervention to Prevent Child Maltreatment: The Triple P-Positive
Parenting Program. Child Maltreatment, 17(1), 86-95.
Small, S., Cooney, S., & O’Connor, C. (2009). Evidence-
Informed Program Improvement: Using Principles of
Effectiveness to Enhance the Quality and Impact of Family-
Based Prevention Programs. Family Relations, 58, 1-13.
Turner, K., Nicholson, J., & Sanders, M. (2011). The Role of Practitioner
Self-Efficacy, Training, Program and Workplace Factors on the
Implementation of an Evidence-Based Parenting Intervention in
Primary Care. Journal of Primary Prevention, 32, 95–112.
Turner, K. & Sanders, M. (2006). Dissemination of evidence-
based parenting and family support strategies: Learning from
the Triple P—Positive Parenting Program system approach.
Aggression and Violent Behavior, 11, 176– 193.
2
Título: Pedagogia / Educação Social - Teorias & Práticas. Espaços de investigação, formação e ação
Editor: Escola Superior de Educação do Politécnico do Porto
Prefixo de Editor: 978-972-8969
Autor(es): Paulo Delgado, Sílvia Barros, Carla Serrão, Sofia Veiga, Teresa Martins, António José Guedes, Fernando Diogo, Maria José Araújo (Coordenadores)
Design Gráfico: Jorge Araújo e Paulo Moreira
Tiragem: 200 exemplares
ISBN: 978-972-8969-06-6
