Slide Leone Teoria del Programma 23-4-2015 - Valutazione ...

20/04/2015

1

Le componen) della Teoria del programma: come codificarle e schema)zzarle

per lo sviluppo dei Piani di valutazione 23 Aprile 2015

Palazze0o delle Carte Geografiche Via Napoli 36, Roma

Liliana Leone (Consulente proge.o NUVAL)

e-‐mail [email protected]

Cos’è la valutazione guidata dalla teoria del programma

•  Negli ulJmi 50 anni molJ valutatori hanno contribuito allo sviluppo di un filone di valutazione denominato valutazione orientata alla teoria (theory-‐oriented) o guidata dalla teoria (theory-‐driven) (Chen and Rossi 1987), la valutazione Basata sulla Teoria (TBE), (Weiss 2000) e la valutazione realista (Pawson, Tilley 1997).

•  La Teoria del Programma (TdP) è l’elemento che accomuna tuW i diversi approcci; essa consiste in una serie di affermazioni che descrivono come e a<raverso quali meccanismi un programma, in determinate condizioni, dovrebbe avere successo.

•  Si esplicitano i requisiJ necessari per o0enere i risultaJ desideraJ. Implica l’insieme delle assunzioni circa i problemi od opportunità di sviluppo e i nessi con le aWvità e le strategie che il programma intende ado0are per o0enere determinaJ effeW.

Leone L. 23/04/2014 2

20/04/2015

2

•  L’a0enzione è posta sulle teorie dei policy makers, dei manager del programma e degli altri stakeholders, sulla raccolta di ipotesi e assunzioni. Queste teorie vengono espresse in termini di ‘catena logica della policy’.

•  Varietà di conce0ualizzazioni: logica del programma, catena dei risultaJ, modello causale, teoria del cambiamento, logica di intervento (EC 2013).

•  La TdP svolge un ruolo primario nella idenJficazione dei bisogni, nella proge0azione degli intervenJ, nella formulazione delle policy e nella valutazione degli outcome e dei processi di implementazione (Funnell, Rogers 2011).

•  Tu0avia non è sufficiente ricostruire la catena logica (logical Frame): “TBE is an effort to examine the mechanisms by which programs influence

successive stages of parGcipants’ behavior.” (Weiss 2000:35).

Leone L. 23/04/2014 3

Cos’è la valutazione guidata dalla teoria del programma

PROGRAMMAZIONE

Figura 1 -‐ U)lizzare Teorie Esplica)ve e Teorie del cambiamento per pianificare e valutare i programmi

VALUTAZIONE 4 Leone L. 23/04/2014

20/04/2015

3

5

Uso della teoria del programma

•  Serve a capire le cause di ciò che si osserva e generalizzare gli apprendimen).

•  Le valutazioni testano le ipotesi. La TdPpuò essere uJlizzata per una singola valutazione, per sviluppare un Piano di valutazioni o anche per riassumere le evidenze tra0e da più valutazioni.

•  Il programmatore analizzando la Teoria del programma dovrebbe comprendere meglio i risulta) offerJ dalla valutazione, prevedere meglio tali effeW e disegnare programmi migliori!

Leone L. 23/04/2014

VALUTAZIONE

Fine esplica)vo

Finalità conosci)va esplora)va

U)lizzazione

Trasferimento conoscenze

ComponenJ della Teoria del Programma

Si usano in genere 4 componenJ per descrivere un programma: 1.   Le assunzioni o ipotesi alla base del programma 2.   input e aRvità 3.   Risulta) e outcomes a<esi 4.   Meccanismi a<esi e teorie del cambiamento

La TdP viene rappresentata tramite una sequenza logica di step-‐blocchi che spiegano: •  il nesso e la progressione temporale tra intervenJ, risultaJ

intermedi e outcome •  IdenJfica teorie del cambiamento e/o i meccanismi che fanno

funzionare gli intervenJ (Es: credenze, i desiderata e i costruN cogniGvi che influenzano le scelte e le azioni dei diversi a.ori)

6 Leone L. 23/04/2014

20/04/2015

4

Come fare? Sviluppare la catena SE -‐ Allora Con gli stakeholder occorre idenJficare le maggiori aWvità del programma e le diverse assunzioni e teorie del programma che soggiacciono all’azione. Per sviluppare una teoria del programma selezionare una delle aWvità del programma e rispondere alle seguenJ tre domande. Ripetere l’esercizio per tu0e le macroaWvità: •  SE (IF) l’aWvità xxx viene offerta ……..ALLORA (THEN) quale dovrebbe

essere il risultato per i partecipanJ? •  PERCHE’ ritenete che tale aWvità possa portare a determinaJ risultaJ?

Quali sono le assunzioni circa i cambiamenJ che dovrebbero realizzarsi? Tali assunzioni si basano su teorie formalizzate o teorie del cambiamento usate da altri?

•  QUALI EVIDENZE ci sono che tali aWvità dovrebbero portare a daJ risultaJ (precedenJ studi e valutazioni, esperienza pregressa del programma etc.)? Esistono possibili spiegazioni alternaJve che giusJficano i nessi causali ipoJzzaJ?

Leone L. 23/04/2014 7

Occorre fare 2 operazioni:

q  La Valutazione basata sulla teoria disJngue tra teoria dell‘implementazione e teoria del programma.

•  La prima si focalizza su cosa succede nell’a0uazione del programma concepito come un susseguirsi di fasi e azioni per capire se sono state fedeli a quanto previsto.

•  La seconda cerca di spiegare quale meccanismo colleghi input ad effeW. Il cambiamento è prodo0o dalla risposta che queste aWvità generano nei beneficiari e nellambiente.

q  Lavorare per individuare i meccanismi che possono favorire il cambiamento voluto, per trarre indicazioni da per programmi futuri.

20/04/2015

5

Errori più comuni

Frame semplificatorio: Si uJlizza solo il modello logico (Logical frame), solo la teoria della implementazione, senza ‘interrogare’ il programma e testare gli assunJ e le teorie del cambiamento o indagare come e se si aWvano i meccanismi previsJ

Leone L. 23/04/2014 9

Assunzioni

Obiettivi

Outputs

Tasks

Scopo

Assunzioni

Assunzioni

Perché e in quali

circostanze??

Possibili schemi logici Variabili considerate per sviluppare gli schemi logici: •  Step logici delle diverse azioni e meccanismi previsJ (es: FP

Weiss ) •  Distanza nel tempo o nelle connessioni logiche tra diversi

livelli di risultato: immediato, intermedio, finale •  Gerarchie causalità •  DisJnzioni tra ambiJ di conoscenza e Jpi di teorie (v. Legge

fumo UK) •  …..

ALCUNI ESEMPI

Leone L. 23/04/2014 10

20/04/2015

6

Programma: formazione professionale per drop out

Teoria del programma

Teoria dell’Implementazione (aWvità) + Teorie del cambiamento (meccanismi ) SE ALLORA

Si pubblicizza un progetto di Formazione professionale (FP)

I giovani vengono a saperlo I giovani sono interessati e motivati a parteciparvi

I giovani che appartengono a target eleggibile vengono iscritti

I giovani si iscrivono

Il programma fornisce attività di formazione professionale in locali agibili

I giovani frequentano regolarmente (alcuni no) (Teorie apprendimento sociale)

La formazione risponde ai bisogni del mercato del lavoro La formazione viene erogata in modo adeguato.

I giovani acquisiscono skill e sviluppano conoscenze (alcuni no)

Leone L. 23/04/2014 11

La formazione insegna adeguaJ a0eggiamenJ sul lavoro I formatori offrono aiuto e supporto.

• I giovani internalizzano i valori di un occupazione regolare e appropriaG comportamenG sul lavoro (Teoria Planned AcGon e autoefficacia)

Il programma comunica ai giovani offerte di lavoro (e una lista di offerte esiste). (Teoria reJ legami deboli) Il programma indirizza i giovani verso appropriaJ lavori.

• I giovani cercano lavoro • …si comportano appropriatamente nei colloqui di lavoro • I datori offrono un occupazione • ..acce.ano il lavoro • …vanno al lavoro regolarmente

Il programma assiste i datori e i giovani nella transizione al lavoro aiutandoli nei problemi che incontrano .

• I giovani acce.ano l’autorità sul lavoro • fanno bene il loro lavoro e si comportano bene con i loro colleghi • rimangono al lavoro

Liberamente tratto da Weiss 2000 Leone L. 23/04/2014 12

20/04/2015

7

13 Leone L. 23/04/2014

Modelli logico basato su catena risultaJ sequenziali

Teoria del Programma del Microcredito a favore di donne povere

Microcredito • A donne comunità povere

ARvità imprenditoriale • Empowerment delle donne

• Supporto sociale comunità (rispe0o impegni)

Benessere • Migliore nutrizione bambini

• Aumento reddito familiare

• Bassa sofferenza bancaria

Leone L. 23/04/2014 14

Meccanismi o ToC

Assunzioni

20/04/2015

8

Esempio: “Se sviluppiamo intervenG di microcredito

a favore di gruppi di donne di una comunità povera,

queste saranno in grado di prendere autonoma iniziaGv (empowerment)

e sviluppare a4vità commerciali o un lavoro autonomo,

ciò garanGrà un reddito per loro e i loro figli e

si tradurrà in sviluppo socioeconomico della comunità e

in condizioni di nutrizione e di salute migliori per i bambini”

15 Leone L. 23/04/2014

Teoria del Programma Microcredito a favore di donne povere

Teoria del programma di ‘Una mela al giorno

Leone L. 23/04/2014 16

!

Meccanismi causali

Catena attività

20/04/2015

9

Leone L. 23/04/2014 17

Modificato da CEVAS su base DFID Tab 3 Department International Development, Wp 38, 2012

Differen) pa<erns di causalità Tipi di casualità Esempi

Una causa associata con un outcome/esito

Programma di sostentamento per riduzione immediata del basso reddito

Una causa associata a esiJ mulJpli

Un programma di miglioramento delle infrastru0ure (TrasporJ e commercio) per l’accesso a servizi di base

MulJple cause associate a mulJpli esiJ

Un programma per la promozione di sJli di vita salutari a0raverso strategia mulJse0oriali

Cause mulJple associate a 1 esito principale

Migliorare la salute materno-‐infanJle tramite una combinazione di migliori servizi neonatali, educazione alla salute,…indirizzaJ a famiglie a basso reddito

Sviluppare quesiJ di valutazione di un programma sull’innovazione sulla base della TdP Box – Quesi) di valutazione sulla innovazione dell’health care •  Quali cara.erisGche delle innovazioni ne influenzano il tasso e il grado di

adozione? •  Qual’è la natura del processo di adozione di una innovazione e perché

alcune persone ado.ano le innovazioni più velocemente di altre? L’influenza sociale come promuove l’adozione di innovazioni?

•  Quali elemenG del contesto organizzaGvo interno influenzano l’adozione e assimilazione delle innovazioni nelle organizzazioni? Quali del contesto esterno ....?

•  Quali sono le cara.erisGche di strategie efficaci di implementazione delle innovazioni delle modalità d’erogazione dei servizi sanitari e cosa ne assicura la sostenibilità (fino a obsolescenza?

(Greenhalgh et al. 2004)

18 Leone L. 23/04/2014

20/04/2015

10

Leone L. 23/04/2014 19 Leroy JL, Ruel M and Verhofstadt 2009)

ACCORDO DI PARTENARIATO 2014-‐2020 ITALIA ALLEGATO I -‐ RISULTATI ATTESI – AZIONI (se.embre 2014)

Leone L. 23/04/2014 20

RA 9.1- Riduzione della povertà, dell’esclusione sociale e promozione dell’innovazione sociale RA 9.2- Incremento dell’occupabilità e della partecipazione al mercato del lavoro delle persone maggiormente vulnerabilità RA 9.3- Aumento/ consolidamento/ qualificazione dei servizi e delle infrastrutture di cura socio-educativi RA 9.4- Riduzione del numero di famiglie con particolari fragilità sociali ed economiche in condizioni di disagio abitativo RA 9.5- Riduzione della marginalità estrema e interventi di inclusione a favore SFD e delle popolazioni Rom, Sinti e Camminanti RA 9.6- Aumento della legalità nelle aree ad alta esclusione sociale … RA 9.7- Rafforzamento dell'economia sociale

AZIONI 9.1.1 Misura Sostegno Inclusione

Attiva Misura SIA 9.1.2 Servizi sociali innovativi di

sostegno a nuclei 9.1.3 Sostegno tramite strumenti di

ingegneria finanziaria (microcredito) 9.1.5 Alfabetizzazione e inclusione

digitale

20/04/2015

11

Teorie del Programma OT9 Inclusione sociale

Leone L. 23/04/2014 21

Strategie Assunzioni Meccanismi ipotizzati

Realizzazione di azioni di lotta alla povertà e all'esclusione che interessino l'insieme delle politiche

Le cause principali della povertà ed emarginazione di singoli e famiglie comprendono un accesso inadeguato ai servizi di base (es: sanità, alloggi e istruzione), l'esclusione dal mercato del lavoro e un lavoro di scarsa qualità. Per chi può lavorare, la via più sicura per uscire dalla povertà è ottenere un lavoro. Una forza lavoro più quali<icata riduce rischio esclusione sociale Sono necessari approcci trasversali a tutti gli ambiti di policy. È necessario migliorare il coordinamento delle politiche macroeconomiche e microeconomiche riconoscendo il ruolo fondamentale di una serie di politiche che non rientrano negli ambiti tradizionali dell'inclusione e della protezione sociale. La prevenzione è il modo più efEicace e sostenibile di combattere la povertà l’ES. L'intervento tempestivo può evitare che le persone che diventano indigenti restino prigioniere di situazioni socioeconomiche sempre più difEicili. Le persone più lontane dal mercato del lavoro necessitano anche di un sostegno sociale migliorato che continui dopo il conseguimento di un posto di lavoro, per evitare l'effetto "porta girevole" che fa rimbalzare dalla disoccupazione a lavori precari di scarsa qualità. L’Erogazione sufEiciente di servizi di assistenza di elevata qualità, efEicienti e a prezzi accessibili: -‐ Si favorisce l’inserimento lavorativo delle donne (v. servizi conciliazione) -‐ Si previene il distacco dal MKT del lavoro dei familiari

incrocio domanda/offerta lavoro strategie integrate a livello verticale e orizzontale tra settori Rompere spirale della ‘povertà trappola’ tra generazioni Prevenire meccanismo ‘porta girevole’ Incentivazione di domanda servizi di cura

Teoria del programma OT9 Inclusione Sociale Accordo partenariato

Leone L. 23/04/2014 22

Inclusione AWva – Contrasto povertà minorile (AP Ot 9)

OUTCOMES RA9.1 Riduzione dell’8% soggeW in povertà

o esclusione sociale

ASSUNTI La deprivazione materiale si

concentra in Italia su famiglie con oltre due minori. Quando associata

a ‘povertà’ educaJva’ produce il

trasferimento delle condizioni di

povertà ed esclusione sociale alle generazioni

successive

Iter procedure da Azione POR/PON a bando

Implementazione: misure trasferimento

economico ‘condizionate’

AWvazione soluzioni innovaJve economia

sociale

Vincoli di spesa e accesso a bandi inibiscono/favoriscono

reJ comunitarie? Finanziamento di soluzioni

standardizzate? (es: budget di capacitazione)

Reale aWvazione disposiJvi ‘integraJ’? Presenza piani dispersione scolasJca e IeFP? Quando funziona la

condizionalità?

20/04/2015

12

Leone L. 23/04/2014 23

Rete del Welfare d’Accesso

Servizi di cura per gli anziani e i minori (AP 2014, p.101)

OUTCOMES >PosJ lavoro

Riduzione disincenJvo finanziario x le donne a

lavorare >Qualità della vita

territori

ASSUNTI Vi è un calo dei

presidi sociosanitari in parJcolare nel Mezzogiorno e

nelle aree interne.

Iter procedure da Azione POR a

bando

implementazione

Rischio a0razione soluzioni x isJtuzionalizzazione

(>invesJmenJ e reddiJ garanJJ anni futuri?)

GaranJsce sostenibilità futura per Comuni /ambiJ?


Leone L. 23/04/2014 24

Incremento occupabilità e partecipazione a MKT lavoro

persone più vulnerabili

OUTCOMES (RA 9.2 p45) Ø  Inclusione sociolavoraJva ASSUNTI

Vi è un calo dei presidi

sociosanitari in parJcolare aree Mezzogiorno e aree interne.

Iter procedure da Azione POR a

bando

implementazione

Si supportano disposiJvi integraJ tra di diversi se0ori

a livello locale?

Uso ICF sostanziale con adozione modello teorico funzionamenJ umani? Aumentano opportunità

inclusione?


20/04/2015

13

Teoria del programma iniziale del Trasferimento Monetario Condizionale (TMC)

Leone L. 23/04/2014 25

TanJ possibili meccanismi: il caso del TMC

•  (M1) Disincen)vo consumi non meritori. I trasferimenJ per funzionare devono proteggere il consumo di beni ‘meritori’ prevenendo comportamenJ irresponsabili.

•  (M2) Desideri e ampliamento orizzonte temporale. Accrescere incenJvi a invesJre in capitale fisico e umano migliora l’allocazione delle risorse.

•  (M3) Aumento delle capacitazioni e dei gradi di libertà grazie al supporto all’alla fruizione di Fruizione di servizi sociali, sanitari ed educaJvi miraJ.

•  M4) Migliore capacità di cura grazie a educazione alla salute delle madri •  M5) Genitori incen)va) a rispe<are l’obbligo scolas)co –o iscrivere a

scuola figlio (per rido.o bisogno di reddito aggiunGvo del minore) •  M6) Incen)vo rispe<o performance scolas)che (per i genitori). •  M7) Miglior coordinamento interis)tuzionale in fase di presa in carico e

nell’offerta di servizi integraJ (Versante offerta) •  M8)…..

Leone L. 23/04/2014 26

20/04/2015

14

Sussidio vincolato a frequenza scolasJca regolare dei minori

Leone L. 23/04/2014 27

Contesto Meccanismi Outcome

AbitanJ a reddito medio-‐alto che intendono mandare entrambi i figli a scuola

non aWvato nessun effe0o del programma (Ferreira, Filmer, Shady 2009)

AbitanJ in condizioni di povertà che non avrebbero mandato i figli a scuola in presenza di trasferimento monetario sufficiente e presenza fratelli non avenJ diri0o al CC con (eg: Cambogia)

InvesGmento differenziato sull’istruzione dei figli (in funzione del reddito)

iscrizione del figlio avente diri0o e rido0a iscrizione dell’altro figlio desJnato a produrre reddito

AbitanJ con reddito medio basso che avrebbero mandato 1 solo figlio a scuola (eg: Colombia)

IncenJvo frequenza scolasJca minori

può esserci un effe0o di displacement –ricaduta posiJva-‐ sull’altro figlio non eleggibile.

28

Fase 1 à Fase 2 à Fase 3 à Fase 1 bis à

Fase 4

Si individuano trasgressori

Meccanismo “Se trasgredisci ti

becco”

Fermo da parte delle FFOO di soggetti che consumano o

sono in possesso di modiche quantità di sostanze illegali e

segnalazione a Prefettura

Invito a colloquio in Prefettura o presso sede

ASL-CP e/o invio a trattamento

Meccanismo “Sermone e Dissuasione”

I soggetti temendo

sanzioni amministrative accettano di sostenere il

colloquio prefettizio e temendo i controlli

mantengono durante il trattamento l’astinenza

Riconoscimento di comportamenti

problematici rispetto consumi sostanze

Meccanismo “vergogna e/o

timori per la salute”

emersione domanda

di aiuto; i soggetti utilizzano l’esperienza

per rimettere in discussione alcuni stili

e atteggiamenti.

Per coloro che non seguono procedura

Sanzioni amministrative

Meccanismo “Minaccia - sanzione e

dissuasione”

Effetto dissuasivo connesso a sanzione

ricevuta; i soggetti non reiterano

comportamenti sanzionati per evitare aggravamenti delle

sanzioni

Per coloro che aderiscono alle

procedure

Meccanismo “Consapevolezza

dei rischi e adozione

comportamenti più protettivi”

I soggetti si sentono intimoriti e/o sono più consapevoli dei rischi

evitano consumi sostanze illeciti.

Quelli con problemi di abuso avviano

percorsi trattamentali: i SERT agganciano

utenti non intercettati in precedenza

Programma Sperimentazione Prefe0ura Regione Lombardia:

la sequenza dei meccanismi ipoJzzaJ nel programma

Tratto da: Leone, 2004, Leone 2008

Leone L. 23/04/2014

20/04/2015

15

Teoria del programma di una misura sanzionatoria e quesiJ di valutazione

MISURA SANZIONATORIA

In Inghilterra e Galles dal 1/10/2015 entrerà in vigore una legge che

vieta il fumo in automobile quando vi sono minori a bordo. La multa prevista è di

£50.

Leone L. 23/04/2014 29

IL PROBLEMA Danni da fumo di seconda mano: •  80% del fumo è invisibili •  I bambini esposJ sono più a

rischio per la sindrome della morte in culla

•  Il fumo di seconda mano conJene più di 4,000 componenJ chimiche

•  Il fumo può rimanere in aria fino a 2.5 ore anche con un finestrino aperto

OUTCOME ATTESI

•  Riduzione danni alla salute dei

minori •  Pressione sociale avversa

a fumo.

Costruzione del ‘modello logico’ legislaJvo

1.Quanto è significaJvo il rischio? (Evidence base: Tossicologia)

2. Incontrerebbe il supporto della popolazione? (Evidence base: Indagini)

3. La misura sopravviverebbe alle aWvità di lobbying? (Evidence base: Scienze PoliGche)

4. E’ a0uabile? (Evidence base: Valutazione meccanismi applicaGvi)

Tratto da Ray Pawson 2010 30 Leone L. 23/04/2014

QUESITI

20/04/2015

16

31 Leone L. 23/04/2014

GRAZIE per

l’attenzione!

Le componen) della Teoria del programma: come codificarle e schema)zzarle

per lo sviluppo dei Piani di valutazione

Slide Leone Teoria del Programma 23-4-2015 - Valutazione ...

Documents

Transcript of Slide Leone Teoria del Programma 23-4-2015 - Valutazione ...