Come innalzare le competenze in matematica? Le valutazioni in corso su M@t.abel e PQM - PowerPoint PPT Presentation

Loading...

PPT – Come innalzare le competenze in matematica? Le valutazioni in corso su M@t.abel e PQM PowerPoint presentation | free to download - id: 785269-Y2ZhO



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

Come innalzare le competenze in matematica? Le valutazioni in corso su M@t.abel e PQM

Description:

... completamento del percorso PON M_at_t.abel 2009/2010 con diario di bordo ed eventuale questionario finale di customer satisfaction (rivolto a docenti e a ... – PowerPoint PPT presentation

Number of Views:6
Avg rating:3.0/5.0
Slides: 44
Provided by: uten1328
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: Come innalzare le competenze in matematica? Le valutazioni in corso su M@t.abel e PQM


1
Come innalzare le competenze in matematica? Le
valutazioni in corso su M_at_t.abel e PQM Daniele
Vidoni INVALSI
2
  • Il problema su cui intervenire competenze degli
    studenti in matematica
  • Alcuni tra gli interventi promossi le
    caratteristiche di PQM e di M_at_t.abel
  • Approfondimento sul disegno di valutazione di
    M_at_t.abel e alcuni primi dati
  • Riflessioni sulle opportunità e sulle difficoltà
    che si incontrano nelle attività di valutazione

La struttura della presentazione
3
I dati più recenti segnalano che sono troppo
pochi gli studenti ricchi di competenze in
matematica
Il problema su cui intervenire
Percentuale degli studenti di 15 anni con
competenze in matematica tali da risolvere
problemi complessi (superiore al terzo livello)
Fonte OCSE-PISA 2006
4
e troppi quelli poveri di competenze
Il problema su cui intervenire
Percentuale degli studenti di 15 anni con scarse
competenze in matematica (inferiori al primo
livello) Fonte OCSE-PISA 2006
5
Caratteristiche degli interventi promossi a
livello nazionale (e rafforzati in Calabria,
Campania, Puglia e Sicilia)
  • Piano Nazionale Qualità e Merito (PQM)
  • coaching e tutoring on the job per i docenti
  • assistenza per lutilizzo di strumenti di
    valutazione e dei risultati delle rilevazioni
    Invalsi allinterno delle scuole
  • attività di potenziamento rivolte agli studenti
    sulle carenze individuate tramite ore
    extra-curricolari
  • coinvolge studenti delle classi prime

Interventi promossi nelle scuole secondarie di I
grado
  • Percorso di formazione con didattica innovativa
    M_at_t.abel
  • formazione dei docenti blended con incontri in
    presenza e piattaforma virtuale on-line
  • la sperimentazione in classe di quattro unità
    didattiche basate su esempi concreti e
    coinvolgimento della classe
  • riflessione individuale e collettiva delle
    esperienze in classe attraverso la stesura di un
    diario di bordo e il confronto con la classe
    virtuale
  • coinvolge prime, seconde e terze classi

6
Innovazione emblematica PQM cruscotto di
diagnosi valutativa della propria classe
Una innovazione emblematica in ciascun intervento

studenti che rispondono correttamente
http//pqm.indire.it
7
Innovazione emblematica M_at_t.abel unità
didattiche da sperimentare in classe
  • Le attività proposte sono divise in quattro
    nuclei tematici numeri, geometria, relazioni e
    funzioni, dati e previsioni. Gli elementi che
    compongono ciascuna attività didattica sono
  • una parte introduttiva rivolta al docente, con
    indicazioni metodologiche e prove di valutazione
  • una sorta di sceneggiatura che dettaglia le
    attività da sviluppare in classe e i relativi
    documenti di supporto scaricabili (anche VIDEO)
  • indicazioni metodologiche e spunti di
    approfondimento disciplinare
  • suggerimenti su attività addizionali associate
    allattività didattica da sviluppare con gli
    studenti
  • per molte attività ma non per tutte, elementi di
    prova di verifica per valutare leffettiva
    comprensione dei contenuti dellattività da parte
    degli studenti
  • una biblio/sitografia
  • indicazioni sui punti di attenzione da
    considerare nellottica della sperimentazione e
    quindi del confronto con il tutor e con la classe
    su come funziona la proposta di attività.
  • Cfr. info e video http//www.indire.it/ponmatemat
    icacorso1/

Una innovazione emblematica in ciascun intervento

8
Quante scuole, insegnanti e classi sono coinvolte?
Nel 2009-2010 PQM coinvolge 320 scuole, 700
docenti e le loro classi prime M_at_t.abel
coinvolge 175 scuole, oltre 600 insegnanti e
almeno una delle loro classi (ma alcuni faranno
la formazione nel 2010-2011)
Per maggiori informazioni http//pqm.indire.it ht
tp//www.invalsi.it/invalsi/ri/matabel
9
Che disegno valutativo per quale tipo di
inferenza?
IDENTIFYING AND IMPLEMENTING EDUCATIONAL
PRACTICES SUPPORTED BY RIGOROUS EVIDENCE A USER
FRIENDLY GUIDE U.S. Department of Education
10
Due approcci di valutazione diversi, entrambi
basati sullutilizzo di rilevazioni INVALSI sugli
studenti (non solo)
Piano Nazionale Qualità e Merito
(PQM) Promozione dellutilizzo di informazioni
standardizzate a fini diagnostici
Gli approcci di valutzione dei due interventi
Percorso di formazione con didattica innovativa
M_at_t.abel Efficacia dei corsi di formazione
11
Due approcci di valutazione diversi, entrambi
basati sullutilizzo di rilevazioni INVALSI sugli
studenti (non solo)
  • Piano Nazionale Qualità e Merito (PQM)
  • Ex-ante
  • rilevazioni con test INVALSI pre- e post- su
    tutti gli studenti
  • prove SNV in matematica della V elementare e
    questionari di background degli studenti a
    ottobre 2009
  • prove SNV in matematica della I media e
    questionari di background degli studenti a maggio
    2010
  • Non tanto valutazione degli effetti, ma diagnosi
    inizio anno sulle debolezze degli studenti per
    tarare gli interventi
  • Ex post
  • Quasi-experiment efficacia relativa di diverse
    tipologie di trattamento

Gli approcci di valutzione dei due interventi
12
Due approcci di valutazione diversi, entrambi
basati sullutilizzo di rilevazioni INVALSI sugli
studenti (non solo)
  • Percorso di formazione con didattica innovativa
    M_at_t.abel
  • esperimento randomizzato controllato
    scuole/docenti che partecipano alla formazione
    nel 2009/2010 (trattati) e scuole/docenti che
    partecipano nel 2010/2011 (controlli)
  • prove SNV in matematica della I media e prove
    simil-SNV per la II e III media e questionari di
    background degli studenti a maggio 2010
  • rilevazione pre-/post- sugli atteggiamenti
    didattici degli insegnanti
  • analisi dei diari di bordo degli insegnanti

Gli approcci di valutzione dei due interventi
13
Complesso coordinamento tra le istituzioni e gli
attori coinvolti
Istituzioni e attori coinvolti
Sinergie a livello di sistema
14
Complesso coordinamento tra le istituzioni e gli
attori coinvolti
Istituzioni e attori coinvolti
Scuole, dirigenti, tutor, docenti, alunni e
referenti del progetto e/o della valutazione
15
PQM IL DATO QUANTITATIVO COME PUNTO DI PARTENZA
PER UNA RIFLESSIONE AL PROPRIO INTERNO
16
I RISULTATI
Da estrazione dati ANSAS del 3-3-10
17
(No Transcript)
18
Guida INVALSI Bolondi, Orlandoni
19
Approfondimento gruppo PQM Piemonte, Militerno et
al.
20
Approfondimento gruppo PQM Piemonte, Militerno et
al.
21
  • Attività in presenza di socializzazione e
    diffusione dei risultati
  • Partecipazione ai seminari regionali ed ai
    momenti formativi organizzati da ANSAS per gli
    insegnanti nelle regioni PON per illustrare la
    lettura delle prove INVALSI
  • Abstract presentato alla conferenza
    internazionale CCEAM 2010 (Sidney, 29 settembre
    1 ottobre 2010) su Data to inform action the
    relative effectiveness of supplementary teaching
    strategies in Mathematics in the PQM project in
    Italy

22
Lo studio randomizzato per misurare gli effetti
di M_at_t.abel
  • Le scuole coinvolte sono state divise mediante
    sorteggio in due gruppi , con dilazione del
    trattamento
  • scuole che partecipano da subito (A.S. 2009/10)
    trattati
  • scuole che partecipano a partire dallanno
    prossimo (A.S. 2010/11) controlli
  • Lestrazione mediante sorteggio è necessaria per
    creare
  • due gruppi di scuole e insegnanti statisticamente
    equivalenti
  • non essendovi differenze di partenza tra i due
    gruppi, leventuale differenza negli
    apprendimenti osservata dopo un anno può essere
    plausibilmente attribuita alla sperimentazione di
    M_at_t.abel
  • analogamente per le eventuali differenze tra
    gruppi di docenti nelle loro risposte a domande
    sullatteggiamento in classe e la didattica

La metodologia adottata
23
Come si confrontano i due gruppi per stimare gli
effetti di M_at_t.abel?
La metodologia adottata
stima degli effetti di un anno di coinvolgimento
in M_at_tabel
Confronto tra
punteggi medi nei test degli studenti delle
scuole sorteggiate per implementare M_at_t.abel il
primo anno
punteggi medi ottenuti dagli studenti delle
scuole sorteggiate per implementare M_at_t.abel
lanno successivo
e
24
I confronti per ottenere la stima delleffetto di
due anni e di coorte
Assunto poter utilizzare una coorte precedente
come sostituto del gruppo di controllo
mancante. Leventuale effetto coorte può
essere corretto osservando il seguente
La metodologia adottata
. Può essere eventualmente esteso al terzo anno
25
Linsieme di docenti osservabili
La costruzione del campione M_at_t.abel
26
Il campione delle 175 scuole
  • Stratificato in base a
  • criteri geografici e di dimensione territoriale
    (per provincia e, in presenza di grandi centri,
    per città, ovvero per le città di Napoli e
    Palermo che sono state isolate dalla loro
    provincia tramite il CAP)
  • dimensione della scuola di provenienza (ossia in
    base a due gruppi scuole con meno di 5
    insegnanti iscritti a Mat_at_bel e scuole con 5 o
    più iscritti)
  • Estratte causalmente le 55 scuole per il gruppo
    di controllo (i cui 193 docenti parteciperanno
    nel 2010/2011 a Matabel)
  • Gruppo di trattati e di controllo sono risultati
    equivalenti per sesso e anno medio di nascita, ma
    non per numerosità degli iscritti della scuola di
    appartenenza .

La costruzione del campione M_at_t.abel
27
Linsieme delle classi osservate
Tramite diverse comunicazioni i docenti sono
stati informati della classe estratta casualmente
quella che verrà seguita per la valutazione.
Ai docenti trattati si è raccomandato di
sperimentare le unità didattiche in quella classe
  • Monitoriamo i non compliers o diverse
    intensità del trattamento tramite diversi
    strumenti (tutor, diario di bordo, questionario
    pre- e post- insegnanti)

La costruzione del campione M_at_t.abel
28
Le principali minacce alla solidità
dellesperimento
Nel caso in cui si riescono a seguire negli anni
100 scuole 50 trattate e 50 controlli, si
riuscirebbe a cogliere un effetto di circa 0,2
(in termini di punteggio studenti). Siamo molto
al limite in termini di dimensioni campionarie e
leffetto di 0,2 è comunque piuttosto elevato
!!! Altre raccolte di dati sugli studenti (come i
voti al primo quadrimestre e panel) ci aiutano a
migliorare la precisione delle stime anche per
affrontare
  • Eventuale mancata partecipazione ai corsi di un
    gran numero di insegnanti
  • Eventuale abbandono dei corsi da parte di un gran
    numero di insegnanti
  • Mancata applicazione dei principi della
    formazione (ad esempio la sperimentazione in
    classe) da parte degli insegnanti nella classe
    indicata come parte del campione o applicazione
    solo parziale
  • Rifiuto di partecipare alle rilevazioni dei dati
    (questionari, prove invalsi, etc.)
  • Trasferimenti degli insegnanti tra scuole tra un
    anno scolastico (caduta del legame tra insegnante
    e studenti).
  • a parte 85 insegnanti trasferiti o
    pensionati tra luglio e settembre 2009, le
    reazioni sembrano piuttosto positive (ma il vero
    banco di prova sono le rilevazioni in corso nelle
    scuole)

La metodologia adottata
29
Le reazioni di tutor, insegnanti e scuole finora
  • Iniziale confusione sulle scelta randomizzata
    della classe in cui sperimentare le unità
    didattiche e concentrare le rilevazioni ma
    pochi casi di rifiuto
  • Iniziale confusione sulla necessità delle
    rilevazioni nel gruppo dei controlli e ancora
    di più nel gruppo dei trattati che hanno
    abbandonato il percorso formativo ma finora
    casi molto isolati di ostruzionismo alla
    valutazione
  • Grande adesione alla rilevazione pre- rivolta
    agli insegnanti dei 666 insegnanti analizzati,
    582 che insegnavano effettivamente ancora in una
    delle 175 scuole oggetto della valutazione
    (ovvero non erano stati trasferiti altrove
    allinizio del nuovo anno scolastico), sono stati
    intervistati telefonicamente tra gennaio e
    febbraio 2010 circa il 95 degli interpellati ha
    risposto al questionario (lungo, di circa 30-40
    minuti)

Le reazioni finora
30
Chi sono gli insegnanti che partecipano a
M_at_t.abel?
- prevalgono nettamente le donne, che
costituiscono l84 del campione - letà media è
di circa 52 anni, con una variabilità elevata (il
più giovane ha 23 anni e il più anziano ne ha
67) - la disciplina di laurea più frequente è la
biologia (63,3) seguita da matematica (14,2) e
infine dalle scienze naturali (9,9) -
insegnano in media da 25 anni e insegnano in
particolare la matematica nella scuola secondaria
di primo grado da 23 anni - dichiarano
generalmente di aver scelto di insegnare la
matematica (quasi tre intervistati su quattro
esprimono un voto tra 8 e 10 alla domande se
hanno fortemente voluto insegnare la matematica
nella scuola secondaria di primo grado) e questo
vale in particolare se laureati in matematica
Chi sono gli insegnanti che parteicpano a M_at_t.abel
Fonte CATI M_at_t.abel Gennaio 2010
31
La didattica in classe
utilizzare regolarmente metodi tradizionali di
insegnamento (come la spiegazione frontale e la
correzione degli esercizi), ma meno la didattica
basata sullinterazione stretta tra insegnanti e
studenti e meno ancora quella che vede
protagonisti gli studenti in lavori di gruppo
(vedi fig. 1). M_at_tabel opera proprio in questa
direzione e dovrebbe quindi mutare il modo di
lavorare in classe degli insegnanti sottoposti
alla formazione
Didattica in classe di matematica
Fonte CATI M_at_t.abel Gennaio 2010
32
Atteggiamenti sulle capacità di insegnare la
matematica
Da 1 a 10, quanto è daccordo con le affermazioni
su matematica e studenti che seguono?
Atteggaimenti sulle capacità di insegnare la
matematica
Fonte CATI M_at_t.abel Gennaio 2010
33
  • Attività in presenza di socializzazione e
    diffusione dei risultati
  • Seminari di formazione Osservatori Esperti nelle
    regioni PON (7-11 maggio 2010
  • Paper accepted for oral presentation conferenza
    internazionale SIGEE 2010 (Leuven, 25-28 agosto
    2010) su The design of the random assignment
    evaluation of a math teacher
  • professional development program in Italy

34
Le difficoltà
Ampio lavoro di coordinamento e comunicazione
mettere in conto molte lettere, mail e telefonate
(recall, recall, recall) Le molte rilevazioni
dirette nelle scuole implicano molte risorse
umane e molta logistica
Interpretazione e utilizzabilità dei
risultati Per quanto riguarda lesperimento
controllato, un effetto positivo inferiore alla
soglia di riferimento o statisticamente non
significativo non vorrebbe dire che lintervento
non funziona.(La soglia standard per questo tipo
di esperimenti è 0,20 Si tratta comunque di un
effetto grosso dal punto di vista dei processi
scolastici M_at_tabel può davvero arrivare a questa
soglia? )
35
Le opportunità
In entrambi i casi (PQM e M_at_t.abel) siamo nella
situazione ideale, in cui la valutazione viene
pensata ex ante e si può fare leva su una
infrastruttura di rilevazione confrontabile e
omogenea a livello nazionale (le prove
SNV) . Razionalizzazione dellintervento Dover
costruire la valutazione ex-ante non ha solo
influito sulla possibilità di avere dati ma si è
tradotto in una razionalizzazione della logica
dellintervento, dei suoi obiettivi e della sua
intensità, nonché una maggiore condivisione con
la comunità scolastica Maggiore accessibilità ,
comprensione e capacità di utilizzo della ampia
disponibilità di dati esistenti (Invalsi,
piattaforme monitoraggio gestionale e
altro) Utilizzare i dati esistenti contribuisce a
renderli sempre più noti e comprensibili, dunque
utilizzabili, anche per altri soggetti (nonché
allinterno delle scuole) Sollevare il dubbio e
cercare di chiarirlo quali interventi funzionano
e perché? Il coinvolgimento delle amministrazioni
e delle scuole nelle valutazione crea
interrogativi, pone il dubbio, promuove una
maggiore attenzione per la scelta degli
interventi ..
36
EVENTUALI SLIDES AGGIUNTIVE DA RIPESCARE
37
Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness?
Quality of studies needed to establish "strong" evidence Quantity of evidence needed Quantity of evidence needed "Strong" 
Quality of studies needed to establish "strong" evidence Quantity of evidence needed Quantity of evidence needed Evidence
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by 
"possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness?
Types of studies that can comprise "possible" evidence Types of studies that can comprise "possible" evidence Types of studies that can comprise "possible" evidence Types of studies that do not comprise "possible" evidence Types of studies that do not comprise "possible" evidence Types of studies that do not comprise "possible" evidence
           
Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence and/or Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence and/or Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence and/or Pre-post studies Pre-post studies Pre-post studies
Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched  Comparison-group studies in which the intervention and comparison groups are not closely matched  Comparison-group studies in which the intervention and comparison groups are not closely matched 
      "Meta-analyses" that include the results of such lower-quality studies "Meta-analyses" that include the results of such lower-quality studies "Meta-analyses" that include the results of such lower-quality studies
Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.
38
Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness?
Quality of studies needed to establish "strong" evidence Quantity of evidence needed Quantity of evidence needed "Strong" 
Quality of studies needed to establish "strong" evidence Quantity of evidence needed Quantity of evidence needed Evidence
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.  
Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by  Step 2. If the intervention is not backed by "strong" evidence, is it backed by 
"possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness? "possible" evidence of effectiveness?
Types of studies that can comprise "possible" evidence Types of studies that can comprise "possible" evidence Types of studies that can comprise "possible" evidence Types of studies that do not comprise "possible" evidence Types of studies that do not comprise "possible" evidence Types of studies that do not comprise "possible" evidence
           
Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence and/or Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence and/or Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence and/or Pre-post studies Pre-post studies Pre-post studies
Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched  Comparison-group studies in which the intervention and comparison groups are not closely matched  Comparison-group studies in which the intervention and comparison groups are not closely matched 
      "Meta-analyses" that include the results of such lower-quality studies "Meta-analyses" that include the results of such lower-quality studies "Meta-analyses" that include the results of such lower-quality studies
Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.
39
La raccolta di informazioni aggiuntive
Raccolta di informazioni su contesto, scuola,
insegnanti e studenti con tre obiettivi
1. testare la fortuna avuta con la
randomizzazione 2. aumentare la precisione
delle stime 3. Ipotizzare e testare
(parzialmente) meccanismi esplicativi degli
effetti.
Il disegno della valutazione
40
Le rilevazioni in corso e previste
Gennaio 2010 pre- e Novembre 2010 post-
rilevazione sui docenti PON M_at_t.abel
(questionario CATI prima dellavvio delle
sperimentazioni in classe, ripetuto lanno
successivolt9   Maggio 2010 rilevazioni sugli
studenti tramite prove del SNV / INVALSI (prima,
seconda e terza media) Giugno 2010 Ottobre
2010 completamento del percorso PON M_at_t.abel
2009/2010 con diario di bordo ed eventuale
questionario finale di customer satisfaction
(rivolto a docenti e a tutor) interviste ad
alcuni tutor e insegnanti, con analisi dei diari
di bordo
41
La randomizzazione la potenza del disegno
Il moltiplicatore è pari a 2,5 per i parametri
standard nei disegni sperimentali multilivello
(livello di confidenza al 95 per potenza
80). Indagheremo 100 scuole (K) 50 trattate e
50 controlli (P). In ogni scuola, analizzeremo
6 classi (J) di 19 studenti (stima prudenziale -
N) Proporzione della varianza dellabilità
scuole0,090 classi0,125 studenti0,785. (fonte
Prova nazionale INVALSI 2008 sugli studenti di
terza media) Cè inoltre una possibile
correzione (non presentata nella formula
semplificata) ottenibile grazie alla spiegazione
che riusciamo a dare delle differenze negli
esiti tra le scuole mediante gli altri
predittori raccolti (R2) -gt stima pessimistica
(10) porta a MDES 0,189 -gt stima ottimistica
(40) porta a MDES 0,166 La soglia standard per
questo tipo di esperimenti è 0,20. Si tratta
comunque di un effetto grosso dal punto di vista
dei processi scolastici M_at_tabel può davvero
arrivare a questa soglia? Un effetto positivo e
non significativo non vorrebbe dire che non
funziona.
Il disegno di valutazione
42
Laccesso alla rete nei diversi contesti
Formazione blended e accesso alle ICT
Fonte CATI M_at_t.abel Gennaio 2010
43
La frequenza duso complessiva del PC
Formazione blended e accesso alle ICT
Fonte CATI M_at_t.abel Gennaio 2010
About PowerShow.com