La sperimentazione Sivadis: il valore aggiunto del monitoraggio

1
La sperimentazione Sivadis il valore aggiunto
del monitoraggio
Seminario di Formazione SIVADIS 3 28 Novembre-02
Dicembre 2005
Genny Terrinoni
2
La sperimentazione Sivadis il valore aggiunto
del monitoraggio

• Soggetti coinvolti
• Aspetti consolidati nelle opinioni
• Aspetti critici
• Lavoro di analisi

Classificazione Avvio analisi multivariata
3
Aspetti consolidati nelle opinioni e negli
atteggiamenti

• Limportanza della partecipazione al progetto
  viene motivata con
• la voglia di confrontarsi e di mettersi alla
  prova
• occasione per migliorare le proprie capacità
  professionali
• come unoccasione di formazione e aggiornamento
• Anche le motivazioni meno frequenti indicano un
  atteggiamento decisamente costruttivo nel merito
  e nelle finalità del progetto, evidenziando
  altresì la percezione di un ruolo formativo
  delloperazione

4
Aspetti consolidati nelle opinioni e negli
atteggiamenti

• Procedura di confronto-condivisione tra
  valutatore e/o team e dirigente scolastico
• Giudizio ampiamente positivo, caratterizzato
  come utile e costruttivo congruentemente con
  latteggiamento nei confronti della propria
  partecipazione alla sperimentazione
• Interazione come una dimensione complessa ma
  dinamica da governare attraverso un
  coinvolgimento costruttivo

5
Aspetti consolidati nelle opinioni e negli
atteggiamenti

• Il fascicolo individuale riscuote apprezzamenti
  più positivi rispetto allo scorso anno sia nella
  struttura complessiva che nelle singole sezioni
• soddisfazione per laccoglimento delle
  indicazioni e suggerimenti dei soggetti che hanno
  messo su campo il modello
• Utilità delle informazioni ricevute sul progetto
• informazioni e strategie sono ritenute
  significativamente più utili rispetto a quanto
  espresso nello scorso anno

6
Aspetti consolidati nelle opinioni e negli
atteggiamenti

• Team di Valutazione e Componente DS nel Team
• la costituzione di team riscuote un largo
  consenso da parte dei DS
• più critica e articolata la posizione dei
  valutatori (problemi di risorse, tempi,
  organizzazione, selezione)
• presenza componente DS nel ruolo di valutatore
  riscuote un ampio consenso dai DS
• più debole il consenso e più critico il
  giudizio dei valutatori
• Obiettivi pluriennali
• la stragrande maggioranza dei soggetti coinvolti
  considera più adeguata una valutazione su
  obiettivi pluriennali motivandola con il
  rapporto complessità obiettivi- tempi più
  distesi per una loro attuazione e adeguata
  valutazione

Dati questionari e focus group
7
Aspetti problematici nelle opinioni e negli
atteggiamenti

• Informazioni e strategie informative
• scarsa tempestività
• scarsa o quasi nulla estensione delle
  informazioni sul progetto che, secondo il
  giudizio di molti DS generano
• rinforzo delle percezioni di diffidenza ed
  esclusione
• alimentano atteggiamenti pregiudizialmente
  negativi nei confronti del sistema valutativo
• frenano altresì consapevoli aperture alla
  partecipazione
• Tempi di attuazione
• inadeguati alla complessità del lavoro (avvio
  tardivo)
• non corrispondenza con linizio delle attività
  dellanno scolastico

Dati questionari e focus group
8
Aspetti problematici nelle opinioni e negli
atteggiamenti

• Adeguatezza dello strumento (giudizio valutatori)
  
• Lo strumento in sé va bene ma

Elaborazione di strumentazione di
accompagnamento/ supporto alla strumentazione
predisposta che guidi le fasi procedurali della
valutazione (raccolta di informazioni,
osservazione)
Viene rilevata la presenza di gradi di eccessiva
arbitrarietà
Esigenza di pervenire ad una valutazione valida e
attendibile

Dati questionari e focus group
9
Aspetti problematici nelle opinioni e negli
atteggiamenti
Adeguatezza dello strumento (giudizio dirigenti
scolastici) Lo strumento in sé va bene ma
Visite più frequenti e più sistematiche del
valutatore nella scuola per favorire una lettura
ed una comprensione di ciò che accade realmente
nella scuola
Perplessità sulla capacità del solo strumento di
consentire una rappresentazione sostanziale della
complessità del proprio lavoro
Esigenza di pervenire ad una valutazione valida e
attendibile

Rischio di produzioni cartacee formali
Dati questionari e focus group
10
Aspetti problematici nelle opinioni e negli
atteggiamenti
Formulazione obiettivi e indicatori
Percentualmente identiche le indicazioni sulle
richieste di supporto fatte al valutatore
formulazione ob ma soprattutto ind
Percentualmente basse le difficoltà segnalate
nella formulazione di ob e ind
Stabili le esigenze formative di natura
metodologica, confermate dallanalisi dei
fascicoli
Cresciuta la percentuale di ds che dichiarano
modifiche degli ind nel corso del colloquio
Dati questionari e focus group
11
Esiti dellanalisi dei Fascicoli individuali di
Valutazione

• Lanalisi formale e di contenuto, attuata sulla
  base di criteri scientifici, dei materiali
  valutativi contenuti nei 176 fascicoli
  individuali (contesto, obiettivi, azioni e
  indicatori) offre
• una descrizione esaustiva e affidabile
• riduce lestrema variabilità ed eterogeneità dei
  materiali ad un numero limitato di tipologie
• salvaguarda la pluralità, la ricchezza e la
  rappresentatività delle effettive pratiche
  valutative

12
Elementi di progresso nella formulazione degli
obiettivi

• I risultati dellanalisi evidenziano un processo
  in corso di lenta ma progressiva condivisione
  semantica e concettuale
• consistente riduzione di obiettivi generici e/o
  pluriconcettuali
• minore ambiguità semantica
• riduzione del numero di categorie di contenuto
  entro le quali sono codificabili
• lettura più immediata e riduzione di operazioni
  interpretative
• Tale processo sembra essere stato positivamente
  influenzato da due fattori
• la riduzione e la ridefinizione interna delle
  aree valutative (da cinque a quattro) operata nel
  secondo anno di sperimentazione
• lampio uso (anche se non sempre rispettoso delle
  indicazioni metodologiche ad esso connesse e
  della chiara indicazione sulla sua natura
  empirico-descrittiva e non normativa) del
  repertorio elaborato dallINVALSI a conclusione
  del primo anno di sperimentazione

13
Elementi di progresso nella formulazione degli
obiettivi

• Tutti questi aspetti, insieme alladeguamento
  della strumentazione, sono particolarmente
  interessanti in quanto costituiscono le basi
  fondamentali per
• descrivere correttamente loggetto della
  valutazione
• predisporlo alla lettura e dunque alla sua
  valutazione
• creare condizioni affidabili per il governo
  della intersoggettività
• elaborare un lessico comune per rendere
  comparabili i dati valutativi

14
Elementi di progresso nella formulazione di
obiettivi e indicatori

• Difficoltà permanenti nella formulazione degli
  obiettivi
• un numero abbastanza consistente di obiettivi che
  non corrisponde ancora a criteri basilari di
  corretta formulazione
• obiettivi semanticamente ambigui e/o
  incomprensibili
• Elementi di progresso nella formulazione degli
  indicatori
• una formulazione che consente il riconoscimento
  più immediato del contenuto/oggetto di
  misurazione e della tipologia di misura, dunque,
  una loro più facile classificazione
• una formulazione che consentirebbe, se
  ulteriormente affinata in termini di criteri,
  strumenti e procedure, lidentificazione più
  immediata e più precisa dei criteri di
  misurazione e/o di verifica intersoggettiva in
  essi contenuti

15
Elementi di progresso nella formulazione di
obiettivi e indicatori

• Difficoltà permanenti nella formulazione degli
  indicatori
• un numero abbastanza consistente di indicatori
  non consente di comprendere loggetto/i che in
  concreto vorrebbero misurare e le modalità
  connesse alloperazione di misura

16
Indicatori Semplici
Totale Indicatori 4693 su 176 Fascicoli
Individuali
Categoria Frequenza sul totale delle codifiche
Quantità Partecipanti fra il Personale Scolastico 229 11,4
Quantità di Risorse Finanziarie 225 11,2
Quantità di Incarichi Assegnati al Personale 153 7,6
Quantità di Riunioni / Incontri tra il Personale Scolastico 144 7,2
Quantità di Progetti 140 7
Quantità di Convenzioni 126 6,3
Quantità di Strutture Predisposte e Attivate 119 5,9
Presenza e Corrispondenza nel POF 110 5,5
Quantità Partecipanti tra gli Alunni 95 4,7
Quantità di Corsi di Formazione 49 2,4
Elaborazione Portfolio 30 1,5
Quantità di Alunni Promossi, Inscritti, con Insufficienze, Debiti, etc... 25 1,3
Rispetto dei Tempi 16 0,8
Utilizzo ore per Attività Scolastiche, Extra-Scolastiche, aggiuntive 12 0,6
17
Indicatori Complessi
Totale Indicatori 4693 su 176 Fascicoli
Individuali
Categoria Frequenza sul totale delle codifiche
Livello di Soddisfazione (Senza Soggetti Specificati) 75 3,7
Livello di Condivisione del Personale Scolastico 65 3,2
Verifica, Rilevazione degli Apprendimenti degli Alunni 58 2,9
Livello di Efficacia 47 2,3
Grado Positività Immagine della Scuola 46 2,3
Grado Positività Clima nella Scuola 44 2,2
Livello di Soddisfazione del Personale Scolastico 40 2
Livello di Responsabilità del Personale Scolastico 33 1,6
Livello di Soddisfazione degli Alunni 24 1,2
Livello di Soddisfazione delle Famiglie 24 1,2
Livello di Soddisfazione degli Utenti 24 1,2
Livello di Motivazione degli Alunni 24 1,2
Livello di Motivazione senza Soggetti Specificati 17 0,8
Livello di Collegialità tra il Personale Scolastico 12 0,6
18
Elementi di interesse nella descrizione del
contesto

• La focalizzazione più precisa 1 dei punti di
  forza e di debolezza del contesto risulta
  particolarmente interessante in quanto
• mette in evidenza dati di lettura individuale
  del contesto che, al di là degli strumenti e dei
  metodi attraverso i quali tale lettura viene
  attuata, esprime le priorità che il dirigente
  scolastico, in prima persona, individua e pone
  come base delle sue scelte operative
• lanalisi di questi dati risulta altresì
  interessante per un reperimento (tanto a livello
  autovalutativo che valutativo) di legami di
  congruenza, significatività e pertinenza tra
  contesto scolastico, obiettivi e azioni
  individuali che il dirigente scolastico intende
  elaborare e perseguire
• 1 Grazie al radicale cambiamento della sezione
  del fascicolo dedicata alla rilevazione dei dati
  di contesto

19
Elementi di interesse nellanalisi delle azioni

• Sul piano specificamente formale le azioni
  dichiarate presentano spesso
• una formulazione che, di fatto, è la
  ripetizione pedissequa dellobiettivo/i
  correlato/i
• una scarsa definizione in termini di operazioni
  e comportamenti osservabili
• lassociazione di identiche azioni (la
  differenza risiede solo in una diversa
  formulazione linguistica) ad obiettivi diversi
  dichiarati nelle quattro aree valutative in
  particolare, le azioni dellarea 1 e dellarea 2
  sono praticamente sovrapponibili

20
Classificazione dei materiali dellanalisi

• La classificazione di tutti i materiali offre una
  descrizione esaustiva e affidabile che
• riduce lestrema variabilità ed eterogeneità dei
  materiali ad un numero limitato di tipologie
• salvaguarda comunque la pluralità, la ricchezza
  e la rappresentatività delle effettive pratiche
  valutative
• un repertorio descrittivo delle aree di attività
  e delle azioni professionali del DS
• una lettura interpretativa, su base semantica,
  delle azioni dichiarate ed un loro raggruppamento
• una sintesi delle azioni più frequenti
  raggruppate attorno a categorie/funzioni che
  delineano un profilo empirico del dirigente
  scolastico

21
Sviluppi possibili

• La lettura degli esiti suggerisce di procedere
  ad una loro analisi che permetta laccesso ad
  aree semantiche più significative.
• Ciò è possibile attraverso lapproccio
  dellanalisi relazionale che consente di
  lavorare ancora sui dati classificati per
• esplorarne, più in profondità, aree semantiche
  più significative
• rilevare lorganizzazione dei dati in una rete
  di connessioni reciproche
• sistematizzare i dati nellottica di restituire
  il messaggio nei suoi aspetti o caratteri
  fondamentali

22
Lettura interpretativa delle azioni

• Obiettivo dellanalisi delle azioni
• reperire un significato unitario di capire se le
  eterogenee descrizioni delle azioni, potessero
  essere ricondotte allinterno di alcune tipologie
  capaci di rappresentare i caratteri e le funzioni
  emergenti delloperato dei dirigenti scolastici
• definire in qualche modo una sorta di suo
  profilo di ruolo empirico
• non si è tenuto conto degli specifici obiettivi
  cui sono associate né dunque del legame di
  pertinenza congruenza con essi perché, dalla
  lettura comparata dei singoli fascicoli, risulta
  abbastanza evidente che le azioni costituiscono
  la vera peculiarità individuale del dirigente
  scolastico in quanto esse non risultano mai
  meccanicamente associabili a specifici obiettivi
  1 bensì ad una pluralità di essi, anche
  appartenenti ad aree valutative differenti
• Il legame chiaramente riscontrabile è tra azioni
  e contesto ma spesso dipendono più strettamente
  da variabili del contesto specifico
  (dallurgenza, dai costi, dalle risorse
  disponibili, ecc)
• 1 Nei fascicoli analizzati è molto più
  frequente lassociazione tra azioni diverse ad un
  identico obiettivo che non stesse azioni ad uno
  stesso obiettivo

23
I verbi e le aree di contenuto nellanalisi delle
Azioni
Verbi
Favorire (100)
Promuovere (69)
Coinvolgere (53)
Individuare (45)
Creare (43)
Attivare (35)
Gestire (31)
Organizzare (31)
Utilizzare (31)
Sviluppare (29)
Predisporre (27)
Motivare (25)
Migliorare (24)
Monitorare (22)
Area di contenuto dellazione
Ricerca conoscitiva (100)
Delega incarichi (65)
Formazione del personale (60)
Rapporti con enti territoriali (35)
Organizzazione dei tempi (30)
Costituzione gruppi di lavoro (27)
Individuazione/utilizzo risorse finanziarie (26)
Individuazione/valorizzazione competenze(25)
Definizione protocolli dintesa (22)
Elaborazione di contenuti nel P.O.F. (21)
Predisposizione di strumenti informatici (16)
Condivisione delle scelte (15)
Circolazione delle informazioni (15)
Motivazione allo studio alunni (13)
Manutenzione/gestione risorse strutturali (13)
Documentazione a vari livelli (10)
Indice (100 verbo più frequente 1 verbo meno
frequente)
Indice (100 azione più frequente 1 azione
meno frequente)
24
Lettura interpretativa delle azioni

• E stato condotto un triplo livello di
  categorizzazione
• il primo ha considerato i verbi più
  frequentemente utilizzati per esprimere le azioni
  e i sostantivi (oggetti) esplicitati e/o più
  frequentemente associati ai verbi
• Il secondo ha considerato i verbi coniugati in
  modi diversi dallinfinito e spesso associati ai
  verbi che esprimono lazione che fa fatto
  emergere due grandi modalità organizzative delle
  azioni comunicativo/relazionale e
  organizzativo/strutturale
• il terzo ha considerato laspetto specificamente
  semantico dei verbi-azione categorizzati e dei
  rispettivi oggetti tale aspetto ha suggerito le
  tre funzioni
• management educativo
• management delle risorse
• management delle relazioni esterne

25
Lettura interpretativa delle azioni
Comunicativo/Relazionale
Azioni del DS
Organizzativo/Strutturale
Management del Personale
Management Relazioni Esterne

• Sviluppo motivazione e clima
• Rilevando bisogni e attese
• Rendendosi sempre disponibile al dialogo
• Riconoscendo potenzialità e risultati impegno
• Incoraggiando e supportando i docenti
• Definendo ruoli
• Fissando obiettivi
• Stabilendo criteri e regole
• Delegando incarichi
• Investendo quote sulla formazione
• Mettendo a disposizione materiali e strumenti

• Promuovendo incontri e seminari
• Partecipando in prima persona
• Seguendo con attenzione le iniziative culturali
  organizzate
• Contattando e dialogando con tutti i soggetti del
  territorio
• Coinvolgimento ufficializzato di istruzioni
  esterne per sostegno finanziario
• Ottimizzando luso delle risorse, rendicontando
• Intervento puntuale professionisti esterni
  esperti per supporto azione pilotata dalla scuola
• Stipulando convenzioni e individuando esperti
• Collaborazione e cooperazione, condivisione
  responsabilità di progettazione e valutazione
• Promuovendo scambio di risorse economiche,
  strutturali e professionali

Management Educativo

• Costruzione cultura comune
• Intercettando e interpretando le domande e le
  attese
• Ascoltando e dialogando con tutti
• Ricercando il contatto individuale e/o
  collettivo con gli studenti
• Organizzando e predisponendo strutture
  laboratoriali di varia tipologia
• Aprendo canali e modalità di counicazione
• Organizzando momenti di riflessione e dibattito
  allargati

• Sviluppo partecipazione studenti
• Ricercando il contatto individuale e/o collettivo
• Individuando attese e problemi
• Incoraggiando limpegno
• Mettendo a disposizione strumenti e servizi
• Ampliando lofferta formativa
• Predisponendo percorsi ed opzioni per lutenza
  debole

Sviluppo motivazione docenti
26
Esempio analisi esplorative
Obiettivo Migliorare rapporti con il territorio
Azioni
Rafforzare rapporti con enti territoriali
Promuovere/migliorare i rapporti con famiglie
Istituti comprensivi
Formare il personale scolastico
La probabilità che le associazione con
lobiettivo siano dovute al caso è minore del 5
. Plt0,05