Seminario di Metodologia della Ricerca Psicologica

1
Seminario di Metodologia della Ricerca
Psicologica

• MARIAGRAZIA BENASSI
• ROBERTO BOLZANI
• SARA GIOVAGNOLI

Magritte, Age of Reason
2
Metodologia della Ricerca

• Non indica semplicemente i metodi e le tecniche
  da utilizzare nella ricerca ma lattività critica
  che si applica ai diversi prodotti della ricerca
  (Boudon, 1991)
• Aspetto normativo della metodologia limportanza
  di fare buone ricerche

3
Ricerca scientifica

• Scopo generare e controllare teorie
  metodologicamente corrette
• Aderenza alla realtà empirica di riferimento
• Riduzione dei costi e degli errori

4
Programma del corso

• I PARTE (3cfu) Elementi di statistica
  inferenziale
• Misura Tipi di variabili e scale di misurazione
• Procedura della statistica inferenziale
• Logica del test statistico
• Errori nell'interpretazione dei risultati del
  test statistico
• Disegni di ricerca
• Metodi di campionamento
• Fallacia nel campionamento
• Affidabilità e validità

5
Programma del corso

• II Parte (3 cfu) Procedure statistiche avanzate
• 1. Analisi della correlazione2. Analisi
  fattoriale3. Analisi discriminante e cluster
  analysis4. Modelli non parametrici5. Metanalisi

6
Modalità desame

• Orale
• 3 cfu I Parte
• 6 cfu I II Parte

7
Bibliografia

• I Parte
• Bolzani R., Canestrari R. (1994) Logica del test
  statistico. Milano, Casa Editrice Ambrosiana.
  (Cap. 2)
• Bolzani R. (1999) Problemi di statistica. Milano,
  Casa Editrice Ambrosiana. (Cap. 2)
• Bolzani R. Benassi M (2003)Tecniche
  Psicometriche. Roma, Carocci Editore (Cap. 1)
• McBurney DH (1986) Metodologia della ricerca
  psicologica. Bologna, Il Mulino. (Cap. da 3 a 10)
• Mucciarelli G, Celani G (a cura di) (2002) Quando
  il Pensiero Sbaglia. Torino, Utet Libreria (Cap.
  3, 4, 5)
• II Parte
• Bolzani R., Canestrari R. (1994) Logica del test
  statistico. Milano, Casa Editrice Ambrosiana.
  (Cap. 5)
• Bolzani R. (1999) Problemi di statistica. Milano,
  Casa Editrice Ambrosiana. (Cap. 4, 5)
• Bolzani R. Benassi M (2003)Tecniche
  Psicometriche. Roma, Carocci Editore (Cap. 7, 8)

8
Strumenti

• Diapositive e esercizi sul sito di Psice-Pagine
  Insegnamenti
• Lezioni e esercitazioni on-line disponibili sulla
  piattaforma A3

9
Piattaforma A3

• Registrazione
• atutor.psice.unibo.it/registrazione/
• Id PsicologiaFreq
• Passwordpoqevipe36
• Mail e matricola
• http//atutor.psice.unibo.it

10
Piattaforma A3

• Moduli didattici e esercitazioni
• Chat (orari di ricevimento CESENA)
• Forum

11
Verifiche

• Pre-appelli per frequentanti (1 per ogni parte
  per 1cfu) durante il corso (15 Marzo 5 Aprile)
• Appelli ufficiali (esame orale)

12
PRE-REQUISITI

• Logica della dimostrazione sperimentale
• Distribuzioni di Probabilità
• Test parametrici e non parametrici

13
Note sulla teoria della Misura in Psicologia

• Definizione di Misura
• misurare significa attribuire agli elementi di
  un insieme le caratteristiche di un sistema di
  riferimento tali per cui queste caratteristiche
  siano rappresentative rispetto alle
  caratteristiche dellinsieme di partenza

14

• Per definire il rapporto (funzione di
  omeomorfismo) fra linsieme misurato e il sistema
  di riferimento occorre che sia definibile
• Il sistema relazionale empirico (oggetto)
• Il sistema relazionale di riferimento (strumento)

15

• le relazioni fra gli elementi dellinsieme
  misurato sono riprodotte (omeomorfe) dagli
  elementi dellinsieme misurante
• permette di fare operazioni fra gli elementi
  dellinsieme e quindi di meglio comprendere le
  caratteristiche delle parti rispetto allinsieme
  stesso
• permette di condividere e quindi confrontare le
  informazioni di insiemi diversi in base a un
  linguaggio comune

16

• CRITICITA
• Precisione dello strumento
• Determinazione dellOggetto
• Generalizzazione

17
Precisione dello strumento

• Non cè mai corrispondenza perfetta fra i due
  sistemi (misurante-misurato)
• Lo strumento di misura deve essere in grado di
  dare anche una stima dellerrore di misura
• La stima viene data attraverso lintervallo di
  tolleranza che è definibile solo se sono definiti
  i metodi di misurazione e se la misura è empirica

18
Statistica inferenzialeFalsificazione Ho
INTERVALLO DI CONFIDENZA rappresenta la zona
attorno al parametro stimato entro cui ci
aspettiamo, con una probabilità 1-?, di trovare
il parametro relativo a un nuovo campione. Ha la
stessa estensione dell'intervallo attorno
all'ipotesi nulla. Se nell'intervallo di
confidenza cade il valore di H0 non si può
respingere l'ipotesi nulla.
19
Statistica inferenzialeFalsificazione Ho
INTERVALLO DI TOLLERANZA rappresenta la zona
attorno al parametro stimato entro cui ci
aspettiamo, con una probabilità 1-?, che cada un
nuovo caso.
20
Determinazione delloggetto

• Semplicità della teoria
• Conformità alle leggi o alle regolarità della
  natura
• Semplicità come Falsificabilità
• Universalità della teoria
• Parsimonia

21
Generalizzazione

• Scopo della misura
• Punto di partenza e di arrivo di ogni misurazione

22
SCALE DI MISURA

• Classificazione Stevensiana
• sistema di riferimento sistema dei numeri reali
  R
• Va da una classe più semplice a una classe più
  complessa

23
SCALE DI MISURA

• Classificazione Stevensiana
• Scale nominali
• Scale ordinali
• Scale intervalli
• Scale rapporto

24
Scale Nominali

• la relazione fra gli eventi è la categorizzazione
• le categorie sono distinte in base alla sola
  operazione di uguaglianza o differenza
• La proprietà dei R corrispondente è la
  cardinalità
• Gli eventi sono raggruppabili in classi
  mutualmente esclusive
• Le operazioni statistiche possibili sono il
  calcolo delle frequenze, test non parametrici.
• I parametri descrittivi tipici sono moda e
  mediana

25
Scale Ordinali

• Gli elementi dellinsieme sono oltre che
  sottoposti a categorizzazione anche ordinati
  gerarchicamente seguendo una relazione di
  asimmetria
• i numeri sono disposti in modo tale da riflettere
  lordine di graduatoria degli elementi
• Non è possibile quantificare la distanza fra gli
  elementi
• La proprietà dei R corrispondente è lordinalità
• Le operazioni statistiche possibili sono il
  calcolo delle frequenze, test non parametrici
• I parametri descrittivi tipici sono moda e
  mediana

26
Scale Intervalli

• alle caratteristiche delle prime due scale si
  aggiunge anche la definizione della distanza fra
  ogni elemento dellinsieme
• costanza degli intervalli fra le diverse classi
• non viene definito lo zero assoluto
• Con queste scale sono possibili solo le
  operazioni di somma e sottrazione
• Test statistici parametrici
• I parametri descrittivi tipici sono media e
  varianza

27
Scale Rapporto

• oltre ad esserci una costanza fra le classi è
  anche definito un valore di zero assoluto non
  arbitrario
• applicabili le operazioni matematiche di
  moltiplicazione e divisione
• Test statistici parametrici
• I parametri descrittivi tipici sono media e
  varianza

28
SCALE DI MISURA

• Critiche alla classificazione stevensiana
• non comprende tutte le possibili classi di
  eventi.
• Rigidità nellaccostamento scala-statistica

29
Variabili

• Eventi empirici oggetto della misura
• Possono essere parte di categorie e assumere
  diversi valori

30
VARIABILI

• CRITICITA
• Aderenza fra sistema numerico e sistema empirico
• Metodo di misurazione sintetico o analitico

31
TIPI DI VARIABILI

• Classificazione in base al ruolo nel disegno
  sperimentale
• Relazione causale
• Variabile dipendente
• Fattore
• Variabile confondente

32
TIPI DI VARIABILI

• Classificazione in base alle caratteristiche
• Variabili qualitative
• Variabili quantitative
• Classificazione in base alla distribuzione
• Variabili gaussiane
• Varibili non gaussiane

33
VARIABILI E SCALE DI MISURA

• OPERAZIONI STATISTICHE POSSIBILI
• Scelta è dettata da
• dal disegno sperimentale
• dallipotesi sperimentale
• dal tipo di variabili

34
VARIABILI E SCALE DI MISURA

• OPERAZIONI STATISTICHE POSSIBILI
• Dal disegno sperimentale
• Multivariato
• Univariato

35
VARIABILI E SCALE DI MISURA

• OPERAZIONI STATISTICHE POSSIBILI
• Dallipotesi sperimentale
• Inferenza (rapporti di causa-effetto
  generalizzabili)
• Descrizione (esplorazione di un fenomeno di
  diversa complessità)

36
VARIABILI E SCALE DI MISURA

• OPERAZIONI STATISTICHE POSSIBILI
• Dal tipo di variabili
• Se a distribuzione gaussiana allora test
  parametrici
• Se a distribuzione non gaussiana allora test non
  parametrici

37
VARIABILI E SCALE DI MISURA

• OPERAZIONI STATISTICHE POSSIBILI
• Criticità
• criteri decisionali rigidi
• ambiguità della situazione
• Soluzioni
• - motivazioni del criterio

38
Statistica Descrittiva

• La statistica DESCRITTIVA rappresenta
  sinteticamente i diversi valori relativi ai
  soggetti di un determinato gruppo (media,
  frequenza, percentuale etc.)
• Oggetto riguarda esclusivamente i soggetti
  esaminati
• Processo il processo sulla quale è basata va
  dalla raccolta dei dati alla descrizione alla
  successiva formulazione di unidea da verificare
• Misura i test statistici sono di tipo
  esplorativo utilizzano modelli matematici molto
  raffinati ma non hanno valore dimostrativo. I
  parametri che utilizzano non sono basati sul
  calcolo probabilistico.

39
Statistica Inferenziale

• Oggetto l'esistenza di relazioni fra una
  generica variabile dipendente e un insieme di
  variabili indipendenti (fattori)
• Processo procede secondo una sequenza di
  operazioni ben definita e rigida
• Logica di tipo falsificazionista
• Misura calcolo probabilistico

R. Fisher, 1890-1962
40
Inferenza regole

• RELAZIONE FRA FATTORI E VARIABILE DIPENDENTE
• IPOTESI E TEST STATISTICO SEGUONO UNA LOGICA DI
  TIPO CAUSA-EFFETTO
• TUTTAVIA
• I RISULTATI NON SONO VINCOLATI DA QUESTA LOGICA
• LE CONCLUSIONI NON VENGONO ACCETTATE SE
  SOSTENGONO UNA LOGICA CAUSA-EFFETTO

41
Inferenza regole

• ESEMPIO 1 INDAGINE SULLA RELAZIONE FRA
  ALCOOLISMO E CIRROSI EPATICA
• ESEMPIO 2 INDAGINE SULLA RELAZIONE FRA ETA E
  CAPACITA MNEMONICHE

42
Inferenza regole

• Metodologia teoria delle regole alla base del
  processo euristico
• Motivazioni dellesplicitazione delle regole
• Ragioni epistemologiche
• Ragioni etiche
• Ragioni politiche
• KR Popper (1934) La logica della scoperta
  scientifica, cap 2. Einaudi (1998)

43
Inferenza regole

• RIGIDITA DEL PROCESSO DIMOSTRATIVO
• Regole di metodo come convenzioni
• Controllo
• Corroborazione
• Replicabilità
• Revisione

44
Inferenza regole

• Controllo
• Coerenza interna (confronto logico delle
  conclusioni)
• Indagine sulla forma logica (teoria empirica,
  scientifica o tautologica)
• Confronto con altre teorie
• Confronto mediante le applicazioni empiriche

45
Inferenza regole

• Loggettività della scienza sta
  nellintersoggettività delle asserzioni della
  scienza stessa.

46
Inferenza regole
47
Inferenza regole

• (1)
• Formulazione Idea sperimentale (H1)
• generale e falsificabile
• ipotesi di differenza

48
Inferenza regole

• (2)
• Formulazione di H0 da falsificare
• complementare a H1
• ipotesi di uguaglianza

49
Inferenza regole

• (3)
• Raccolta del Campione
• Idoneo a confermare l'idea
• Rappresentativo dell'intera popolazione
• (casuale, sufficientemente ampio)
• Conforme alle richieste del test che si intende
  utilizzare (distribuzione, indipendenza)

50
Inferenza regole

• (4)
• Applicazione del TEST STATISTICO
• indipendenza
• riferimento alle distribuzioni teoriche
  (continuità, normalità ..)
• in grado di falsificare tipi determinati di
  ipotesi nulle

51
Inferenza regole

• (5)
• SIGNIFICATIVITÀ
• Probabilità di respingere l'ipotesi nulla
• pur essendo questa vera
• Il suo limite è stabilito a priori
• (livello di significatività normalmente 0.05 o
  0.01)

52
Inferenza regole

• (6a)
• Falsificazione di H0
• dimostrazione di H1
• (6b)
• Non falsificazione di H0
• riflessioni sulla ricerca
• NON SI PUO DIMOSTRARE H0

53
Inferenza regole

• Attraverso la distribuzione dellipotesi nulla
  vengono individuate due zone
• una zona attorno all'ipotesi nulla in cui non è
  possibile escludere, in base al risultato
  ottenuto, che l'ipotesi nulla sia vera
• La rimanente regione riguarda una zona in cui è
  estremamente improbabile ottenere un risultato
  sperimentale se è vera l'ipotesi nulla

54
Inferenza regole
55
ERRORI DI MISURA
Inferenza regole

• Misurare implica sempre un errore ?
• ineliminabile
• di diversa origine
• può essere quantificabile
• Occorre identificare e misurare anche lerrore

56
ERRORI DI MISURA
Inferenza regole

• Errori di metodo controllo tramite evitamento
• Errori di decisione controllo tramite stima

57
ERRORI DI DECISIONE
Inferenza regole
58
ERRORI DI DECISIONE

• Errore alpha
• Errore relativo alla probabilità di falsificare
  H0 quando H0 è vera
• Legato alla significatività del test
• Il suo valore è determinato a priori (lt0.05 o
  0.01)
• Legato a errore beta

59
ERRORI DI DECISIONE

• Errore beta
• Errore relativo alla probabilità di non
  falsificare H0 quando H0 è falsa
• Legato alla potenza del test
• Il suo valore è determinato a priori
• Legato a errore alpha

60
Inferenza regole

• Potenza del test probabilità di respingere H0
  quando H0 è falsa. È data da 1-?
• Dipende
• da H0 e da H1
• dalla numerosità del campione
• dalla minima differenza apprezzabile
• dalla varianza casuale

Primit
61
Inferenza regole

• (6b)
• Non respingo H0
• l'ipotesi nulla è vera o meglio le differenze
  analizzate da H1 sono troppo piccole
• scarsa potenza del test
• il campione ha varianza elevata
• scarsa numerosità del campione
• il campione non soddisfa le condizioni relative
  alla distribuzione
• il campione non è rappresentativo dell'intera
  popolazione
• non sufficiente separazione fra H0 e H1

62
Inferenza regole

• La forza delleffetto (effect size)
• Indice della relazione fra la variazione dovuta
  al fattore considerato e la variazione totale del
  modello (dovuta alla somma fra variabilità del
  fattore e variabilità errore)

63
Inferenza regole

• La forza delleffetto (effect size)
• Parametro Partial Eta squared
• Utile per il confronto fra diversi studi perché è
  indipendente dalla numerosità
• Permette di confrontare campioni di numerosità
  diversa
• Non è associato alla probabilità di errore ovvero
  alla significatività

64
Inferenza regole

• Un esempio nellanalisi della covarianza è
  possibile calcolare la potenza del test (observed
  power) e la forza delleffetto (partial Eta
  squared)

65
ERRORI DI DECISIONE

• Tuttavia
• La potenza del test a posteriori è calcolata
  sulla differenza misurata e non sulla minima
  differenza apprezzabile

66
Inferenza regole

• Logica falsificazionista
• Un sistema empirico per essere scientifico deve
  poter esser confutato dallesperienza
• Asimmetria fra verificabilità e falsificabilità
• Limite alpha funge da sbarramento

67
Inferenza regole

• CRITICHE
• Essendo asimmetrico le ipotesi nulle non
  falsificate non vengono prese in considerazione
• Rigidità nella scelta
• Arbitrarietà di Alpha
• Il problema della numerosità
• Non permette di analizzare direttamente ipotesi
  alternative

68
Inferenza regole

• Possibili errori dalla logica falsificazionista
• Non valutazione della Potenza del test
• Confronto fra i valori di p relativo ad alpha
• Utilizzo della logica falsificazionista per
  confermare H0
• La significatività indica una differenza ma non è
  né un indice di senso né un indice di forza

69
esercizio1

• Analizza larticolo dal punto di vista delle
  variabili in studio e dei test statistici
  applicati.
• Lindice di capacità di lavoro in operatori
  sanitari, Giornale Italiano di Medicina del
  lavoro e Ergonomia, p. 355-358

70
Domande

• Quale è lipotesi sperimentale?
• Eespressa chiaramente? E semplice e generale?
• Quali sono le variabili in studio?
• Sono identificabili? Fanno riferimento a un
  disegno sperimentale univariato o multivariato?
  Quali le dipendenti e i fattori? Che scala
  rappresentano?
• Quale è la statistica applicata?
• I test sono parametrici o non?
• Cè una corrispondenza fra test utilizzato e tipo
  di variabile?
• E visibile la distribuzione di probabilità della
  dipendente?

71
Inferenza regole

• La logica falsificazionista deriva da due
  approcci
• il p-value approach (PVA), di Fisher (1935)
• il fixed alpha approach (FAA), di Neyman e
  Pearson (1933)

Fisher 1890-1962
J. Neyman 1884-1981
E. Pearson 1885-1980
72
Inferenza regole

• Entrambi gli approcci condividono
• lutilizzo dellipotesi nulla H0
• lutilizzo di un valore critico di probabilità p
  (p-value) e del livello ? per determinare la
  probabilità del verificarsi di eventi dovuti al
  caso o ad errori di campionamento

73
Inferenza regole

• METODO ALTERNATIVO ALLA LOGICA FALSIFICAZIONISTA
• FAA di Neyman e Pearson
• metodo per selezionare una ipotesi tra due
  ipotesi possibili H1 e H0

74
Inferenza regole

• Oltre al valore di alpha si fissa anche quello di
  beta di solito, rispettivamente 0.05 e 0.2
• Non si determina più la probabilità dei dati per
  H0 vera, ma la probabilità condizionata di H0 e
  H1 per quei dati osservati, da confrontare con i
  valori posti di alpha e beta e cioè, p(H0, H1?
  dati).

75
Inferenza regole

• Tuttavia
• Non ci sono oggi test statistici basati sul FAA
  salvo calcoli probabilistici bayesiani
• Tutti i test sono basati sulla falsificazione di
  H0 secondo la logica falsificazionista

76
Inferenza regole

• Consigli dell APA
• Chiarezza nella presentazione dei dati
  (presentazione dei casi, dei dati mancanti e
  degli outliers)
• Scelta di analisi semplici
• Rinunciare alla scelta dicotomica fra
  accettazione e rifiuto di H1 e riportare oltre al
  valore di p anche gli intervalli di confidenza e
  la forza delleffetto

77
Inferenza regole

• Letture consigliate
• Fisher RA (1935) The design of Experiments,
  Edimburgh, Oliver Boyd trad. it. La
  programmazione degli esperimenti, Pisa, Nistri
  Lischi, 1954.
• Neyman J e Pearson ES (1933) On the problem of
  the most efficient tests of statistical
  hypothesis, in Philosophical transaction of the
  Royal Society of London, A231, pp 289-337.
• Cohen, J (1994) The Earth is round (plt0.05),
  American Psychologist, 49, 12, pp 997-1003.

78
Disegno di ricerca

• Definizione
• è il progetto nel quale sono specificati i
  legami fra le variabili che si andranno ad
  analizzare e i possibili risultati che ci si
  aspetta di trovare ovvero il modo con cui si
  analizzano le variabili in studio.

79
Tipologie di disegni di ricerca

• Non cè concordanza fra gli autori
• 2 linee
• 1. Formale D.Sperimentali, D.Quasi sperimentali
  e D.Non sperimentali
• 2. Pragmatica tutti i disegni sono considerati
  sperimentali

80
Tipologie di disegni di ricerca

• DISEGNI SPERIMENTALI
• sono caratterizzati dal controllo di tutte le
  variabili in gioco, del campione raccolto con
  selezione idonea e casuale e della procedura di
  raccolta e analisi dei dati

81
Tipologie di disegni di ricerca

• DISEGNI QUASI SPERIMENTALI
• sono caratterizzati dal PARZIALE controllo di
  tutte le variabili in gioco.

82
Tipologie di disegni di ricerca

• DISEGNI QUASI SPERIMENTALI

I disegni con un solo campione sono quelli sui
quali si effettuano diverse misure ma che si
trattano non come misure ripetute ma come misure
indipendenti.   Nei disegni con campioni non
equivalenti lassegnazione dei soggetti ai gruppi
non avviene in modo casuale.   I disegni
ex-post-facto sono riferiti a situazioni nelle
quali levento in studio si è già
verificato. Esempio
83
Tipologie di disegni di ricerca

• DISEGNI NON SPERIMENTALI
• sono caratterizzati dallIMPOSSIBILITA del
  controllo sulle variabili in gioco, sul campione
  sulla procedura di raccolta e analisi dei dati

84
Tipologie di disegni di ricerca

• DISEGNI NON SPERIMENTALI
• le ricerche di osservazione nelle quali
  lattenzione è spostata sulla struttura del
  problema che si sta indagando
• le ricerche darchivio nelle quali si fa
  riferimento a dati raccolti in passato in archivi
• le ricerche sui casi singoli

85
Tipologie di disegni di ricerca

• DISEGNI FATTORIALI
• sono presenti tutte le possibili combinazioni di
  fattori
• è possibile analizzare tutti gli effetti a cui i
  criteri di classificazione utilizzati fanno
  riferimento e tutte le possibili interazioni tra
  gli effetti principali

86
Tipologie di disegni di ricerca

• DISEGNI FATTORIALI
• disegni entro i soggetti o per prove correlate
  nei quali la misura è effettuata sullo stesso
  campione
• disegni fra i soggetti nei quali è misurato
  leffetto di una variabile in diversi gruppi
• disegni misti nei quali le condizioni fra i
  soggetti e entro i soggetti sono presenti

87
Tipologie di disegni di ricerca

• Esempi di disegni fattoriali
• entro i soggetti
• fra i soggetti
• misti

88
Tipologie di disegni di ricerca

• DISEGNO INCOMPLETO
• non è possibile utilizzare tutte le combinazioni
  dei fattori
• non è conveniente il disegno fattoriale perchè
  porterebbe all'utilizzo di un numero totale di
  sottogruppi troppo grande 

89
Tipologie di disegni di ricerca

• DISEGNI INCOMPLETI non vengono utilizzati tutti
  i sottogruppi possibili ma solo quelli che
  permettono lo studio degli effetti principali.
• QUADRATO LATINO Utilizza un criterio di
  incompletezza ciclica uguale per tutte le
  interazioni possibili 
• A BLOCCHI RANDOMIZZATI nel quale le classi di un
  certo fattore comprendono solo alcune
  sotto-classi, rappresentanti l'insieme
  complessivo.
• Esempio

90
Tipologie di disegni di ricerca

• DISEGNI PERSONALIZZATI
• I tipi di disegno sperimentale esaminati sono
  solo una parte dei disegni utilizzabili.
• Il tipo di disegno è condizionato dall'ipotesi
  che vogliamo dimostrare e dal tipo di effetti che
  riteniamo influenti.
• In tutte le analisi statistiche è possibile
  personalizzare il modello di riferimento che
  rispecchia il disegno sperimentale utilizzato
• Esempio

91
Capitoli di riferimento

• Misura
• Bolzani R. Benassi M (2003)Tecniche
  Psicometriche. Roma, Carocci Editore (Cap. 1)
• McBurney DH (1986) Metodologia della ricerca
  psicologica. Bologna, Il Mulino. (Cap. 3)
• Statistica inferenziale, logica del test e errori
  di misura
• Bolzani R., Canestrari R. (1994) Logica del test
  statistico. Milano, Casa Editrice Ambrosiana.
  (Cap. 2)
• Bolzani R. (1999) Problemi di statistica. Milano,
  Casa Editrice Ambrosiana. (Cap. 2)
• McBurney DH (1986) Metodologia della ricerca
  psicologica. Bologna, Il Mulino. (Cap. 5, 6)
• Disegni di ricerca
• McBurney DH (1986) Metodologia della ricerca
  psicologica. Bologna, Il Mulino. (Cap. 7, 8, 9,
  10)