Methodologie_Validite_et_Fiabilite - PowerPoint PPT Presentation

1 / 35
About This Presentation
Title:

Methodologie_Validite_et_Fiabilite

Description:

Analyse & traitement de donn es : mesurer, tester des hypoth ses ... Concept abstrait. Construit (d finition op rationnelle du concept) Croyance en dieu ... – PowerPoint PPT presentation

Number of Views:181
Avg rating:3.0/5.0
Slides: 36
Provided by: rmibac
Category:

less

Transcript and Presenter's Notes

Title: Methodologie_Validite_et_Fiabilite


1
Analyse traitement de données mesurer, tester
des hypothèses
Mise à jour du 12 janvier 2010
Rémi Bachelet

Diapos disponibles http//rb.ec-lille.fr
Cours distribué sous licence Creative Commons,
selon les conditions suivantes
bachelet_at_bigfoot.com École Centrale de
Lille Villeneuve dAscq - France
Source des images indiquées au-dessous ou en
cliquant sur limage
2
Comment utiliser ce cours
  • Mettre les diapos en format plein écran en
    cliquant sur
  • Faire défiler lanimation en cliquant sur les
    diapositives
  • (attention cliquer sur une image ou un lien
    ouvre la page web correspondante)

3
Tester des hypothèses
  • Exemple Le réchauffement climatique est-il une
    certitude ? Si oui doù vient-il ?
  •  Il ny a pas de réchauffement climatique  gt
    réfuté avec de plus en plus de certitude dannée
    en année (désormais gt95)
  • Autres hypothèses
  • Le réchauffement climatique est lié à lactivité
    solaire gt réfuté
  • Le réchauffement climatique est lié à lactivité
    humaine gt
  • Cf travaux du GIEC

4
A la recherche de la vérité

  • Alors, faut-il tester des hypothèses, jusquà
    faire  sortir la vérité du puits  ?
  • Qui ne veut pas voir  la vérité toute nue  ?

5
Conjectures et réfutations
  • On ne prouve pas quune théorie est vraie, on
    prouve que les théories concurrentes sont fausses
  • La théorie  vraie  est celle qui
  • Explique un phénomène le mieux possible
  • permet de formuler des hypothèses réfutables
  • mais pas encore réfutées
  • Autrement dit, il ny a pas de théorie vraie,
    mais seulement une  meilleure théorie qui est
  • parmi celles qui sont proposées.
  • la plus  élégante  (pouvoir explicatif,
    clarté, rasoir dOccam)
  • . dont on dispose à un moment donné, en
    attendant

6
Il ny a pas de vérité scientifique, mais une
population de théories en concurrence
7
Mesurer

  • Comment tester une théorie ?
  • Une théorie propose des construits qui permettent
    de formuler des hypothèses
  • Définir rigoureusement les construits
  • 1/ Concept gt 2/dimensions gt 3/composantes
  • Température de la terre gt t eaut air, t du
    sol gt mesures (x, y, z, t)
  • Puis mesurer des variables pour tester les
    hypothèses
  • Variables métriques (sc physiques), mais aussi
    nominales, ordinales (sc humaines)
  • Variables indépendantes/dépendantes

8
En sciences humaines/génie industriel, les
variables mesurées sont rarement quantitatives au
départ
  • Affirmation
  • Opinion, réponse sur une échelle destime de soi
  • Comportement
  • Rencontrer quelquun, éviter de faire quelque
    chose
  • . Voire discours sur un comportement
  • Par exemple  utilisation dun préservatif 
  • Cf. biodata

9
Les variables métriques sont aussi de divers types
  • Continues ou discrètes
  • Poids, taille (métrique continu)
  • Image scanner, capacité à grimper sur une échelle
    jusquà un certain barreau (métrique discret)
  • On peut faire énormément de calculs, surtout avec
    les variables continues ACP

10
Les variables nominales
  • Elles ne peuvent faire lobjet dun classement
    par ordre croissant par exemple
  • Sexe (var. dichotomique)
  • Lieu de naissance, plat préféré
  • La plupart des calculs à partir de variables
    nominales sont impossibles, car il nont pas de
    sens.
  • Calculer une moyenne entre des marques de
    voitures ?
  • On peut parfois les convertir en variables
    métriques
  • destinations de vacances gt distance (km)
  • vote à une élection gt échelle droite ltgt gauche.

11
Variables Ordinales
  • Elles sont ordonnées, mais pas métriques
  • Réponse sur une échelle destime de soi
  • par exemple une échelle du type de celles
    proposées par Rensis Likert (1903 - 1981)
  •  Jai confiance en moi , cochez la case
    correspondant à votre opinion
  • gt tout à fait daccord / plutôt daccord / pas
    daccord / pas daccord du tout
  • Problème pour les traiter.. Faut-il les
    considérer comme ..
  • des variables métriques (pas du tout 1, un
    peu 2 )
  • Ou des variables nominales ?
  • Effets pervers
  • En numérisant un Likert (pas du tout daccord
    1, assez daccord 2..) on est tenté de faire des
    calculs moyenne écart-type ..
  • Or, ces chiffres nont en fait que peu de sens,
    il impliquent notamment un postulat caché sur les
    distances entre les réponses
  • passer de pas du tout daccord à assez
    daccord est-il identique à passer de assez
    daccord à plutôt daccord ?

12
Autres types de variables
  • Rangs de classement
  • Premier choix, réponses multiples ..
  • Données dures à exploiter !
  • Graphes
  • Par exemple réseau relationnel / sociogramme
  • Conversion du graphe en matrice et analyse
    structurale
  • Variables textuelles
  • Texte brut ou transcription dun entretien
  • Analyse de contenu, voir ci-après
  • Erreur très fréquente collecter des données et
    ne pas être capable de les exploiter ensuite !
  • Savoir-faire logiciels maitrisés, éviter de
    croire que plus on utilise de mathématiques,
    meilleur cest
  • Méthodologie rigoureuse et comprise par le
    client
  • Temps .. et coût..(3 la durée dun entretien
    pour le taper et autant pour lanalyser).

13
Lanalyse de contenu
  • Elle se fait souvent avec sa tête !
  • Construire un tableau des concepts
  • Faire une carte cognitive / conceptuelle
  • Création dune carte conceptuelle
  • Critères pour valider quune carte conceptuelle
    est bonne.
  • Logiciels daide à la fabrication de cartes
    conceptuelles
  • FreeMind
  • Visual Understanding Environment (VUE) 
  • Guide - Réaliser une carte conceptuelle

14
Une bonne synthèse méthodologique
source
15
Analyse traitement de données fiabilité et
validité
Diapos disponibles http//rb.ec-lille.fr
Source des images indiquées au-dessous ou en
cliquant sur limage
Cours distribué sous licence Creative Commons,
selon les conditions suivantes
Image Source
bachelet_at_bigfoot.com École Centrale de
Lille Villeneuve dAscq - France
16
Validité et Fiabilité
  • Lorsque lon mesure une grandeur, on souhaite que
    les résultats soient utiles et reflètent bien les
    concepts quelle représente.
  • À cet effet, on a deux préoccupations
  • Le dispositif de recherche doit être valide
  • La mesure doit être fiable
  • Bibliographie / sources
  • William D. Richards http//www.uwm.edu/People/hes
    sling/p325/Psy325_Chap3.pdf
  • Bob Hessling http//www.sfu.ca/richards/Zen/show
    4/ch4.html
  • Igalens et Roussel,  Méthodes de recherche en
    management , chap 10

17
La Validité
  • Suis-je proche de la vérité ?
  • Les trois exigences de validité
  • Validité interne
  • Validité externe
  • Validité de construit / concept

18
Validité interne
  • Validité interne On a bien identifié cause et
    effet
  • Autrement dit, pas dexplication rivale les
    variations de la variable à expliquer sont
    causées uniquement par les variables explicatives

? ou
19
Quest-ce que la causalité ?
  • Selon John Stuart Mill (1806-1873), trois
    critères permettent dinférer la causalité
  • La covariation,
  • Cause et effet sont corrélés
  • La précédence temporelle
  • La cause précède leffet
  • Lélimination dexplications alternatives.
  • Pas de troisième variable
  • Trouvez huit biais limitant la validité interne
    et les moyens de les éviter (application à un
    questionnaire dintention dachat dune
    population dans un centre commercial...)

20
Huit biais limitant la validité interne (1/2)
  • Réduire la période détude
  • Examen critique de la période détude

Des évènements extérieurs à létude faussent les
résultats (Noël)
Effet dhistoire
  • Réduire la période détude
  • Examen critique des individus

Les individus ont changé pendant létude
(réussite/échec au bac, entre ou sort du centre
commercial)
Effet de maturation
  • Ne pas questionner deux fois les mêmes individus
    (?)
  • Éviter la mémorisation ?

Les réponses au deuxième questionnaire sont
affectées par le fait davoir déjà répondu
(mémoire)
Effet de test (pour une étude longitudinale/ par
panel)
Les questions utilisées pour recueillir les
données sont mal formulées (mots compliqués.)
Effet dinstrumentation
  • faire valider le questionnaire par un expert
  • protocole normalisé
  • Méthode de la pensée à voix haute..

Campbell DT, Stanley JC (1966). Experimental and
quasi-experimental designs for research.
21
Huit biais limitant la validité interne (2/2)
  • Revoir la constitution de léchantillon

Présélection des individus sur la base de
caractère extrêmes (les participants avec les
plus mauvais résultats à un test sont inclus dans
un programme de formation, ils réussissent au
prochain test peu importe le programme, parce
que les probabilités d'obtenir d'aussi mauvais
résultats deux fois sont faibles)
Effet de régression statistique
  • Attention au plan de collecte !

Léchantillon nest pas représentatif de la
population pertinente (les enquêteurs sont actifs
la journée, mais plus après 20h les PCS faisant
les courses tard sont oubliées)
Effet de sélection
  • Remplacer les sujets perdus
  • Optimiser les moyens de garder le contact.

Des sujets disparaissent en cours détude (des
participants abandonnent létude. Ceux qui
agissent ainsi peuvent être différents de ceux
qui restent)
Effet de mortalité expérimentale (pour une étude
longitudinale/ par panel)
Un individu interrogé apprend à lavance par les
autres lobjet de létude ou les réponses
attendues
Effet de contamination
  • Mener létude rapidement
  • Cacher son objectif
  • Prévenir la communication entre sujets

Campbell DT, Stanley JC (1966). Experimental and
quasi-experimental designs for research.
22
Validité externe
  • Validité externe Les résultats sont-ils
    généralisables ?
  • Autres situations pays, époques, populations .
  • Un risque
  •  Overfit  en recherche inductive, on
    construit une théorie à partir de données et le
    modèle construit colle tellement à ces données
    quil ne représente plus le phénomène quon
    voulait étudier au départ. mais uniquement les
    données.
  • Une faible validité externe signifie que lon ne
    peut pas généraliser, mais la recherche peut tout
    de même être intéressante (on a très bien étudié
    un terrain donné).
  • Toujours revenir sur la validité externe en
    conclusion dune étude ( limites et
    perspectives ).

23
Validité interne et externe sopposent-elles ?
  • À votre avis ?
  • Oui, souvent car
  • la validité interne demande un meilleur contrôle
    des situations observées
  • la validité externe demande des situations,
    méthodes et terrains de collecte plus variés et
    ouverts
  • Plus on multiplie les situations, plus le
    contrôle quon peut exercer sur les biais est
    faible.

24
Validité de construit / concept
  • Validité de construit on mesure bien ce que
    lon veut mesurer
  • Les recherches en sciences humaines portent sur
    des concepts abstraits non toujours directement
    observables (le changement, lautonomie, les
    savoirs-être... ). Les théories étudiées reposent
    sur ces concepts, souvent polysémiques et
    difficiles à définir.
  • Il faut donc valider la relation

25
Les critères de validité de concept / construit
  • On compte jusquà douze moyens de lévaluer,
    retenons notamment
  • La validité de contenu
  • Lopérationnalisation représente le concept sous
    tous ses aspects
  • La validité dobservation
  • Degré auquel le concept étudié peut se réduire à
    des observations
  • La validité de critère
  • Degré auquel on peut affirmer que le construit
    opérationnalisé est corrélé au concept quil est
    sensé représenter.
  • La validité de trait
  • Degré auquel on peut affirmer que le construit
    opérationnalisé permet de mesurer le concept
    quil est sensé représenter.
  • La validité convergente
  • Deux mesures du concept par deux méthodes
    différentes sont efficaces.
  • La validité discriminante
  • Degré auquel le concept diffère dautres concepts
    proches
  • La validité systémique
  • Degré auquel le concept permet lintégration de
    concepts antérieurs ou de produire de nouveaux
    concepts
  • Cest le type de validité le plus difficile à
    garantir

Zaltman, Pinson, and Angelmar, 1973 Metatheory
and Consumer Research
26
Évaluer la validité de construit Matrice
multitraits-multiméthodes
Campbell DT, Stanley JC (1966). Convergent and
discriminant validation by the multitrait-multimet
hod matrix.
  • La matrice multitraits-multiméthodes synthétise
    la corrélation entre les mesures de différents
    traits par des méthodes différentes

Method 3 Experiment 1
Method 1 Experiment 1
Method 2 Experiment 1
Method 1 Experiment 1
Method 2 Experiment 1
Method 3 Experiment 1
Image dorigine http//www.acm.org/sigchi/chi97/p
roceedings/paper/nt-tb3.gif
27
La Fiabilité (reliability)

  • La mesure est-elle régulière ?
  • La question de la fiabilité de linstrument de
    mesure

28
Quest-ce que la fiabilité?
  • Les opérations de la recherche peuvent être
    répétées à un autre moment par un autre chercheur
    avec le même résultat.
  • Si lobjet de la recherche ne change pas, une
    mesure parfaite donne le même résultat à chaque
    fois quelle est refaite.
  • Trop de variabilité (écart-type) entre mesures
    instrument pas fiable

29
Mesures de fiabilité en recherche quantitative
  • Mesure lue
  • vraie valeur erreur aléatoire erreur
    systématique
  • Méthodes destimation de la fiabilité
  • Re-retest
  • Refaire exactement la même mesure à des moments
    différents.
  • Méthodes des formes alternatives
  • Re-retest avec un test différent (alternatif)
    mais mesurant la même chose.
  • Mesure de la cohérence interne
  • Pour une échelle construite à partir de plusieurs
    items, tester leur cohérence. Alpha de Cronbach,
    rho de Joreskog

30
Validité et Fiabilité sont ils réservés à la
recherche quantitative ?
  • Non !
  • Mais on ne procède pas de la même manière deux
    ces deux cas
  • Quanti gt tests statistiques
  • Quali gt prendre certaines précautions, par
    exemple vérifier si on conserve le même résultat
    en changeant dobservateur
  • Problèmes possibles pour le qualitatif
  • Critères observés ambigus
  • Mal former les observateurs/enquêteurs problème
    dharmonisation ses données collectées
  • Situation trop dure à étudier

31
Questions ?
32
Rémi BACHELET
  •  Enseignant-chercheur,    Ecole Centrale de
    Lille
  • Mon CV est disponible ici.

Mes principaux cours à Centrale Gestion de
projet, sociologie des organisations, recueil,
analyse et traitement de données, prévention du
plagiat, module de marchés financiers, cours de
qualité et méthodes de résolution de problèmes,
établir des cartes conceptuelles, utiliser
Wikipédia et CentraleWiki, formation au coaching
pédagogique et à l'encadrement
33
Pour mémoriser ce cours, voici une carte
conceptuelle, vous trouverez ici dautres cartes
heuristiques sur ce cours
34
Autres cours
  • Explorer ou vérifier ? Deux catégories
    dapproches
  • Éventails des démarches de recueil de données
  • Conception de questionnaires
  • Techniques dentretien et reformulation
  • L'Analyse Factorielle des Correspondances pour
    les nuls
  • Validité et Fiabilité des données

35
(No Transcript)
Write a Comment
User Comments (0)
About PowerShow.com