Statistiques pour Savoir

1
Statistiques pour Savoir

• Essentiellement une question dépistémologie
• Donc, secondairement, de déontologie
• Il ne sagit pas de convenances

2
Les statistiques un carrefour
Métrologie Les variables et les techniques pour
mesurer
Epistémologie Connaître le réel
Statistiques Les observations
Logique (formelle) Validité du raisonnement
inférentiel
Expérimentation Des guet-apens pour piéger la
nature
3
Rudiments de métrologie ou théorie de la mesure
La question de la mesure se pose chaque fois que
lon a affaire à une variable Le propre de
lexpérimentation est de mettre en uvre deux
types de variables
Variable dépendante
Variable indépendante
4

• Typologie des niveaux de la mesure
• Echelle nominale (classes qualitatives)
• Echelle ordinale (ordre avec transitivité)
• Echelle dintervalle (intervalles égaux)
• Echelle de rapport (zéro non-arbitraire)

5
Notion générique de mesure

• Contrainte croissante classer lt ordonner lt
  compter relativement lt compter absolument.
• Relation demboîtement des échelles de mesure la
  mesure sur une échelle de rapport est une
  classification.

Classification
Ordre (transitif)
Intervalles égaux
Zéro non arbitraire
6

• Typologie des niveaux de la mesure
• Echelle nominale (classes qualitatives)
• Echelle ordinale (ordre avec transitivité)
• Echelle dintervalle (intervalles égaux)
• Echelle de rapport (zéro non-arbitraire)
• Statistiques non-paramétriques Chi ²
• Statistiques paramétriques t de Student, ANOVA,
  etc.

7

• Identifier le niveau de mesure pour chacun des
  deux axes dun graphique de la forme y f(x)
• Sur laxe des y on a le plus souvent une échelle
  de rapport
• E.g. derreur, même si la mesure élémentaire
  (correct/erreur) est du type nominal.
• Sur laxe des x, on a tous les cas de figure
• Le niveau de la mesure en x dicte
• Le type de représentation graphique sur laxe
  considéré barres dhistogrammes vs. points
  courbe
• Le type de test dinférence statistique
  statistiques paramétriques vs. non-paramétriques

8
A-t-on des intervalles égaux en x?
Non, des BARRES
Oui, des POINTS
9

• Dimensions dévaluation des outils de mesure
• Validité
• Sensibilité
• Fidélité (test-retest)
• Robustesse

10
 Niveau  de la mesure

• Une variable dordre
• Echelle nominale lt éch. ordinale lt éch. interv. lt
  éch. rapport
• Une hiérarchisation des contraintes, non de la
  valeur scientifique des variables
• De nombreuses variables définies sur une échelle
  nominale sont fantaisistes (e.g., cerveau droit
  vs. cerveau gauche),
• MAIS
• Parmi les variables les plus cruciales en science
  figurent des variables nominales (e.g., la vérité
  en logique binaire).
• Niveau ? granularité de la mesure
• Estimation dun angle à 30 près, à lil nu
  Mesure grossière sur une échelle de rapport.

11
Questions métrologiques sur le paradigme du
pointage de Fitts
Ingrédients de base une mesure de temps et deux
mesures de longueur
TM temps
W Largeur de la cible
Echelle de rapport Validité OK Sensibilité
OK Fidélité OK Robustesse OK
Echelle de rapport Validité OK Sensibilité
OK Fidélité OK Robustesse OK
Echelle de rapport Validité OK Sensibilité
OK Fidélité OK Robustesse OK
D Distance
0
12
Questions métrologiques sur le paradigme du
pointage de Fitts
Réduction de trois à deux variables, un temps et
une mesure sans dimension
TM temps
En Y, on a un problème de robustesse
métrologique La mesure du temps nest valide que
si le taux derreurs ne bouge pas (ce nest
pratiquement jamais le cas).

• En x, Le compactage de deux variables en une avec
  lID de Fitts a deux coûts
• Echelle de mesure le zéro étant arbitraire, on
  na plus quune échelle dintervalle.
• Validité pas de consensus sur ce que ça mesure
  (linformation, la difficulté, autre chose?)

Echelle de rapport Validité OK Sensibilité
OK Fidélité OK Robustesse ?
ID D/W
Echelle dintervalle Validité ? Sensibilité,
fidélité et robustesse OK
13
Theory appraisal

• T Main substantive theory of interest
• Ax Auxiliaries theories relied on in the
  experiment
• Cp Coeteris paribus clause (all other things
  equal)
• Ai Instrumental auxiliaries (measuring
  procedures and tools)
• Cn Realized particulars (conditions were as
  experimenter reported)
• O1, O2 Statistical summaries of observations
• Meehls conceptual formula
• (T . Ax . Cp . Ai .Cn) (O1 ? O2)
• Deductive derivability (entailment,  it
  follows that )
• ? Material conditional ( if then )
• (Paul Meehl, 1997 The problem is epistemology,
  not statistics)

14
Meehl

• (A ? B) A ? B
• Nier la conjonction de A et B, cest la même
  chose quaffirmer que lun des deux (au moins)
  est faux.
• En loccurrence,
• (T ? Ax ? Cp ? Ai ? Cn) T ? Ax ? Cp ? Ai
  ? C
• Il est donc difficile de rejeter une théorie. Si
  une de ses prédictions se trouve contredite
  empiriquement, il est imprudent de la rejeter.

15
Deductive inference possibilites for the
hypothetical argument If p then q
Il est donc également difficile de corroborer une
théorie le fait de trouver ce quelle prédit
(e.g., en ajustant une courbe) ne permet
aucunement de conclure en faveur de la théorie en
question. Il faudrait, par exemple, pouvoir
montrer que les données contredisent dautres
théories crédibles.
16
Indice de corroboration de Meehl

• S Spielraum (gamme de variation plausible)
• I Intervalle toléré par T
• I/S Tolérance relative de T
• 1 I/S Exigence relative de T (relative
  intolerance)
• D Distance entre la valeur observée x0 et le
  bord de lintervalle toléré (i.e., erreur de
  prédiction)
• D/S Erreur relative de T
• 1 D/S Proximité relative de T (relative
  closeness of outcome)
• Ci exigence relative proximité relative

http//www.tc.umn.edu/pemeehl/169ProblemIsEpistem
ology.pdf
17
Indice de corroboration de Meehl
Erreur de prédiction
Prédiction
x
xo
Tolerated interval
Spielraum S
xo
18
La corroboration décline avec la tolérance
19
Paul Meehls corroboration index

• S Spielraum (conceivable variation range)
• I Interval tolerated by T
• I/S Relative tolerance of T
• 1 I/S Relative intolerance of T
• D Deviation of observed value xo from edge of
  tolerated interval, i.e., error)
• D/S Relative prediction error
• 1 D/S Relative closeness of outcome
• Ci intolerance closeness

20
Théorème de Bayesp(H/E) p(H) p(E/H) / p(E)

• A propos du theoreme de Bayes, lire l'analyse
  superbe de Roberts et Pashler, c'est une bonne
  nouvelle que ce papier soit desormais en
  lignehttp//psychology.berkeley.edu/pdf/Roberts-
  Good20Fit.pdf.Soit H une certaine hypothese
  theorique (par exemple, l'hypothese de la
  gravitation de Newton),soit E un certain
  evenement que l'on a observe empiriquement (par
  exemple, j'ai constate que ma pomme tombe). Le
  theoreme de Bayes dit quep(H/E) p(H) p(E/H)
  / p(E)p(H/E) mesure la plausibilite de
  l'hypothese compte-tenu de l'evenement Ep(H)
  mesure la plausibilite intrinseque de l'hypothese
  (i.e., avant le constat de l'evenement E).p(E/H)
  mesure la probabilite de l'evenement E sous
  l'hypothese H considereeP(E) mesure la
  plausibilite intrinseque de l'evenement E,
  independamment de la theorie.On se limite ici
  au cas (a vrai dire le plus interessant) ou E est
  une prediction de H. Puisqu'on suppose que p(E/H)
  1, le theoreme devientp(H/E) p(H)
  1/p(E)               Le rapport en rouge est
  evidemment critique. Si par malheur ce rapport
  vaut 1, il faut conclure que l'observation de
  l'evenement E (l'experience) a ete faite en pure
  perte puisqu'alors p(H/E) p(H) --- on n'en sait
  pas davantage apres qu'avant l'observation. Ce
  que nous dit le theoreme de Bayes, c'est que
  l'observation de la pomme qui tombe, un fait
  particulierement peu surprenant, n'ajoute aucun
  credit a la theorie de la gravitation de Newton,
  alors qu'au contraire l'observation du retour de
  la comete de Halley le jour dit (un evenement
  extraordinairement improbable) a ete decisive.
  Dans le cas de la pomme, en effet, on a p(E)
  1 et donc p(H/E) p(H), ce qui veut dire que la
  credibilite de l'hypothese reste la meme que l'on
  ait ou non observe la chute de la pomme.
  L'experience n'a servi a rien. Dans le cas du
  retour de la comete, on a p(E) 0, et donc le
  rapport P(E/H) / P(E), qui vaut 1/epsilon,
  explose, d'ou il resulte que p(H/E) gtgt p(H).
  L'hypothese theorique apres l'observation de la
  prediction est beaucoup plus credible qu'elle ne
  l'etait precedemment.  Ceci souleve une
  question assez derangeante concernant la loi de
  Fitts et plus generalement les tests d'ypotheses
  fondes sur l'ajustement de courbes mathematiques
  sachant la forte probabilite d'une croissance
  monotone du TM quand on augmente l'ID (le bon
  sens predit cela), l'observation d'un r² tres
  eleve dans la regression lineaire ne demontre en
  aucun cas la validite de la theorie
  informationnelle de Fitts. Une infinite d'autres
  theories possibles predisent ce pattern de
  resultats...