Evaluation des actions de pr

1
Evaluation des actions de préventionAspects
théoriques Exemple à propos des  parcours
pédagogiques alcool 
Sandrine Antoine, Guy Launoy Flers, le 29 mars
2007
Cancers Populations ERI3 INSERM
2
Evaluation des actions de prévention
Lévaluation, cest rapprocher (comparer) les
éléments reflétant le processus ou les résultats
observés dune action des éléments attendus ou
espérés.
Ses résultats servant à lorientation de la suite
du projet, sa poursuite, son arrêt ou sa
modification, lévaluation doit faire appel à
une méthodologie et des indicateurs dont la
validité et la pertinence doivent être reconnus
par tous .
Cancers Populations ERI3 INSERM
3
Objectifs de lévaluation Attentes des acteurs

• Lévaluation objective un mythe ?
• Lacteur peut vouloir prendre du recul, mais
  aussi promouvoir son action
• Le payeur peut dans un contexte dallocation de
  ressources vouloir connaître ou comparer la
  rentabilité de diverses actions, mais aussi
  démontrer linutilité dun service quil veut
  fermer
• Le chercheur voudra confirmer son hypothèse de
  départ.
• Le choix des méthodes et des indicateurs dépendra
  des attentes.

? Lévaluation, ses méthodes et ses indicateurs
devraient en théorie être décidées au début de
laction
Cancers Populations ERI3 INSERM
4
Places de lévaluation dans le déroulé théorique
dune action de prévention

• 0 - Identification du problème de santé.
  Sélection des actions susceptibles de le
  prévenir.
• 1 - Etude de la faisabilité de lintervention
• 2 - Démonstration de lefficacité théorique dans
  des conditions optimales defficacité
• 3 - Démonstration et quantification des effets de
  lintervention dans des conditions réelles
  dapplication
• 4 - Evaluation de limpact médical, social,
  économique. Recherche de loptimisation
• 5 - Evaluation après généralisation évaluation
  des procédures contrôle de qualité
• 6 - Le cas échéant, comparaison de méthodes
  alternatives plus efficaces ou plus rentable
  (coût-efficacité).

Cancers Populations ERI3 INSERM
5
Evaluation des actions de prévention
MéthodesPrincipes généraux

• Lévaluation des résultats porte toujours sur la
  comparaison de 2 (ou plusieurs) groupes
  dindividus, lun qui bénéficie de lintervention
  et lautre qui nen bénéficie pas (ou
  différemment).
• Si la comparaison montre une différence dont la
  significativité sera jugée à laune des lois
  statistiques, on essaie alors de savoir si cette
  différence est entièrement expliquée par
  lintervention ou non (recherche des biais).
• La conclusion de  causalité  sera dautant plus
  difficile que la méthode retenue se sera éloigné
  dun plan expérimental.

Cancers Populations ERI3 INSERM
6
Places de lévaluation dans le déroulé théorique
dune action de prévention

• 0 - Identification du problème de santé.
  Sélection des actions susceptibles de le
  prévenir.
• 1 - Etude de la faisabilité de lintervention
• 2 - Démonstration de lefficacité théorique dans
  des conditions optimales defficacité
• 3 - Démonstration et quantification des effets de
  lintervention dans des conditions réelles
  dapplication
• 4 - Evaluation de limpact médical, social,
  économique. Recherche de loptimisation
• 5 - Evaluation après généralisation évaluation
  des procédures contrôle de qualité
• 6 - Le cas échéant, comparaison de méthodes
  alternatives plus efficaces ou plus rentable
  (coût-efficacité).

Cancers Populations ERI3 INSERM
7
Démonstration efficacité théorique action de
prévention
Lessai contrôlé randomisé
Aucune action ou action B
Cancers Populations ERI3 INSERM
8
Démonstration efficacité théorique action de
prévention
Limites de lessai contrôlé randomisé

• Critère de jugement unique
• Conditions de réalisation  expérimentales ,
  éloignées de la réalité
• Temps de réalisation long.

Cancers Populations ERI3 INSERM
9
Méthodes dévaluation non expérimentales
Enquêtes dobservation
Les groupes nétant pas comparables, on aura
beaucoup plus de mal à attribuer de manière
certaine une différence observée à laction de
prévention

• Etudes prospectives
• Etude Avant/Après.
• Etude Içi/Ailleurs
• Etude Avant/Après - Içi/Ailleurs
• Etudes rétrospectives
• Etudes Cas-Témoin
• Cohorte reconstituée
• Enquête permanente, utilisation de données
  existantes

Cancers Populations ERI3 INSERM
10
Evolution de lincidence du cancer du col dans
les pays nord-européens - 1940-1980
SW Duffy, C. Duffy, J. Estève Quantitave methods
for the evaluation for cancer screening. In SW
Duffy, C. Hill, J. Estève, eds. Arnold Oxford
University. 2001.
Cancers Populations ERI3 INSERM
11
Étude prospective
RR 2,5
Population de patients
Cancers Populations ERI3 INSERM
12
Méthodes dévaluation non expérimentales
Enquêtes dobservation
Les groupes nétant pas comparables, on aura
beaucoup plus de mal à attribuer de manière
certaine une différence observée à laction de
prévention

• Etudes prospectives
• Etude Avant/Après.
• Etude Içi/Ailleurs
• Etude Avant/Après - Içi/Ailleurs
• Etudes rétrospectives
• Etudes Cas-Témoin
• Cohorte reconstituée
• Enquête permanente, utilisation de données
  existantes

Cancers Populations ERI3 INSERM
13
Létude cas-témoins
? 60 de p.e.c. A parmi les  succès  contre
30 seulement parmi les  échecs 
Cancers Populations ERI3 INSERM
14
Méthodes dévaluation non expérimentales
Enquêtes dobservation

• Intérêts
• Réponse rapide (surtout cas/témoin)
• Etude dans la  vraie vie .
• Mesure lacceptabilité ou la pénétration dune
  stratégie
• Les biais
• De sélection (volontariat, indication)
• Dévolution spontanée (avant/après)
• De confusion

Cancers Populations ERI3 INSERM
15
Facteurs de confusion
0
Cancers Populations ERI3 INSERM
16
Evaluation des actions de prévention.Le choix
des indicateurs

• Indicateurs de résultats critère de jugement

Cancers Populations ERI3 INSERM
17
Evaluation des actions de prévention.Le choix
des indicateurs

• Indicateurs de résultats ( impact) critère
  de jugement
• Critère mesurable, défini au début de létude,
  consensuel, pour lequel on attend une différence
  significative.

• EX intervention visant à diminuer les accidents
  domestiques par campagne dinformation 
• Critères de jugement ?
• Amélioration du niveau de connaissance
• Modifications du comportement
• - Modifications état de santé

Cancers Populations ERI3 INSERM
18
Evaluation des actions de prévention.Le choix
des indicateurs

• Indicateurs de résultats critère de jugement
• - Indicateurs dapplication de lintervention

Cancers Populations ERI3 INSERM
19
Evaluation des actions de prévention.Le choix
des indicateurs

• Indicateurs dapplication de lintervention
• Acceptabilité dune technique
• Compliance à un programme
• Couverture

Cancers Populations ERI3 INSERM
20
Evaluation des actions de prévention.Le choix
des indicateurs

• Indicateurs de résultats critère de jugement
• - Indicateurs dapplication de lintervention
• - Indicateur de niveau de risque
• - Facteurs de confusion
• - Indicateurs du processus tableau de bord

Cancers Populations ERI3 INSERM
21
Evaluation des actions de prévention.Evaluation
de limpact. Le rapport bénéfice/risque
Cancers Populations ERI3 INSERM
22
La balance risque/bénéficedépistage du cancer du
sein
1000 femmes âgées de 50 ans se soumettent à une
mammographie tous les deux ans pendant 10 ans
P. Schaffer 1997
Cancers Populations ERI3 INSERM