Pertinence de la dйmarche prй-йvaluative : Illustration а partir d’un programme de santй mentale

1
Pertinence de la démarchepré-évaluative
Illustrationà partir dun programmede santé
mentale

• Monique Carrière Ph.D.Faculté de médecine,
  Université Laval
• Louise Grégoire, M.Sc.A.Direction régionale de
  santé publique de la Capitale nationale
• Mireille Fortier, assistante de recherche

2
Contexte de lévaluation

• Pression pour lévaluation de programme
• Pression pour la programmation en réseau
• Révision du programme en santé mentale au CLSC
• Transformation organisationnelle en cours

3
Rencontre évaluateur - demandeur
Demandeur
Évaluateur
4
Proposition approche pré-évaluativeet
coopérative

• Pré-évaluative
• Multiplicité des objets dévaluation
• Multiplicité des acteurs et de leurs points de
  vue
• Obligation de clarifier et de choisir

• Coopérative
• Participation continue de léquipe de gestion du
  programme à la planification de la démarche, à sa
  mise en œuvre et à linterprétation des résultats
  

5
Tendances habituelles (A) vsnotre proposition
(B)

• A
• Évaluation des résultats
• À partir des conceptions des acteurs du programme
• Identification objective des problèmes
• Environnement/clients
• Rétroaction

• B
• Cadre général et vue densemble
• Avec les paramètres des partenaires et des
  usagers du programmes
• Identification subjective des problèmes
• Réseau/act.interdépendants
• Négociation

6
Cadre théorique approche constructiviste

• Acteur motivé,rationnel et réflexif
• Position de lacteurinfluence rationnelet
  action
• Intention ? action ?conséquences
• Dialectiqueaction-structurel

• Spécifique
• Systémique
• Structurel
• Opérationnel
• Stratégique

Théorie de la structuration(Giddens)
Domaines dactivitésdun programme(Gervais)
7
Interfaces Giddenset Gervais
8
Déroulement du projet

• Planification avec léquipe de gestionnaires
• Nombre de groupes et critères de sélection des
  participants
• Recrutement
• Organisation des groupes de discussion
• Réalisation des groupes de discussion
• Analyse préliminaire et rétroaction aux
  gestionnaires
• Présentation des résultats et discussionsur la
  poursuite de lévaluation

9
Principaux thèmes abordéslors des groupes de
discussion

• Motivation et préoccupations
• Questions et objets dévaluation
• Utilité de lévaluation
• Priorités
• Opportunités et embûches anticipées
• Perception quant aux priorités des autres acteurs

10
Variété des participants

• 5 catégories dacteurs
• Gestionnaires du programme ASM du CLSC
• Intervenants au programme ASM du CLSC
• Usagers
• Partenaires communautaires
• Partenaires institutionnels
• 9 groupes de discussion
• 65 personnes rencontrées

11
Position des acteurs
12
Rationnel des gestionnairesdu CLSC

• Performance du programme
• Responsabilité populationnelle
• Effets sur le système et les clients
• Positionnement de CLSC p/r aux partenaires
• Ajustement et mise à jour du programme

13
Rationnel des intervenantsdu CLSC

• Clarification et cohérence p/r au programme
• Effets sur le client
• Lien thérapeutique
• Ajustement et mise à jour
• Tension entre les objectifs cliniques et
  organisationnels
• Contradiction entre leurs valeurs et leurs
  actions
• Inquiétude quant au type dévaluation

14
Rationnel des partenaires institutionnels

• Arrimage et harmonisation des services
• Adoption dune philosophieet de stratégies
  communes (ententes formelles et liens
  personnalisés)
• Protocoles uniformes
• Système dinformation partagé
• Hiérarchisation dintervention
• Efficience et efficacité
• Collaboration (liens de confiance,
  reconnaissance, appui réciproque)

15
Rationnel des partenairesdu milieu communautaire

• Information
• Reconnaissance
• Réduction de la méconnaissance réciproque
• Tension entre lautonomie décisionnelle et la
  coopération
• Positionnement du CLSC et des organismes
  communautaires influence et négociation
• Perception dun décision unilatérale du CLSC,
  entraînantune stratégie similaire des organismes
  communautaires

16
Rationnel des usagers

• Relation avec lintervenant continuité
• Approche humaniste et globale
• Souplesse et simplicité dans lorganisationdes
  services
• Disponibilité continue des ressources
• Participation aux décisions cliniqueset
  organisationnelles

17
Principaux thèmes documentésau regard des 5
domaines dun programme

• Domaine Systémique rôle et position dans le
  réseau, liens avec les autres acteurs,
  légitimité
• Domaine Structurel règles et ressources,
  procédures de coordination, réseau de
  communication et dinformation
• Domaine Opérationnel processus, activités et
  comportement des membres pratiques
  professionnelles, programmation des activités,
  communication, climat de travail
• Domaine Stratégique gestion du programme,
  médiation entre les différentes instances
  organisationnelles, planification, prise de
  décisions, supervision, leadership
• Domaine Spécifique résultats optimisation des
  objectifs, satisfaction des attentes, production
  de services

18
Les constats

• Modification de la représentation du programme
• Programme un moyen et un résultat

• Négocié
• Communiqué
• Utilisé

• À lintérieur
• Avec Lextérieur du CLSC

• Modification de la représentation de la
  programmation
• Programmation phénomène dynamique et action
  continue

19
Action des évaluateurs

• Élaboration dun outil
• Commun à la planification et à lévaluation de
  programme
• Facilitant sa compréhension et sa transformation
• Fournissant une vue densemble de ses
  composanteset de ses éléments
• Précisant les actions correspondant aux
  élémentsde chaque composantes
• Permettant de déterminer les cibles et les
  stratégies dévaluation

Construction dun modèle logique détaillé
20
Traduction du programme dans un modèle logique
21
Retombées pour le CLSC

• Stimulation de lactivité réflexive
• Révision des objectifs, des activités et des
  moyens du programme
• Ouverture au changement
• Appropriation de la démarche et des outils de
  planification évaluation

22
Conclusion

• Richesse de la démarche
• Cohérence
• Diversité des résultats
• Démarche ancrée dans le contexte
• Possibilité de faire des choix éclairés
• Choix épistémologique constructivisme
• Diversité des priorités et des enjeux
• Création dattentes
• Approche non normative qui facilite les liens
  entre les acteurs et la négociation
• Démarche qui répond aux standards de lévaluation

23
Fin