Moderniser les outils dvaluation: profil doptimisation des ressources Document de discussion

1
Moderniser les outils dévaluation  profil
doptimisation des ressources Document de
discussion
Draft le novembre 2006
2
Aperçu

• Définir loptimisation des ressources
• dans le contexte de la fonction fédérale
  dévaluation
• Attentes du gouvernement à légard de
  loptimisation des ressources
• Loutil de profilage de loptimisation des
  ressources
• ce quil est et ce quil nest pas
• Fonctionnement de loutil
• Progrès à ce jour
• Prochaines étapes

3
Facteurs déterminants du renouvellement de la
politique dévaluation

•  Lapproche du gouvernement pour le contrôle des
  dépenses repose sur les trois principes
  suivants 
• les programmes gouvernementaux doivent cibler les
  résultats et loptimisation des ressources
• les programmes gouvernementaux doivent être
  conformes aux responsabilités du gouvernement
  fédéral
• les programmes qui ne servent plus les fins pour
  lesquelles ils ont été établis devraient être
  éliminés.
• Compte tenu de ces principes, le gouvernement
  lance un examen de son système de gestion des
  dépenses.  
• Discours du budget de 2006 (p. 19)

• Dans son budget de 2006, le gouvernement sengage
  à utiliser les résultats et linformation sur
  loptimisation des ressources pour encadrer
  létablissement des priorités et la prise des
  décisions par le biais dun nouveau SGD
• Lévaluation sera déterminante pour le respect de
  cet engagement
• En vertu de la Loi fédérale sur limputabilité,
  la pertinence et lefficacité de tous les
  programmes de paiements de transfert seront
  examinées au cours dun cycle de cinq ans
• Le renouvellement du Système de gestion des
  dépenses (SGD) requiert de linformation
  dévaluation sur la gamme complète de programmes
  gouvernementaux au cours dun cycle fixe
• Lévaluation est la source dinformation neutre
  et fondée sur des preuves de pertinence et de
  rendement des programmes (c.-à-d. loptimisation
  des ressources)

4
Définition de loptimisation des ressources

• Dans le contexte du gouvernement du Canada,
  loptimisation des ressources peut être définie à
  laide des critères suivants 
• Pertinence Est-ce la bonne utilisation des
  ressources?
• Est-il opportun pour le gouvernement du Canada
  doffrir ce programme? Celui-ci répond-il à un
  besoin manifeste et satisfait-il aux attentes des
  Canadiennes et Canadiens
• Rendement Quelle valeur en tirons-nous?
• Économie  Largent des contribuables est-il bien
  utilisé?
• Efficience  Le coût des extrants du programme
  (services et produits) est-il abordable?
• Efficacité quel est le degré datteinte des
  objectifs du programme? Autrement dit, quels
  résultats ont été obtenus? (ou produits)? Les
  coûts de réalisation de ces résultats sont-ils
  minimisés?

5
Contexte de loutil de profilage de
loptimisation des ressources

• La couverture de l'évaluation dans lensemble du
  gouvernement est actuellement limitée (à peine 10
  à 12  des dépenses de programme annuelles)
• Les méthodes actuelles sont fastidieuses et
  demandent du temps
• Laccent est souvent mis sur lamélioration du
  programme seulement, plutôt quoffrir une
  critique
• Renouvellement de la politique dévaluation du CT
  en cours
• Mettre laccent sur les résultats et
  loptimisation des ressources
• Approches pour favoriser la rigueur des
  évaluations et leur réalisation en temps opportun
• Loutil sajoute à la trousse dévaluation il
  introduit une méthodologie intermédiaire, plus
  économique qui peut améliorer la couverture de
  lévaluation.

• Approches dévaluation proposées_________________
  
• Évaluation stratégique
• Évaluation dimpact
• Évaluation de loptimisation des ressources
• Évaluation de la mise en uvre

6
Les fonctionnaires des ministères et organismes
centraux sont daccord que lévaluation est
essentielle au suivi de loptimisation des
ressources

• Les administrateurs généraux considèrent
  lévaluation comme point de départ de lexamen
  continu de la gestion des dépenses.
• Les fonctionnaires du SCT considèrent que
  lévaluation est un examen indépendant qui
  démontre à la direction ce que le ministère
  obtient en contrepartie des sommes dépensées.
• Des obstacles importants nuisent aux progrès 
• La plupart des évaluations sont centrées sur
  lamélioration des programmes
• Les concepts de loptimisation des ressources
  demeurent mal définis
• Les évaluateurs n'ont pas reçu de directives
  claires concernant lévaluation de la pertinence
  et de la rentabilité
• Les gestionnaires nont pas laide quil faudrait
  pour renforcer les capacités de mesure de
  loptimisation.

mais il manque souvent une évaluation générale
de la valeur dun programme.
SOURCE  Rapport Breen, 2005, Consultations
du CEE, 2004
7
Loutil de profilage de loptimisation des
ressources

• Lobjectif global de loutil
• Loutil vise à fournir une évaluation
  systématique, neutre et fondée sur des preuves du
  rendement global de loptimisation des ressources
  dun programme et de sa capacité den faire la
  démonstration.
• Lélaboration de loutil a débuté il y a plus
  dun an
• Sappuie sur des recherches poussées
• Un groupe de travail formé de chefs de
  lévaluation de six ministères a aidé à le
  peaufiner.
• Objectif à court terme mettre loutil à lessai
  et le rendre opérationnel
• Nous reviendrons avec une série plus complète
  doutils dévaluation.
• À long terme, loutil pourrait aider à élaborer
  des normes-repères en lien avec les indicateurs
  clés (p. ex., les frais généraux, les normes de
  service et la pertinence pour les clients,
  c.-à-d. leur satisfaction).

8
Loutil de profilage de loptimisation des
ressources ce quil est et ce quil nest pas

• Ce quil est 
• Cet outil utilise une approche systématique et
  fondée sur des preuves pour documenter la
  pertinence, le rendement et les coûts d'un
  programme
• Conçu pour évaluer rapidement (en deux ou trois
  mois) loptimisation des ressources
• Conçu pour une évaluation de programme par un
  tiers (ou neutre) un outil d'évaluation
  supplémentaire conçu pour être confié aux
  évaluateurs (pas aux gestionnaires de programme)
• Fournit un cadre pour les considérations liées à
  lexamen des programmes
• Cerne les risques potentiels et peut déclencher
  une évaluation immédiate plus détaillée (c.-à-d.
  une évaluation sommative)
• Fait ressortir les lacunes informationnelles du
  programme et aide les gestionnaires à mettre
  laccent sur la mesure du rendement.

9
Loutil de profilage de loptimisation des
ressources (suite)

• Ce quil nest pas 
• Ne remplacera pas l'évaluation plus détaillée et
  plus poussée
• un outil dans la trousse dévaluation proposée,
  adaptée à lutilisateur
• Ne peut pas créer linformation si elle nexiste
  pas. Les programmes ne produisent pas tous
  linformation requise pour permettre une
  évaluation de loptimisation des ressources. Il
  faudra sans doute un modèle de maturité dans la
  plupart des cas
• Ne remplacera pas mais complétera la Structure de
  gestion des ressources et des résultats (SGRR) et
  loutil canadien de cotation des évaluations de
  programme
• Dans bien des cas, pourra fournir des données
  sur le rendement qui serviront à la SGRR.

10
Fonctionnement de loutil

• Loutil cible deux domaines denquête 

11
Loutil évalue la pertinence dun programme en
attribuant la cote  faible ,  moyenne  ou
 élevée  aux critères suivants
1. Fondement du programme 2. Pertinence continue
du programme 3. Conformité aux priorités
actuelles du gouvernement 4. Opportunité pour le
gouvernement
12
La grille suivante sert ensuite à résumer
l'évaluation de la pertinence du programme
Pertinence continue démontrée
Songer à mieux cibler le programme
Repenser le programme et ses priorités
Élevée
Capacité de démontrer la pertinence
Améliorer la capacité de démontrer la pertinence
Envisager des améliorations au programme et la
capacité de mesurer sa pertinence
Pertinence continue démontrée
Moyenne
Améliorer la capacité de démontrer la pertinence
Évaluation plus poussée recommandée
Évaluation plus poussée recommandée
Faible
Faible
Moyenne
Élevée
Cote de pertinence du programme
13
Loutil évalue ensuite le rendement dun
programme en attribuant la cote  faible ,
 moyenne  ou  élevée  aux critères suivants

• Économie 
• Évaluation du coût des intrants (p. ex.,
  tendances et compréhension des vecteurs de
  coûts)
• Pratiques de gestion propices à léconomie (p.
  ex., gestion des actifs, composition des RH,
  compréhension et application des pratiques
  exemplaires).
• Efficience 
• Évaluation du coût des extrants (p. ex., cibles
  ou repères)
• Pratiques de gestion (p. ex., normes de service).
• Rapport coût-efficacité 
• Évaluation du coût des résultats (p. ex., cibles
  ou repères)
• Pratiques de gestion (p. ex., satisfaction du
  client).

La qualité et laccessibilité de linformation
nécessaire à lévaluation de ces critères est
aussi cotée  faible ,  moyenne  ou  élevée 
14
La cote globale de pertinence du programme est
ensuite reportée sur un graphique
Rendement
Élevé
Bonne optimisation des ressources
Améliorer la pertinence
Pertinence
Faible
Élevé
Améliorer le rendement
Examiner à la lumière dautres priorités
Faible
et peut être comparée à la cote dautres
programmes
15
Application de loutil

• Loutil du profil doptimisation des ressources 
• Aide les évaluateurs à mesurer les aspects clés
  de loptimisation des ressources, comme la
  pertinence et le rendement obtenu
• Aide les gestionnaires à appliquer les concepts
  de loptimisation des ressources à lexécution
  des programmes et à prouver que leurs programmes
  répondent aux priorités et aux besoins des
  Canadiens
• Aide les équipes de direction à évaluer le
  classement relatif à lintérieur dune série de
  programmes, du point de vue de loptimisation

16
Petit rappel

• Il nest jamais aisé dévaluer la rentabilité, et
  les méthodes peuvent différer selon le programme
  il faut donc une formation pour développer de
  solides indicateurs et analyser les résultats
• Si linformation fait défaut, loutil peut
  indiquer aux gestionnaires des programmes les
  renseignements quils devront recueillir pour
  démontrer loptimisation des ressources
• La rigueur de l'application de l'outil peut
  varier c.-à-d. un ministère peut utiliser le
  cadre pour effectuer une évaluation sommaire,
  sans analyse détaillée par contre, si l'on
  souhaite une analyse détaillée, le guide connexe
  indique comment procéder

17
Progrès à ce jour

• Plusieurs groupes de discussion avec des
  ministères et des analystes des programmes
  sectoriels ont abordé loutil la forme quil
  devrait prendre et son orientation
• Loutil a été distribué aux chefs de lévaluation
  à titre d information
• Les ministères sont très intéressés 
• Parrains financiers
• Patrimoine canadien
• Ressources naturelles Canada
• Secrétariat du Conseil du Trésor du Canada.
• Candidats pour l'essai de l'outil
• Agriculture et Agroalimentaire Canada
• Défense nationale
• Santé Canada
• Conseil national de recherches du Canada
• Ressources humaines et Développement des
  compétences Canada (RHDC).

18
Prochaines étapes

• Essais (novembre à mars)
• Agriculture et Agroalimentaire Canada
• RHDC
• Santé Canada
• Conseil national de recherches du Canada
• Défense nationale
• 2. À la lumière des résultats des essais, nous
• modifierons en conséquence loutil doptimisation
  des ressources
• clarifierons ses utilisations pour la prise de
  décisions
• élaborerons des outils de communication et de
  formation
• tiendrons des ateliers
• élaborerons un plan de mise en uvre permanente
• pour la base nationale de données-repères
• Pour les services consultatifs permanents