A quoi sert une

1
A quoi sert une évaluation ? (1/3)

• Lévaluation, cest la production dun jugement
  de valeur concernant une politique publique.
• Elle vise à mesurer les effets de la politique
  évaluée grâce à des outils.

2
A quoi sert une évaluation ? (2/3)

• Selon la charte française de lévaluation des
  politiques publiques
•  lévaluation vise à produire des connaissances
  sur les actions publiques, notamment quant à
  leurs effets, dans le double but de permettre aux
  citoyens den apprécier la valeur et daider les
  décideurs à en améliorer la pertinence,
  lefficacité, lefficience, la cohérence et les
  impacts. Lévaluation contribue ainsi à
  rationaliser la prise de décision publique, à
  moderniser la gestion de ladministration et des
  services publics et à rendre plus efficace la
  dépense publique. Elle contribue simultanément au
  développement de la responsabilité et des
  pratiques de compte rendu, ainsi quà
  lapprentissage organisationnel. Elle participe
  aux progrès parallèles de la bonne gestion et du
  débat démocratique. 

3
A quoi sert une évaluation ? (3/3)

• En résumé, les finalités et lintérêt à évaluer
  une politique ou une action publique sont
  multiples
• - contrôler le bon usage des financements publics
• - comprendre et produire de la connaissance
• - mesurer lefficacité de laction publique
• - apprécier limpact dune politique publique
• - améliorer la qualité et le fonctionnement des
  services
• - donner un sens ( relier les actes à des
  orientations philosophiques)
• - produire du changement dans les pratiques
• - mobiliser les acteurs et les partenaires
• - communiquer sur ce que lon fait.

4
(No Transcript)
5
Lévaluation locale des CUCS (1/3)

• 1) Quest ce que le Contrat Urbain de Cohésion
  Sociale ?
• Le Contrat Urbain de Cohésion Sociale est le
  document daction stratégique, élaboré par les
  partenaires locaux.
• Il définit le projet urbain et social quils
  sengagent à mettre en œuvre pour réduire les
  écarts de développement entre les territoires
  prioritaires et leur environnement.
• Il vise une meilleure intégration de ces
  territoires dans le fonctionnement de la ville.
• Il doit permettre lamélioration de la vie
  quotidienne des habitants des quartiers
  prioritaires et favoriser légalité des chances
  entre tous les habitants dune même collectivité.
• Ce contrat sadosse à un diagnostic établi par
  lensemble des partenaires, précise les objectifs
  à atteindre assortis dindicateurs, et définit
  les programmes daction au service de ces
  objectifs.

6
Lévaluation locale des CUCS (2/3)

• 2) Les thématiques du CUCS à Roubaix
• Emploi et développement économique
• Habitat et cadre de vie
• Éducation
• Santé
• Prévention de la délinquance
• Participation des habitants et citoyenneté
• Culture
• Sport et activités en direction de la jeunesse
• Promotion de légalité et de la diversité
• Agenda 21 et développement durable
• Appui au monde associatif
• Services publics de proximité

7
Lévaluation locale des CUCS (3/3)

• 3) Principes et obligations réglementaires en
  matière dévaluation
• Les circulaires du 24 mai 2006 et du 15
  septembre 2006 prévoient une évaluation des CUCS
  à échéance de 3 ans. Cette évaluation devra
  sappuyer sur des bilans annuels de réalisation
  prévus par la loi n2003-710 du 1er août 2003
  dorientation et de programmation pour la ville
  et la rénovation urbaine.
• La circulaire du 15 septembre 2006 insiste sur
  le fait que les CUCS doivent intégrer la
  préoccupation évaluative dès leur phase
  délaboration et que, pour cela, ils doivent
  formuler des objectifs et des résultats attendus
  qui soient évaluables.

8
Quoi évaluer ? (1/2)

• Lévaluation du CUCS vise
• dune part à rendre compte de la mise en œuvre et
  des effets du CUCS au travers de ses programmes
  daction
• dautre part à apprécier les pratiques
  partenariales et organisationnelles induites par
  le CUCS.
• 1) Évaluation de la mise en œuvre des programmes
  daction et leurs résultats
• Le bilan annuel de réalisation  quavons-nous
  fait ou financé lannée écoulée ?  
• La mesure ou lidentification des résultats
  produits par les programmes daction vise à
  répondre aux trois questions évaluatives
  suivantes
• - le programme daction a-t-il été ou non
  efficace ? (évaluation defficacité et dimpact)
• - si oui, comment ? Si non, pourquoi ?
  (évaluation des conditions de mise en œuvre)
• - lefficacité constatée est-elle à la hauteur
  des moyens financiers, humains et institutionnels
  mobilisés ? (évaluation de lefficience)
• Il sagit de constater ce que les réalisations
  ont produit ou non en terme damélioration de la
  situation de départ et de comprendre pourquoi
• Dans un but dapprécier la performance de
  laction publique, au regard des finalités de la
  politique de la ville.

9
Quoi évaluer ? (2/2)

• 2) Évaluation de limpact du contrat lui-même
• Identifier et apprécier les changements
  structurels induits (réalisé au terme des 3 ans).
  Cette appréciation se fera par rapport aux
  finalités et principaux enjeux stratégiques du
  CUCS
• 3) Évaluation de lévolution des pratiques
• La transversalité de laction publique entre
  les différents partenaires
• La participation des habitants

10

• Les pré requis pour mener une évaluation (1/2)
• une démarche continue et participative
• sert à la fois à piloter le projet en continu, à
  ladapter et à laméliorer
• Concrètement cela suppose de 
• 1) veiller à rendre les contrats évaluables dès
  leur élaboration  cette phase doit permettre
  daffiner les objectifs stratégiques et
  opérationnels puis, de formuler des résultats
  attendus suffisamment clairs pour permettre de
  mesurer ultérieurement lefficacité et les
  impacts des actions conduites.
• 2) se doter des outils locaux de suivi et
  dobservation 
• - mettre en place un dispositif et un outil de
  collecte des données physiques (réalisations et
  résultats) et financières 
• - sassurer de la disponibilité des données
  nécessaires à lobservation et à lanalyse des
  évolutions des quartiers et mettre en place un
  système dobservation des quartiers avec les
  institutions compétentes (INSEE, CAF, ANPE, ADU)

11

• Les pré requis pour mener une évaluation (2/2)
• 3) piloter les politiques/projets grâce à
  lévaluation continue  lévaluation doit
  contribuer au pilotage des politiques, ce qui
  suppose que les comités de pilotage et technique
  jouent un rôle actif dans sa mise en œuvre 
  portage politique du projet évaluatif, définition
  dun programme dévaluation, désignation dun
  responsable technique de lévaluation, temps de
  discussions annuels sur les résultats de
  lévaluation
• 4) ne pas chercher à tout évaluer mais choisir
  des priorités 
• on ne peut tout évaluer, il faut donc faire des
  choix concernant les thématiques ceci en fonction
  des priorités dintervention stratégiques pour la
  ville.

12
Comment rendre évaluable les CUCS ? (1/6)

• 1) Définir quelques questions évaluatives
• - En partant des principaux enjeux stratégiques
• - En ayant un débat entre décideurs
• - En se préoccupant sur deux ou trois
  préoccupations majeures
• - En définissant les objets qui constitueront la
  cible de lévaluation (tel ou tel quartier)

13
Comment rendre évaluable les CUCS ? (2/6)

• 2) Créer un référentiel dévaluation
• 4 étapes constituent la démarche de construction
  du référentiel
• 2-1) mise en relation des éléments du diagnostic,
  des orientations stratégiques et des objectifs
  finaux

14
Comment rendre évaluable les CUCS ? (3/6)

• 2-2) Mise en perspective opérationnelle du
  diagnostic et des enjeux

15
Comment rendre évaluable les CUCS ? (4/6)

• 2-3) construction de larbre des objectifs du
  CUCS

16
Comment rendre évaluable les CUCS ? (5/6)

• 2-4) indentification des indicateurs
• Choisir les bons indicateurs
• - La disponibilité trouver des indicateurs qui
  soient renseignables
• - La précision
• - Lutilité ne sert à rien davoir une batterie
  trop grande dindicateurs, il suffit den choisir
  quelques uns, jugés les plus pertinents

17

• Comment rendre évaluable les CUCS ? (6/6)
• Il existe plusieurs types dindicateurs
• - Les indicateurs de réalisations ils servent à
  vérifier si les actions ont été ou non réalisées
• - Les indicateurs de résultats ils servent à
  identifier le produit immédiat dune action ou
  dune série dactions.
• Les indicateurs dimpact ils se rapportent aux
  objectifs finaux et aux orientations stratégiques
  du CUCS. Ils servent à mesurer les effets des
  programmes dactions.
• Les indicateurs de contexte ils servent à
  établir des constats sur la réalité locale, si
  possible en amont, puis en aval de laction
  publique. Ils aident aussi à apporter des
  éléments de diagnostic sur le territoire

18
(No Transcript)
19
(No Transcript)
20
Comment conduire lévaluation ? (1/3)

• Une évaluation comprend différentes étapes,
  parce quelle comprend différents niveaux
  danalyse qui correspondent eux à des
  temporalités différentes.
• Lévaluation doit permettre de rassembler des
  éléments concernant à la fois
• Le suivi vérifier la mise en œuvre des actions
  et leurs réalisations concrètes (indicateur de
  suivi)
• Lobservation avoir des éléments dinformation
  sur lévolution des données sociologiques sur le
  territoire (indicateurs de contexte)
• Lévaluation des effets du CUCS comprendre les
  effets sur le quartier (indicateur deffet ou
  dimpact)

21
Comment conduire lévaluation ? (2/3)
22
Comment conduire lévaluation ? (3/3)
23
Plan de mise en œuvre de lévaluation sur 3 ans
(1/2)
24
Plan de mise en œuvre de lévaluation sur 3 ans
(1/2)
25
Préparer la mise en œuvre de lévaluation

• 1) Mettre en place de suivi physique et financier
  
• Il sagit de
• - Créer une fiche de suivi destinée à lensemble
  des opérateurs. Cette fiche doit être simple et
  facile à remplir.
• - Le suivi de réalisation est fait par les
  opérateurs (associations) ce sont eux qui
  savent quand, pour quel montant et comment ont
  été mises en place les actions.
• - Cette fiche est remplie pour chaque action et
  chaque année.
• - Il est important de communiquer avec les
  différents opérateurs sur lutilité de ces fiches
  de suivi.
• 2) Choisir les indicateurs de suivi et deffets
• 3) Mettre en place les coopérations nécessaires
  au recueil des indicateurs (CAF, INSEE, ADU)
• 4) Mettre en place les modalités de recueil et
  danalyse des données en interne
• - Création de tableaux de bord
• - Création dun comité de suivi et de pilotage
  de lévaluation

26
Exemple de fiche de suivi (1/2)
27
Exemple de fiche de suivi (2/2)
28
Piloter lévaluation (1/3)
29
Piloter lévaluation (2/3)
30
Piloter lévaluation (3/3)
31
Associer les acteurs et les habitants à
lévaluation (1/4)

• La participation des habitants constitue lun des
  leitmotivs de la politique de la ville depuis son
  
• origine.
• Il sagit de passer dune logique de guichet à
  une logique de projet associant lensemble des
• acteurs concernés.
• Différents niveaux de participation des habitants
  

32
Associer les acteurs et les habitants à
lévaluation (2/4)
33
Associer les acteurs et les habitants à
lévaluation (3/4)
34
Associer les acteurs et les habitants à
lévaluation (4/4)
35
Mobiliser les bonnes techniques pour lenquête et
pour la participation
36
Restituer les résultats
37
Les caractéristiques dune bonne évaluation
38
Établir un cahier des charges (1/6)
39
Établir un cahier des charges (2/6)
40
Établir un cahier des charges (3/6)

• Les outils

41
Établir un cahier des charges (4/6)
42
Établir un cahier des charges (5/6)
43
Établir un cahier des charges (6/6)