Révision datée du 8 novembre 2017 à 13:57 par Admin (discussion | contributions)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

2017.09.21 - Échange sur les critères d'évaluation

De Wiki 3DD - Espace de concertation
Réflexions sur le travail d'évaluation des résultats du 3dd.


Contexte

Pour évaluer les résultat du projet, il n'existe pour le moment aucun critère. Seul la Réponse au Programme d’encouragement pour le développement durable en fait mention dans la partie consacrée à la visibilité des résultats (3.9)

'Pendant la période d’une année qui concerne cette demande, les résultats du projet « - 3DD espace de concertation - Animer, Documenter, Partager, Valoriser » et plus généralement du - 3DD espace de concertation – peuvent se mesurer par : le nombre d’animation et la diversité des animations dans le lieu ; le nombre de bénéficiaire, la diversité des usagers et leur type d’usage ; La fréquentation du lieu et la diversité des usages ; le nombre de projet élaboré et/ou prototypé dans le lieu. Les résultats peuvent aussi se mesurer par la documentation. C’est à dire, par le nombre de contributeurs et de visiteurs sur la plateforme de partage des connaissances, ainsi que le nombre de contributions. Comme précisé plus haut (voir 1. Contexte, objectif du projet et groupe cible) l’ambition est d’opter pour une attitude humble afin d’ « effectivement faire évoluer les pratiques avant de communiquer sur une évolution des pratiques ». Ainsi, les animations et le travail de documentation sera relayé sur l’ensemble des réseaux sociaux du - 3DD espace de concertation -, c’est à dire : Facebook, Twitter, Youtube, Instagram, Linkedin, Soundcloud. Par ces médiums, la visibilité des animations pourra être mesurée au nombre de vues, d’abonnés, de suiveurs, de retweet, de like, etc. Concernant l’annonce et les invitations à participer aux animations, leurs visibilité se décidera au fur et à mesure en accord avec les bénéficiaires.

Proposition

L'échange entre sur messenger entre Antoine Burret(AB) et Grégoire Japiot(GP) part de ce contexte.

GP : les critères sont assez bien listés dans "Visibilité des résultats et communication" mais c'est pas mal de trouver un moyen pour être un peu plus spécifique si c'est possible (d'expérience ça a un coté rassurant pour les décideurs d'avoir une pseudo grille d'évaluation et un moyen d'insister sur l'agilité)

AB : oui je suis d'accord. si t'as des idées on peut ouvrir une page évaluation. tu en penses quoi? on ouvre une page la dessus?

GP : oui ça me semble une bonne idée d'avoir une page dédiée (...) dans l'idéal les critères d'évaluation devraient être le plus possible co-construit avec le cercle 1 et 2 et dans tous les cas validés avec le max de personnes du cercle 1.Peut-être en listant les différent critères et en demandant aux partie prenantes de mettre un poids/rating sur chacun (genre de 1 à 3 ou de 1 à 5).

AB : oui très bonne idée. Après l'idéal serait de faire ressortir le(s) critère miracle

GP : le critère miracle est le taux de catalyse ^^

AB : qui se mesure au nmb de litre de bière

GP : en fait je pense que le critère miracle est comment sur une période de X mois (en l'occurence 1 an environ pour cette phase) il y a eu plusieurs itérations qui on permis d'ajuster certains aspects du projet dans le respect des avis/besoins/feedbacks de chacun qui font qu'à chaque fin des nouvelles itération la note globale est de mieux en mieux (la note globale correspondant aux critères d'évaluation coconstruits et validés par tous à chaque nouvelle itération)

Questions générales

Qu’est-ce qui est évalué ?


Le succès de l’expérimentation sur 1 an de l’espace 3DD.


Volontairement pour le moment très général : à voir si on détaille un peu plus déjà en intro ici ce qui est évalué.


Pourquoi est-ce évalué ?

Pendant la durée de l’expérimentation (« évaluation continue »/« évaluation agile »), les évaluations hebdomadaires (« sprints ») et mensuelles permettent une grande réactivité dans la gestion du projet : des modifications sur la gestion du lieu peuvent être prises afin d’optimiser instantanément les points repérés comme améliorables (cette gestion s’inspire de la méthode agile). 
L’évaluation globale, qui sera effectuée à la fin de l’expérimentation, est nécessaire pour estimer la pertinence du modèle 3DD, sa pérennité, ses options de développement, ou encore la possibilité de reproduire ce modèle pour l’ouverture d’autres lieux similaires ailleurs sur le territoire.


Ça me semble intéressant de préciser dès le départ qu’il y aura deux types d’évaluations qui seront spécifiées afin d’optimiser le projet et de bien sensibiliser sur l’importance de l’agilité.


Qui veut l’évaluation ?


Le projet s’inscrivant dans le cadre du participatif et se voulant co-construit et inclusif, on peut naturellement considérer que l’ensemble des acteurs et du public « veut » une évaluation car elle est bénéfique pour le projet et lui donne davantage de chance de se pérenniser.


J’aime bien cette façon de présenter qui remet bien au centre la vocation participative et la co-construction.


Qui fera l’évaluation ?

Dans le respect des principes de la concertation et du participatif, l’ensemble des personnes concernées et impliquées (acteurs et public) pourront être impliqués dans les processus d’évaluation. La méthode d’évaluation est pensée de manière à recueillir de manière exhaustive les retours de chacun, et de permettre une synthèse générale avec les indicateurs pertinents afin que le DALE puisse décider des suites à donner à cette expérimentation.


L’idée à ce stade est encore une fois de dire que co-construction/concertation signifie que d’un coté tout le monde évalue, mais que l’on garde bien en tête que d’un autre coté il est nécessaire que l’évaluation permette aux initiateurs de décider de la suite. Le « qui » sera détaillé plus bas selon les différentes évaluations.


Comment se fera l’évaluation ?


L’évaluation se fera à l’aide de différentes méthodes et différents outils (en ligne mais aussi en contact direct) qui dépendront des points évalués, du moment où ils sont évalués (« évaluation agile » ou évaluation finale) et des types d’acteurs/public qui évalueront. Ces méthodes et outils seront détaillés plus bas avec les éléments de contexte correspondants.

Liste d’indicateurs d’évaluation


Liste non-exhaustive créée à partir du point 3.9 consacrée à la visibilité des résultats de la page : 2017.09.15 - Réponse au Programme d’encouragement pour le développement durable

Usages du lieu

  • Nombre d’animations
  • Diversité des animations dans le lieu
  • Nombre de bénéficiaires
  • Diversité des usagers
  • Type d’usages des usagers
  • Fréquentation du lieu
  • Diversité des usages
  • Nombre de projets élaborés et/ou prototypés dans le lieu

Documentation

  • Nombre de contributeurs
  • Nombre de visiteurs sur la plateforme de partage des connaissances
  • Nombre de contributions.

Réseaux sociaux

  • Vues
  • Abonnés
  • Suiveurs
  • Retweets
  • Likes
  • etc. voir le détail de la présence sur les réseaux sociaux voir Sur les internets

Intervenants dans le cadre de l’évaluation

Lister ici les différents acteurs qui interviendront dans le cadre du projet et de son évaluation.
L’idée étant de pouvoir ensuite reprendre ces catégories d’utilisateurs pour les indiquer dans les spécifications des différentes évaluations. 
Du genre : chef de projet », partenaire associatif, administration, politique etc. 
 Bon, c’est pas très clair comme ça mais en général pour spécifier les évaluation on met par exemple : chefs de projet, administration, experts externes, décideurs politiques, public etc. (il faut juste qu’on adapte avec les bonnes catégories)

Outils d’évaluations


Lister ici les différents types d’évaluation : séance de sprint hebdomadaire (cf. Agile), sondage, entrevue, groupe de discussion, formulaire etc.

Types de critères d’évaluation

L’idée est de lister ici les différentes options qu’on choisira d’intégrer selon les cas.


Pour le moment je copie une liste trouvée dans un doc sur l’évaluation en développement durable juste histoire d’expliquer le principe

  • Indicateurs quantitatifs


Ex.: Surface de terrain consommée par le projet en m2: 150 m2

  • Indicateurs semi-quantitatifs

Ex.: Consommation de terrain: 3, sur une échelle de 0 à 4

  • Notations subjectives semi-quantitatives

Ex.: Consommation de terrain: –1 sur une échelle de –2 à +2

  • Réponses oui/non à une question fermée


Ex.: Le projet entraîne-t-il une consommation de terrain? oui

  • Réponses qualitatives

Ex.: Consommation de terrain: le projet entraîne une consommation moyenne de terrain, mais ce terrain est situé sur une zone de friche industrielle qui ne pourrait pas être valorisée différemment sans grand investissement.

Spécifications des différentes évaluations

A partir des éléments détaillés plus haut, décrire dans cette section les spécificités inhérentes à chaque évaluation

Evaluations hebdomadaires

Spécifier ici comment seront organisés les revues des sprints et les points d'échanges hebdomadaires : acteurs concernés, durée, lieu (probablement en conf call/visio), différents points/indicateurs suivis (quantité et qualité des animations de la semaine passée, communication autour du lieu, contributions au niveau de la documentation etc.), outils utilisés pour le suivi des sprints (probablement trello et slack, avec une note de synthèse sur le wiki), analyse des feedbacks généraux (idées/commentaires proposés par l'écosystème lors de leur passage au 3DD ou en ligne par email ou sur les réseaux sociaux), échange sur une éventuelle mise à jour/adaptation du process d'évaluation et/ou des critères à partir des points discutés juste avant, passage en revue du programme de la semaine à venir pour identifier les principaux points d'évaluation à cibler en fonction des animations prévues (l'occasion par exemple de décider de préparer un sondage en ligne correspondant à un event/public particulier de la semaine à venir ou encore d'imprimer des formulaires à remplir sur place pour une animation qui sera plus ciblée sur des enfants, des seniors ou autres personnes pas forcément connectées pour remplir une évaluation en ligne).

Evaluations intermédiaires

Le rythme reste à définir, mais il semble intéressant de prévoir des jalons au cours de l'année du projet afin de permettre des évaluation intermédiaire entre les sprints hebdomadaires et l'évaluation finale. Ces évaluations doivent avoir des axes spécifiques et il convient aussi de définir les intervenants qui seront concernés pas ces évaluations (si les évaluations hebdomadaires concerneront particulièrement le cercle restreint des acteurs très impliqués dans la gestion et l'animation du 3DD au jour le jour, ces évaluations intermédiaires doivent être pensées pour un public plus large incluent le "deuxième cercle" et les décideurs/autorités qui seront intéressés

Evaluation globale

Spécifier ici les grandes lignes de l'évaluation finale : méthode, indicateurs clefs, supports et outils, intervenants etc. Idéalement il faudrait pouvoir avoir une première spécification suffisamment précise assez rapidement afin d'avoir vraiment la confirmation au niveau des différentes parties prenantes principales sur ce qui permettra de juger du "succès" de l'expérimentation et que cela puisse être claire pour tous.

Planning des évaluations

Timeline visuelle synthétisant les différentes évaluations (dates : des réunions/sprints/groupes d'échanges, des envois de formulaire d'enquêtes, des restitutions etc.

Ressources