Les données d‘évaluation seront recueillies tout au long du travail de prototypage (grande étape suivante) et bien sûr, principalement, après la diffusion et l’utilisation de l’outil. Il est cependant nécessaire de prévoir dès à présent la procédure que vous utiliserez pour récolter ces informations.

• L’évaluation de processus étudie la façon dont l’outil est diffusé puis utilisé dans la pratique.

• L’évaluation d’impact mettra en lumière le succès de votre outil par rapport aux objectifs que vous avez définis.

Soyons clair, cette évaluation sont assez coûteuses et compliquées à organiser car :

• elles nécessitent de « pister » les utilisateurs, soit en prévoyant un questionnaire à vous renvoyer (mais le taux de réponse est parfois bien faible !) soit en retournant sur le terrain pour interroger ou observer directement les utilisateurs.
• elles exigent de varier les situations d’utilisation étudiées afin d’obtenir une information généraliste
• elles sont difficile à standardiser : pour chaque outil, les critères et indicateurs d’évaluation (et donc les instruments de récolte des données) sont différents.

Évaluation de processus

Pour le promoteur

L’objectif de cette évaluation sera de faire le point sur une réalité mais aussi de faire apparaître d’éventuels éléments à améliorer : une formation à organiser, la suggestion de modalités de diffusion ou d’utilisation plus pertinentes, des corrections à apporter au cahier d’accompagnement, des précautions à prendre dans la diffusion de l’outil, etc.

• Quel est le succès de l’outil ? Comment est-il accueilli ?
• Comment et par qui sont organisées la promotion et la diffusion ?
• Quelles sont les éventuelles difficultés rencontrées par les relais de 1^re ligne ?

Pour les relais de 1^re ligne

Prévoyez une procédure d’évaluation qui permettra aux relais de récolter des données (un questionnaire pour le public, une invitation à s’exprimer au cours d’un tour de table, un dessin à réaliser etc.)

• Le public final est-il satisfait de la qualité de l’animation ?
• Qu’a-t-il compris ? Qu’a-t-il retenu ?
• Avec quelle satisfaction, quel points positifs (ou négatifs), quels enrichissements rentre-t-il chez lui ?

Évaluation d’impact

Cette évaluation cherche à vérifier que les objectifs sont remplis. Elle tente de répondre à ces questions.

• Les objectifs sont-ils atteints ?
• L’outil permet-il d’acquérir des connaissances ?
• Induit-il un changement de comportement ou d’attitude ? Une ouverture d’esprit ? Un dialogue ? Des modifications du milieu de vie ? Etc.

Cette évaluation n’est pas simple à mettre en place car les objectifs visés – souvent à moyen et long terme – sont difficilement évaluables. D’où l’intérêt de définir pour l’outil des objectifs variés incluant une réflexion sur les comportements du public, plus simples à évaluer.

Pour le promoteur, les objectifs de cette évaluation sont d’étudier l’efficacité de son outil afin de faciliter sa diffusion et son utilisation, d’obtenir des subventions etc. Pour le public-relais, il s’agit d’estimer la qualité et l’impact de ses interventions pour éventuellement adapter celles-ci.

En pratique, vous pouvez prévoir dans votre outil un questionnaire destiné aux relais et/ou public final. Vous pouvez aussi construire une grille d’observation à remplir en temps réel par les relais, interroger un échantillon de membres du public final etc.

Tout comme pour l’évaluation de processus, il faudra prévoir de récolter des informations pour vous mais aussi imaginer des outils d’évaluation permettant aux relais et au public final de « faire le point » et de prendre conscience de ce que l’outil leur a apporté.