3.4 Conception de l’évaluation

a. Tester le prototype
b. L’évaluation de la maquette par un comité d’experts
c. Evaluer les modalités de diffusion et d’évaluation (processus)
d. Evaluer l’impact de l’outil

La Fiche 9 vous donne une définition de l’évaluation.

Ce chapitre présente plusieurs facettes de l’évaluation de l’outil :
 Le pré-test du prototype de l’outil
 L’évaluation de la maquette par des experts indépendants
 L’évaluation des modalités d’utilisation de l’outil
 L’évaluation de l’impact de l’outil (« impact » au sens de « atteinte des objectifs »)

Pour chacune de ces modalités d’évaluation, vous trouverez :
 ses objectifs et les décisions qu’elle permet de prendre.
 ce sur quoi elle porte et le type d’information qu’elle permet de recueillir.
 quelques éléments pratiques.

Le pré-test et l’évaluation de la maquette par une cellule d’experts fourniront des informations utiles au promoteur de l’outil. Les deux dernières modalités d’évaluation peuvent quant à elles servir autant au promoteur qu’aux utilisateurs. A charge donc pour le promoteur de construire des outils d’évaluation qui lui permettront de recueillir des données qui lui soient directement utiles et d’autres outils qui lui fourniront des éléments concernant les utilisateurs.
Ces modalités d’évaluation peuvent être définies en interne ou par le biais d’un évaluateur indépendant. Dans les deux cas, elles doivent être planifiées et budgétisées. Une évaluation produite par des organismes indépendants peut vous servir d’argument dans le cadre de négociations auprès d’utilisateurs et/ou de financiers potentiels.

Rappelez-vous également que toute démarche d’évaluation en direction du public (final ou relais) doit être explicitée : à quoi va-t-elle servir ? sur quels critères sera-t-elle fondée ?

a. Tester le prototype

L’objectif du pré-test est de procéder à des réajustements de l’outil. Si vous avez suivi les procédures présentées dans les temps précédents, ces modifications ne devraient pas remettre en question l’ensemble du travail.

Cependant, la confrontation à la réalité réserve parfois quelques surprises.

Le pré-test auprès du public (final et relais) doit fournir au promoteur plusieurs types d’information :
 l’articulation entre les objectifs énoncés et le contenu de l’outil est-elle cohérente ?
 le contenu est-il compréhensible par le public final et relais ?
 les procédés psychopédagogiques choisis sont-ils en adéquation avec le support au regard du public final ?

Le pré-test doit se réaliser sur la base d’une maquette qui permet une évaluation en situation réelle. Celle-ci doit correspondre au maximum à l’objet final attendu. Certains supports, comme la vidéo ou le CDrom représentent un coût de réalisation tellement élevé que vous n’avez pas droit à l’erreur. Mieux vaut recourir à des scénarios, story boards et autres supports papier.

Déterminez au préalable votre marge de manœuvre, c’est-à-dire ce sur quoi vous pouvez intervenir. C’est ainsi que si vos illustrations sont issues d’une banque d’images et ne peuvent être modifiées, ne demandez pas à vos « testeurs » de donner un avis à leur propos ! Sachez aussi qu’il est impossible de prendre en compte toutes les suggestions. Il vous faudra filtrer et garder les plus pertinentes ou les plus réalisables.

Sélectionnez ensuite les éléments sur lesquels vous souhaitez un avis. Pour ce faire, revenez sur les critères de qualité exposés au point 3.3. Par exemple :

 présentation générale, attractivité, graphisme etc.
 orthographe, grammaire, lisibilité (cf. Fiche 13)
 contenu (exactitude etc.)
 procédés psychopédagogiques (implication du public, dynamisme, adéquation des objectifs etc.)
 conditions d’utilisation préconisées
 autres

 Les objectifs de l’outil correspondent-ils au contenu ?
 Les illustrations/situations présentées n’enferment-elles pas hommes et/ou femmes dans des stéréotypes culturels, sexistes ou raciaux ?
 Les situations évoquées sont-elles acceptables par des personnes issues de cultures différentes ?
 Les conditions de mise en œuvre de l’outil sont-elles compatibles avec la réalité du public ?
 Le contenu est-il compréhensible pour le public final et relais ?

En fonction du type d’information souhaitée, du temps dont vous disposez, de votre réseau de contact etc., deux principales possibilités s’offrent à vous :

Faire relire les différents supports de l’outil par des experts, des utilisateurs potentiels, des membres du public final en leur fournissant une grille de lecture afin de les orienter sur le type de renseignements que vous cherchez.

Faire « vivre » l’outil en situation réelle. Si c’est un jeu, organisez une partie. Si c’est une pièce de théâtre, organisez une avant-première. Si c’est un livre, faites-le lire. Pour cela, sélectionnez des « testeurs » représentatifs de votre public final.

Engager des testeurs

Faites un échange de bons procédés. Offrant l’outil à des utilisateurs ou à des représentants du public final, à charge pour eux de vous faire part de leur impression d’utilisateurs, de leurs critiques et de leurs conseils.

b. L’évaluation de la maquette par un comité d’experts

L’objectif est ici d’améliorer un outil en construction, à partir de sa maquette, et en-dehors de tout contexte d’utilisation.

L’évaluation d’expertise porte sur des critères de qualité intrinsèques à l’outil : la rigueur et la pertinence de son contenu, l’implication individuelle et collective suscitée par ses procédés pédagogiques, sa « compréhensibilité », la qualité de sa démarche d’accompagnement, la qualité formelle de ses composantes (solidité, esthétique etc.)

Le point 3.1 du Temps 3 vous fournira plus de détails sur les modalités pratiques de l’évaluation par un comité d’experts.

c. Evaluer les modalités de diffusion et d’évaluation (processus)

L’évaluation de processus étudie la façon dont l’outil est diffusé puis utilisé dans la pratique. Quel est son succès ? Comment est-il accueilli ? Comment et par qui sont organisées la promotion et la diffusion ? Quelles sont les éventuelles difficultés rencontrées par les utilisateurs ?

Les données d’évaluation seront recueillies au Temps 5. Il est cependant nécessaire de prévoir dès à présent la procédure d’évaluation que vous utiliserez pour récolter ces informations.

Pour le promoteur, l’objectif de cette évaluation est de faire le point sur une réalité (comme le ferait un rapport d’activité) mais aussi de faire apparaître d’éventuels éléments à améliorer : une formation à organiser pour les utilisateurs, la suggestion de modalités de diffusion ou d’utilisation plus pertinentes, des corrections à apporter au cahier d’accompagnement, des précautions à prendre dans la diffusion de l’outil etc..

L’utilisateur pourra quant à lui obtenir des informations sur la satisfaction de son public quant à la qualité de son animation. Prévoyez à cette fin une procédure d’évaluation qui permettra de récolter ces données (un questionnaire pour le public, une invitation à s’exprimer au cours d’un tour de table, un dessin à réaliser etc.)

Cette évaluation est assez coûteuse et compliquée à organiser car :

 elle nécessite de « pister » les utilisateurs, soit en prévoyant un questionnaire à vous renvoyer (mais le taux de réponse est parfois bien faible !) soit en retournant sur le terrain pour interroger ou observer directement les utilisateurs.
 elle exige de varier les situations d’utilisation étudiées afin d’obtenir une information généraliste.
 elle est difficile à standardiser : il faut à chaque fois recommencer à zéro car pour chaque outil, les critères et indicateurs d’évaluation (et donc les instruments de récolte des données) sont différents.

d. Evaluer l’impact de l’outil

Pour le promoteur, les objectifs de cette évaluation sont d’étudier l’efficacité de son outil afin de faciliter sa diffusion et son utilisation, d’obtenir des subventions etc. Pour l’utilisateur, il s’agit d’estimer la qualité et l’impact de ses interventions pour éventuellement adapter celles-ci.

Cette évaluation cherche à vérifier que les objectifs sont remplis. Elle tente de répondre à ces questions : les objectifs sont-ils atteints ? L’outil permet-il d’acquérir des connaissances ? Induit-il un changement de comportement ou d’attitude ? Une ouverture d’esprit ? Un dialogue ? Des modifications du milieu de vie ? etc.

Les données d’évaluation d’impact sont recueillies au Temps 5. Mais il est nécessaire d’en prévoir dès à présent la procédure d’évaluation (les instruments de récolte d’informations) que vous utiliserez.

Cette évaluation n’est pas simple à mettre en place car les objectifs visés - souvent à moyen et long terme – sont difficilement évaluables. D’où l’intérêt de définir pour l’outil des objectifs variés incluant une réflexion sur les comportements du public (cf. temps 2), plus simples à évaluer.

En pratique, vous pouvez prévoir dans votre outil un questionnaire destiné aux utilisateurs et/au public final. Vous pouvez aussi construire une grille d’observation à remplir en temps réel par les utilisateurs (public relais), interroger un échantillon de membres du public final etc.

Tout comme pour l’évaluation de processus, il vous faudra récolter des informations pour vous mais aussi prévoir des outils d’évaluation permettant aux utilisateurs et au public final de « faire le point » et de prendre conscience de ce que l’outil leur a apporté.

Obtenir de l’aide

Des organismes peuvent vous aider à construire votre procédure d’évaluation. Pensez à l’équipe de PIPSa et à l’APES-ULg (Service communautaire de Promotion de la Santé).