La construction et la correction d'un questionnaire à choix multiples
La structure d'un item
Un item de questionnaire à choix multiples se compose de deux parties, l'amorce et les options de réponse. L'amorce énonce le problème sous forme de question complète ou de phrase à compléter, et elle doit être compréhensible sans lecture préalable des options. Les options comprennent une réponse correcte et des leurres, appelés distracteurs. Le nombre d'options le plus répandu est de quatre, mais les travaux de docimologie montrent qu'au-delà de trois options plausibles, l'ajout d'une option supplémentaire améliore peu la qualité de mesure, parce que les options invraisemblables sont écartées immédiatement et ne jouent aucun rôle. La règle de rédaction la plus constante impose que toutes les options soient homogènes en longueur, en style grammatical et en niveau de détail, faute de quoi la bonne réponse se repère sur des indices de forme.
La rédaction des distracteurs
Un distracteur n'a de valeur que s'il correspond à une erreur réellement commise par ceux qui ne maîtrisent pas la notion. Les meilleurs distracteurs proviennent des réponses recueillies lors d'épreuves ouvertes sur le même contenu : erreurs de calcul fréquentes, confusions entre deux termes voisins, application d'une règle hors de son domaine. Un distracteur inventé pour compléter la liste se repère et ne départage personne. Plusieurs formulations sont à éviter parce qu'elles introduisent du bruit dans la mesure : les options du type « toutes les réponses précédentes », qui permettent de conclure à partir de deux options seulement, les négations dans l'amorce lorsqu'elles ne sont pas signalées, et les termes absolus comme « toujours » ou « jamais », qui sont statistiquement associés aux réponses fausses et que les candidats expérimentés écartent sans réfléchir au contenu.
Le hasard et la correction
Le choix multiple laisse une part au hasard, puisqu'une réponse donnée au hasard sur quatre options a une chance sur quatre d'être exacte. Deux traitements coexistent. La correction par points négatifs retire une fraction de point pour chaque erreur, fraction calculée pour que l'espérance de gain d'une réponse aléatoire soit nulle. Elle pénalise cependant les candidats prudents plus que les candidats sûrs d'eux, à connaissance égale. La correction sans pénalité, de son côté, encourage à répondre à tout et accepte le bruit introduit, en le compensant par un nombre d'items suffisant. L'allongement du questionnaire reste le moyen le plus efficace de limiter l'effet du hasard sur la note finale.
La portée du format en évaluation
Le choix multiple évalue correctement la reconnaissance d'une information, l'application d'une règle à un cas et l'analyse d'une situation brève, à condition que les items soient construits dans ce sens. Un item bien écrit peut porter sur un raisonnement et non sur une simple restitution, en présentant une situation inédite dont le traitement exige la règle apprise. Le format ne permet pas en revanche d'évaluer la production écrite, l'organisation d'une argumentation, ni la capacité à formuler une réponse en l'absence de toute proposition. La reconnaissance est par ailleurs une tâche plus facile que le rappel, ce qui explique qu'un même contenu donne des résultats plus élevés en choix multiples qu'en question ouverte.
Les indices de qualité d'un item
L'analyse d'items permet de vérifier après coup si une question a joué son rôle, à partir des réponses effectivement données. L'indice de difficulté correspond à la proportion de réponses correctes : un item réussi par presque tous ou raté par presque tous n'apporte aucune information sur les différences de niveau. L'indice de discrimination compare la réussite à cet item entre les candidats les mieux classés sur l'ensemble de l'épreuve et les moins bien classés ; un indice négatif signale un item défectueux, souvent ambigu ou dont la réponse attendue est contestable. L'examen de la répartition des réponses sur chaque distracteur complète ce travail : un distracteur jamais choisi occupe une place inutile, un distracteur choisi majoritairement par les meilleurs candidats signale une formulation piégeuse ou une erreur dans la clé de correction.