Sur THEIA, plus de 8500 Questions à Réponses Multiples (QRM) sont créées chaque mois depuis 2016.
Et nous comprenons bien pourquoi cette modalité d’évaluation est appréciée par nos partenaires ! En effet, les QRM ont pour gros avantage de permettre l’évaluation des compétences et connaissances d’un candidat de manière automatisée, sans surcoût pour la correction.
Néanmoins, l’aspect pratique n’est pas le seul intérêt à l’utilisation des QRM dans les épreuves, examens et concours. Des questions bien conçues permettent de mesurer les connaissances des candidats de manière objective et efficace et peuvent s’appliquer à (presque) tous les domaines. Mais leur rédaction peut être délicate et nécessite de s’interroger sur plusieurs aspects.
C’est ce que nous allons aborder aujourd’hui en passant en revue 10 bonnes pratiques pour des QCM pertinents !
1. Indiquer le format de réponse attendu aux candidats
Savez-vous reconnaitre en un coup d’oeil une QRM (Question à Réponses Multiples) et une QRU (Question à Réponse Unique) ?
En informatique, la convention veut que les choix obligatoires et uniques soient représentés par un bouton radio (de forme ronde), alors qu’un choix multiple est signifié à l’utilisateur en lui montrant une case carrée. Les QRM et les QRU respectent également cela.
Néanmoins, vos étudiants ne sont pas forcément tous au courant de cette règle d’usage, et la mise en forme des bouton en elle-même ne suffit pas à leur signifier l’attendu de la question. C’est pour cela qu’il est très important d’indiquer de manière précise et rédigée à vos étudiants quel est le type de question qui leur ai présenté, d’autant plus quand un même examen peut contenir QRM et QRU.
Dans la plateforme THEIA, le type de question est toujours présenté aux étudiants en face de son titre. Ils savent ainsi si plusieurs réponses sont attendues ou non.
Dans le cas d’une QRM, il peut également être intéressant de leur indiquer le nombre précis de réponses attendues. En effet, l’objectif du questionnaire à choix multiple n’est pas d’induire en erreur les étudiants sur le nombre de réponses valables. Globalement, l’ajout d’aide à la saisie des réponses permet donc de décentrer le niveau de difficulté de la question.
Ce choix dépend néanmoins de l’intention pédagogique qui la sous-tends : caractère de la connaissance mise en jeu dans la question, complexité des savoirs évalués, niveaux des candidats, etc. Sur ce point, pas de règle, l’expérience enseignante prédomine dans les choix rédactionnels !
2. Ecrire des questions indépendantes - même dans les dossiers progressifs !
Dans THEIA, vous pouvez choisir si vos dossiers de questions sont libres (navigation acceptée entre les questions) ou si ils sont progressifs (obligation de fournir une réponse à la question avant de pouvoir lire et répondre à la suivante).
Si les deux formats sont bien sûr acceptés pour l’utilisation des QRM, il faut tout de même garder en tête que chaque bonne réponse doit pouvoir être donnée indépendamment des questions précédentes. En effet, il serait contestable de bloquer l’avancement global d’un étudiant et sa possibilité de fournir une bonne réponse à une question car celui-ci a commis une erreur sur la question précédente : ce serait la double peine !
Les QRM peuvent donc avoir une notion de progression pédagogique, être créées dans un dossier de questions progressif et pour autant permettre aux étudiants de ne pas « décrocher » du dossier. Pour cela, il faut penser à préciser dans l’énoncé de chaque question les éléments essentiels qui permettent de répondre sans préjuger du fait que les étudiants en ont déjà connaissance via les questions précédentes.
3. Ecrire des propositions indépendantes les unes des autres
Dans une logique sensiblement différente, les propositions de réponses doivent elles aussi être indépendantes les unes des autres. On évitera ainsi les propositions grammaticales qui se répondent, comme sur l’exemple ci-dessous :
Vous conduisez une voiture sur une route nationale et arrivez à un feu de croisement. Celui-ci est vert. Vous décidez de :
A – Continuer à votre allure
B – Vous arrêter
C – Accélerer
D – Au contraire, ralentir
Ceci est important pour la compréhension des propositions, qui ne doivent pas se faire écho les unes aux autres afin de permettre un choix objectif et non influencé. De plus, il est possible que vous décidiez de mélanger les propositions de réponses dans l’examen d’un étudiant à l’autre (voir point N° 9), et vos propositions n’auraient alors plus du tout de sens !
4. Ne pas utiliser de négation
Ce point vous a semblé moins clair que les autres ? C’est sûrement parce qu’il utilise une forme négative.
En effet, utiliser des formes négatives (syntaxiques ou sémantiques) lorsque l’on doit choisir une bonne réponse perturbe la compréhension et peut venir interférer dans la réflexion de l’étudiant. Ceci est valable pour la question en elle-même ainsi que pour les propositions. On évitera ainsi les questions de types « Toutes les propositions sont fausses sauf une » ou « Laquelle de ces réponses n’est pas… ». Et bien sûr, toutes les phrases usant de double négation !
5. Penser des distracteurs pertinents
Si ceci semble évident, il s’agit pourtant certainement du point de cette liste le plus complexe (et chronophage) à appliquer ! En effet, pour qu’une question ai un bon taux de discrimination (ni trop faible, ni trop élevé – voir point n°10) ou un niveau de réussite conforme à vos attentes, il est préférable d’identifier des mauvaises réponses pertinentes.
Une bonne part du travail du concepteur devra donc l’orienter dans l’identification de distracteurs crédibles, ni trop absurdes, ni trop proches de la réalité, et qui puissent ainsi attester de la compréhension et des connaissances du candidat évalué.
La mauvaise nouvelle, c’est qu’il n’existe pas de technique secrète pour trouver de bons distracteurs. La bonne nouvelle en revanche, c’est que l’expérience de l’enseignant et du formateur est le point de référence le plus évident à mobiliser pour identifier et concevoir les distracteurs les plus pertinents. Et pourquoi pas créer et maintenir une liste d’erreurs fréquentes rencontrées au cours de votre carrière !
6. Limiter le nombre de distracteurs
Heureusement pour nous, il est aussi considéré comme une bonne pratique de ne pas rédiger trop de distracteurs. D’une part parce que trop de réponses possibles éparpilleront l’attention du candidat et lui feront perdre beaucoup de temps inutile. Et d’autre part, car il vaut mieux une question impliquant deux à trois mauvaises réponses de qualité, plutôt qu’une dizaine de réponses peu crédibles.
Il est communément admis que des QCM à 4 ou 5 propositions constituent une bonne base de travail pour la conception des questions. Au-delà de 6, on augmente la probabilité que les distracteurs pèsent de manière trop importante sur le taux de réussite à la question indépendamment du niveau de connaissance des candidats. ,
7. Avoir des distracteurs homogènes
Toujours dans une volonté d’utiliser des distracteurs crédibles, il est important que ces derniers soient homogènes entre eux. On évitera ainsi d’avoir des distracteurs très détaillés et d’autres très courts, ou des formats syntaxiques différents, comme par exemple :
Vous conduisez une voiture sur une route nationale et arrivez à un feu de croisement. Celui-ci est vert. Vous décidez de :
A – Continuer à votre allure car il n’y a pas besoin d’y prêter attention
B – Vous arrêter car vous avez peur que celui-ci redevienne rouge
C – Accélérer car vous ne voulez pas qu’il repasse au rouge
D – Ralentir
Ici, la bonne réponse (D) n’implique pas de justification alors que les trois distracteurs en ont. Ceci a pour effet de faire ressortir la bonne réponse qui se distingue ainsi des autres. Une QRM idéale contient des propositions du même format et de la même longueur.
8. Choisir un barème qui vous convient
Les QRM peuvent être corrigés selon différents barèmes qui se basent sur des critères tels que le nombre de bonnes réponses ou le nombre d’erreurs.
Dans la plateforme THEIA, nous proposons 4 barèmes, applicables à l’intégralité d’un dossier de questions :
- La notation par discordance
- La notation par discordance sévère
- La notation « Tout ou rien »
- La notation par ratio dur
Le barème le plus fréquemment utilisé est celui de la notation par discordance. Il consiste à comparer les réponses attendues et les réponses données par l’utilisateur pour CHAQUE proposition de réponse, et à enlever des points à chaque différence.
Par exemple, un étudiant a choisi les réponses A et C à une question, alors que les réponses attendues étaient A et D. Cet étudiant aura deux discordances : une car il a choisi la réponse C alors qu’il ne fallait pas, et une car il n’a pas choisi la réponse D alors qu’il le fallait. En fonction du nombre de propositions existantes, ceci va déterminer la note obtenue par l’étudiant sur cette question.
Ce barème permet d’écarter les probabilités de réussite en lien avec le hasard. Il a aussi l’avantage d’être ajusté en fonction du nombre de propositions de vos questions.
Pour en savoir plus sur la notation par discordance, vous pouvez consulter le tutoriel dédié en cliquant sur le bouton suivant.
Le choix du barème doit être un critère à garder en tête lorsque vous rédigez des questions. Vous pouvez adapter leur difficulté en fonction de la sévérité du barème que vous allez appliquer.
9. Faire varier la place des bonnes réponses
Il est important que le positionnement des bonnes réponses ne suive pas un schéma spécifique récurrent afin de ne pas influencer les candidats qui repéreraient un « pattern » au fil de leurs réponses (Ex. Toutes les réponses A de mes questions sont valides).
Pour cela, l’idéal est d’utiliser les avantages de l’évaluation numérique et de mélanger informatiquement l’ordre d’affichage des propositions. Cela a également pour avantage de limiter les risques d’entraide non souhaitée entre candidats.
Dans THEIA, vous pouvez activer le mélange des propositions très facilement. Ceci se fait au niveau de l’examen, il vous suffit de cocher l’option « Mélanger les propositions des questions de l’épreuve ». Se faisant, chaque étudiant aura une copie spécifique et sa propre « version » de l’examen. Et comme ça, plus besoin de penser à l’organisation des réponses lors de la conception !
10. Vérifier la discrimination à posteriori
Même si vos QRM respectent tous les conseils mis en avant dans cet article, il est possible que vous n’ayez pas pu prendre en compte certains éléments qui ont pu induire en erreur vos étudiants, ou à l’inverse qui ont rendu les bonnes réponses trop évidentes. L’idéal est de vérifier la pertinence de vos QRM a posteriori avant de les réutiliser dans un autre contexte.
Le taux de discrimination est l’indice idéal pour cela : il s’agit d’une valeur calculée à partir des taux de réussites des 30% meilleurs répondants et les 30% les plus mauvais. On compare ici le taux de réussite à la question entre les deux groupes : la discrimination est fonction de la différence entre le taux de réussite des meilleurs et celui des plus faibles. Si l’écart est positif et important, la discrimination est jugée forte. Si cet écart est nul ou négatif, la discrimination est jugée insuffisante.
Dans votre plateforme THEIA, vous pouvez consulter cette information grâce à l’onglet « Statistiques » d’un examen. Elle se présente ainsi :
Pour en savoir plus sur les statistiques des questions dans THEIA, veuillez retrouver notre tutoriel dédié : Les statistiques d’une épreuve.
Maintenant que nous avons passé en revue certaines règles de conception des QRM, il ne reste plus qu’à se lancer ! Et si vous ne savez pas par où commencer, notre tutoriel dédié est là pour vous !
Références bibliographiques :
- Baillifard A. et Thurre-Millius A., « Q.C.M. Guide à l’usage des E.E. pour la création de questionnaires à choix multiples », sur digitalskills.unidistance,
- Braibant JM., « QCM : problématiques et amélioration », Université Paris Sud, octobre 2015.
- EdTechActu, « Les 19 secrets de la rédaction d’un QCM », décembre 2020.
Crédit photo : Image de pch.vector sur Freepik
