S’il semble superflu de rappeler une fois de plus combien l’outil informatique et sa puissance de calcul permettent de corriger rapidement un grand volume de copies, il est néanmoins utile, surtout en cette période d’examens, de présenter plus précisément comment l’analyse statistique des données produites durant l’examen peut enrichir la compréhension de la réussite pédagogique de vos étudiants. Elle offre également des perspectives de réflexion sur la pratique enseignante, notamment en constituant un corpus docimologique pertinent.
L’analyse statistique des examens offre ainsi une vue unique sur les performances des étudiants. Elle permet non seulement d’évaluer leur compréhension, mais aussi de peaufiner et d’améliorer les méthodes pédagogiques. Cet article explore en détail comment l’exploitation des statistiques d’examen disponibles sur THEIA peut transformer l’évaluation en un outil dynamique d’amélioration continue.
Dans cet article nous examinerons comment ces données peuvent être utilisées pour ajuster et améliorer les examens en cours et futurs, fournir des aperçus globaux et détaillés de la réussite des épreuves, et identifier les compétences des étudiants à travers leurs réponses aux questions.
1. Intérêt pédagogique
L’analyse statistique d’un examen a donc avantages pédagogiques significatifs car il permet notamment un ajustement et une amélioration continue des évaluations.
Grâce à l’analyse statistique d’un examen, vous êtes en mesure d’identifier les questions ayant un taux de réussite particulièrement bas ou à l’inverse particulièrement haut. Cela vous permet d’ajuster la notation ou le contenu post-examen en recalibrant les scores pour des questions problématiques ou en revoyant la formulation des énoncés pour les rendre plus clairs par exemple. L’analyse détaillée de votre épreuve vous permets de distinguer si la non-réussite des étudiants est due à des énoncés de questions ambigus, des erreurs dans les réponses proposées ou des malentendus conceptuels.
Ces différentes informations disponibles directement sur THEIA, vous permettent de prendre facilement conscience des ajustements à effectuer sur votre épreuve et d’améliorer les examens futurs, en révisant les contenus qui semblent mal compris par les étudiants, en ajustant le niveau de difficulté ou en modifiant les formats d’examen pour mieux évaluer la compréhension des étudiants.
L’accès à ces statistiques détaillées permet enfin de conserver la confidentialité des étudiants tout en se concentrant sur l’analyse pédagogique de votre épreuve et de faciliter la réussite étudiante.
2. Statistiques générales de l'épreuve
Des statistiques générales sont disponibles pour chaque épreuve sur THEIA, elles fournissent une vue d’ensemble précieuse sur la performance générale des étudiants. Différents indicateurs de dispersions vous permettent d’analyser la répartition des effectifs par rapport aux notes des examens et de juger de l’hétérogénéité ou de l’homogénéité du groupe. Les voici en détail ci-dessous :
- la moyenne : valeur par défaut correspondant à la somme des notes divisées par l’effectif.
- la médiane : note qui permet de couper l’ensemble des effectifs en deux parties égales. 50% des notes des candidats se trouvent en dessous de cette valeur et 50% des notes des autres candidats se répartissent au-dessus.
- l’écart-type : l’écart moyen des notes entre les différents étudiants (plus il est faible, plus le groupe est homogène).
- le Kurtosis : indique le niveau d’aplatissement d’une courbe, s’il est négatif, la courbe est aplatie et la distribution plutôt hétérogène, s’il est positif, la courbe est plus pointue et la distribution plus homogène.
- le Skewness : il permet d’envisager le « niveau général » d’une même promotion (un coefficient d’asymétrie négatif indique que la plus grande part des étudiants ont une réussite supérieure à l’autre part).
Une répartition des notes entre les étudiants vous permets donc d’avoir une idée globale de la réussite de votre épreuve de manière visuelle. Cette première information vous permet ensuite de guider votre analyse et de juger de l’intérêt d’un ajustement post-examen.
Si votre épreuve comporte plusieurs dossiers, vous retrouverez ces mêmes indicateurs pour chacun d’entre eux, ce qui vous permets d’avoir une idée un peu plus précise du ou des sujets qui ont pu être problématiques ou à l’inverse très bien réussi.
Pour connaître les statistiques disponibles sur THEIA, vous pouvez consulter le tutoriel dédié : « Les statistiques d’une épreuve ».
3. Statistiques détaillées par question
L’analyse des statistiques détaillées permet une évaluation approfondie de chaque question individuellement, offrant des indices précieux sur la performance des étudiants et la qualité de l’examen.
Pour chaque question vous retrouverez le taux de réussite de celle-ci, c’est-à-dire le pourcentage d’étudiants ayant correctement répondu à chaque question. Un taux de réussite élevé peut suggérer que la question était relativement facile ou bien comprise par les étudiants. Tandis qu’un taux faible peut indiquer une difficulté particulière ou un problème dans la formulation de la question. Cette information, combinée à l’indice de discrimination donne un aperçu de la pertinence des questions.
L’indice de discrimination évalue dans quelle mesure une question est capable de différencier les étudiants qui maîtrisent bien le sujet de ceux qui ne le maîtrisent pas. Un indice de discrimination élevé signifie que les étudiants ayant bien réussi globalement l’épreuve ont tendance à répondre correctement à la question, tandis que ceux ayant mal réussi ont tendance à se tromper. Si cet indice est faible ou négatif, cela peut signifier que la question est problématique ou non pertinente et qu’il peut être intéressant de l’ajuster dans le futur.
Dans le tableau ci-dessous, la colonne « Sup » correspond au taux de réussite des 30% de participants ayant obtenu les meilleurs résultats sur la globalité de l’épreuve, tandis que la colonne « Inf » correspond au taux de réussite des 30% ayant obtenu les moins bons résultats. C’est la différence entre les « Sup » et les « Inf » qui donne l’indice de discrimination.
En poussant un peu plus loin l’analyse, vous pouvez connaître la moyenne des points obtenus par question, c’est-à-dire le score moyen pour chaque question. Cela vous offre une information supplémentaire au taux de réussite, en vous permettant de confirmer les questions qui contribuent le plus à la note globale, ainsi que celles qui semblent être des obstacles majeurs pour les étudiants.
Enfin, le taux de coche par proposition de réponse vous est indiqué sur THEIA. Cela révèle le pourcentage de fois qu’une proposition a été choisie par les étudiants. Cela peut aider à détecter les distracteurs (propositions incorrectes) efficaces ou, au contraire, révéler si certains distracteurs n’ont jamais été choisis, suggérant ainsi qu’ils pourraient être trop évidemment incorrects. Vous pouvez également identifier des propositions trop « évidentes » qui sont choisies par l’ensemble des étudiants. Le tableau ci-dessous vous présente les taux de coche de chaque proposition de la question 1, en cliquant sur « afficher les effectifs » vous pouvez également obtenir le nombre de coche exact.
4. Statistiques par compétences
Si vous avez associé des compétences à vos dossiers ou à vos questions, vous trouverez un résumé de celles-ci avec des indications de réussite. Pour chacune d’entre elles, une moyenne des notes obtenues aux questions concernées permet d’évaluer la maitrise de cette compétence par l’ensemble des étudiants. Cela aide à comprendre quels aspects de l’enseignement ont été bien assimilés, et quelles compétences nécessitent une attention pédagogique supplémentaire.
Voici ci-dessous un exemple d’un résumé des compétences liées aux questions d’un examen. On y trouve un graphique reprenant l’ensemble des compétences mises en jeu, avec une indication de la moyenne obtenue pour chacune d’entre elles (moyenne calculée à partir de l’ensemble des questions reliées à chaque compétences). Un onglet en haut à droite vous permet d’afficher ces mêmes informations sous forme d’histogramme. Enfin, en cliquant sur l’onglet « Légende », vous avez accès à un résumé plus détaillé des informations présentes sur le graphique.
Pour conclure
Les statistiques fournissent non seulement un état des lieux de la performance globale des étudiants, mais elles offrent également des aperçus précieux sur la compréhension et les compétences des étudiants.
Grâce à THEIA, vous avez accès à une mine d’informations qui permet de peaufiner le contenu de vos cours, d’ajuster les méthodologies d’enseignement et d’améliorer les stratégies d’évaluation.
Si vos analyses statistiques révèlent que des ajustements sont nécessaires dans votre examen, THEIA vous donne en outre accès à un onglet de « Post-traitement » qui vous permet d’effectuer les modifications nécessaires en termes de paramétrage et de notation une fois votre examen passé. Ainsi, non seulement l’analyse des statistiques d’examen vous offre un moyen simple de « raisonner » vos pratiques pédagogiques, mais elle offre une entrée favorable et objective à la rectification rapide des corrections de vos copies.
Quand connaissance rencontre équité, ne touchons-nous pas là un principe pédagogique essentiel ?
Pour en savoir plus sur le post-traitement, vous pouvez consulter le tutoriel dédié : « Comprendre le post-traitement ».
