La docimologie avancée; tout un programme ! D’abord car le terme reste peu connu et un peu abscons. Alors rappelons le tout de suite, « Docimologie »; du grec dokimê, épreuve, et de son suffixe logos, science discours; évoque donc l’étude scientifique de l’évaluation des connaissances. Un bien grand mot qui, s’il porte un fondement scientifique certain, révèle bien souvent d’une « praxis » enseignante plus proche de l’art ou l’artisanat que de la mise en application concrète des connaissances induites.
Pour THEIA, il s’agit surtout d’un ensemble de pratiques et d’éléments qui permettent de mettre en place des évaluations diversifiées et adaptées à des contextes pédagogiques très hétérogènes : formatif / certificatif / sommatif / étude de cas / qcm / rédactionnel etc. Une grande richesse fonctionnelle pour répondre à une grande richesse dans les pratiques. Et disons-le, si le sujet semble complexe; il s’agit surtout pour nous de dévoiler le champ des possibles plus que de prescrire des pratiques universelles.
Quelle que soit donc les modalités d’évaluation mises en jeu, nous considérons que c’est la manière d’appréhender la docimologie qui définit la richesse d’une épreuve !
Comme nous le verrons dans cet article, des dispositifs très basiques peuvent finalement être utilisés dans des cas beaucoup plus alambiqués. C’est cette liberté d’exécution qui nous passionne et qui fonde toute la richesse de l’évaluation numérique. Petit aperçu (volet 1) de ce qui peut être mis en place dans notre magasin fonctionnel !
1. La progressivité
Un dossier progressif (DP) est un type de dossier qui peut contenir différents types de questions (QRM, QRU, QRP, ASSO, ZONE, NUM, QROC, QROL). Les questions sont affichées progressivement aux apprenants, une par une, selon l’ordre défini lors de la création du dossier. Les réponses ne peuvent pas être modifiées après leur enregistrement, offrant ainsi une progression linéaire dans le déroulement du dossier.
Ce type de dossier est idéal pour les sujets d’examen composés de questions interdépendantes ou pour lesquelles certaines réponses servent de base aux questions suivantes. Un dossier progressif peut être utilisé dans divers contextes, tels que les épreuves, les questionnaires d’autoévaluation ou les entraînements.
Aussi, ce type de dossier peut tout à fait être utilisé afin d’imposer l’enregistrement des questions. Vous connaissez l’importance d’enregistrer les réponses (sans quoi, la copie de l’étudiant risque d’être vide !).
Un examen ponctuel, un concours ou tout autre cas impliquant des étudiants peu à l’aise avec l’outil peuvent être l’occasion de mettre en place les dossiers progressifs. En jouant la carte de la sécurité, vous garantissez votre sérénité, au moins pour l’enregistrement des questions.
Pour en savoir plus sur ce type de dossier proposé dans la plateforme THEIA, vous pouvez consulter le tutoriel dédié : « Le Dossier Progressif (DP) ».
2. Le dossier "étude de cas"
Les dossiers, libres ou progressifs, permettent de rassembler un certain nombre de questions afin d’être mobilisés dans une ou plusieurs épreuves. Ils peuvent être créés par thématique, niveau de difficulté mais également pour réaliser une étude de cas.
L’idée est d’utiliser les options à disposition afin de présenter aux participants le contexte des questions. En effet, grâce à l’introduction et notamment les différents blocs contenant texte, images ou vidéos, la situation peut être présentée clairement.
Aussi, tous les documents utiles au bon déroulement de l’épreuve peuvent être mis à disposition avec les annexes. Les étudiants auront même la liberté de partager l’écran entre le fichier et les questions sans sortir du mode plein-écran.
Concrètement, on peut imaginer un cas clinique présenté dans l’introduction, le dossier médical du patient en annexe suivi de questions de tous types en lien avec cette situation.
On rappelle que l’examen ne se limitera pas seulement à cette situation puisque plusieurs dossiers peuvent être intégrés à une épreuve.
3. Le dossier autour d'un fichier Excel
Dans la même veine, le dossier peut également dépendre d’un fichier tableur (xlx, ods….). En effet, en ajoutant ce genre de fichier comme annexe, l’étudiant pourra le télécharger et le compléter hors de la plateforme. (Attention le mode plein écran ne devra pas être activé !)
Il suffira d’ajouter une question QROL afin que l’étudiant puisse déposer son document. Il est important de noter que les participants devront disposer d’un logiciel permettant le traitement du fichier en question.
Aussi, cette solution est adaptée à une épreuve synchrone par exemple, en présentiel avec surveillance. Si vous souhaitez offrir la possibilité aux utilisateurs de télécharger un fichier puis de le déposer sur la plateforme de manière asynchrone, nous vous invitons à utiliser l’épreuve Devoir.
Pour en savoir plus sur le devoir d’une épreuve, vous pouvez consulter le tutoriel dédié : « Créer un devoir ».
4. Et pourquoi ne pas tirer au sort les questions ?
Le Dossier de Tirage Au Sort regroupe plusieurs dossiers libres et permet de piocher aléatoirement un certains nombres de questions. Au niveau de l’épreuve, chaque étudiant disposera d’une copie unique avec des questions différentes.
Le tirage des questions respecte l’ordre des dossiers libres. Par exemple, dans le cas suivant, les questions du dossier A seront piocher avant les questions B. Le mélange des questions sera bien entendu possible dans la configuration de l’épreuve.
Afin de conserver l’équité, nous vous invitons à vous assurer que les questions présentes dans les différents dossiers respectent un niveau de difficulté équivalent. Il est possible de configurer plusieurs dossiers libres en fonction de niveaux de difficultés (facile / moyen / difficile par exemple). Chaque étudiant aura alors des questions différentes mais une difficulté globale équivalente.
De la même manière, nous vous invitons à vérifier les types de docimologie mis en jeu. Il ne serait pas forcément souhaitable qu’un participant rédige des QROL pendant qu’un autre coche les cases de QRM.
Pour en savoir plus sur ce type de dossier proposé dans la plateforme THEIA, vous pouvez consulter le tutoriel dédié : « Le dossier de Tirage Au Sort (DTAS) ».
5. Le seul et l'unique Test de Concordance de Script
Les Tests de Concordance de Script (TCS), issus de la filière médicale, se définissent par la Haute Autorité de Santé comme des outils standardisés visant à évaluer le raisonnement clinique des professionnels, notamment leur capacité à prendre des décisions pertinentes face à des cas complexes ou incertains en les confrontant à l’avis d’experts.
Le but est d’évaluer la capacité des étudiants à prendre des décisions dans des situations où il n’y a pas de consensus évident, plutôt que de simplement choisir la seule bonne option. Ils visent à apprécier la capacité des apprenants à mobiliser un ensemble de connaissances pour résoudre des problèmes incertains.
Les TCS sont appropriés lorsque l’objectif n’est pas de tester les connaissances factuelles des apprenants, mais plutôt leur aptitude à utiliser des schémas de connaissances acquises (appelés « scripts ») pour résoudre des tâches. Cette approche permet de simuler de manière plus réaliste des situations professionnelles potentielles, et donc une évaluation plus pertinente des compétences professionnelles.
Bien que les TCS aient émergé dans le domaine médical, ils présentent un intérêt similaire dans d’autres disciplines. Ils sont pertinents lorsque l’objectif est d’évaluer la capacité des étudiants à prendre des décisions dans des situations rencontrées dans leur futur environnement professionnel. Par exemple, des TCS pourraient être développés pour évaluer les compétences en gestion, en marketing ou en développement de produits techniques.
Techniquement, le TCS se comporte comme un dossier libre se composant de questions à réponse unique avec un nombre de propositions fixe. Ces questions disposent d’une structure particulière offrant au concepteur la liberté de présenter le cas d’usage ainsi que différentes hypothèses afin que les étudiants puissent juger de leurs pertinences. Il sera ensuite possible d’inviter des experts afin qu’ils répondent aux différentes questions dans une interface THEIA dédiée. Leurs réponses impacteront alors la notation des étudiants.
Dans certains cas, les experts sollicités pour les TCS peuvent ne pas avoir accès à la plateforme ou à l’outil de test. Dans de telles situations, il est possible pour les organisateurs de saisir les réponses d’experts fictifs afin qu’elles soient prises en compte dans l’évaluation finale des participants.
Pour en savoir plus sur ce type de dossier proposé dans la plateforme THEIA, vous pouvez consulter le tutoriel dédié : « Les Test de Concordance de Script (TCS) ».
Afin d’illustrer cela, voici un exemple lié au management. Nous voulons évaluer les compétences décisionnel des étudiants s’ils étaient manager d’une équipe. Comme vous pouvez le constater, plusieurs propositions peuvent être considérées comme correctes. Il sera donc pertinent de sonder des experts du domaine afin d’obtenir un système de notation plus juste qui correspondra au mieux au milieu professionnel en question.
Les TCS sont encore un peu flous ? N’hésitez pas à consulter notre webinaire dédié !
En conclusion
Pour conclure, malgré la simplicité apparente de certains types de dossiers de questions, leur complexité et leur richesse réside dans la manière de les utiliser. Nous avons vu dans cet article, par exemple, comment manipuler un dossier libre afin qu’il corresponde le mieux possible à la situation que l’on souhaite évaluer.
La modularité est, par ailleurs, une notion essentielle de la pédagogie numérique. Pouvoir mobiliser les outils mis à disposition de la manière dont on le souhaite afin de répondre le plus précisément possible au besoin est une chance incroyable. En atteste le fameux Test de Concordance de Script, qui, créé initialement selon un cahier des charges précis pour les filières médicales, s’adapte parfaitement à tous les domaines d’activités.
Comme vous le savez, la conception des questions / dossiers est une étape cruciale dans la mise en place d’évaluations numériques. Afin d’être encore plus précis et minutieux dans cette lourde tache, notre plateforme propose un merveilleux outil afin d’analyser les résultats de votre précieux travail. Il s’agit des statistiques. En effet, il offre la possibilité de disséquer l’ensemble de vos questions et propositions afin de savoir lesquelles sont les plus pertinentes et éventuellement d’adapter les moins intéressantes pour les prochaines itérations.
Restez donc connectés car un article passionnant sur le sujet sera publié dans les prochaines semaines !!
Aller plus loin :
Pour découvrir tous nos supports d’aide en ligne : Tutoriels, FAQ, fiches FLASH et tutos-vidéos.
Pour suivre plus en détail les nouveautés produit et retrouver l’historique des mises à jour détaillées de THEIA : consulter notre page de mises à jour.
Pour être informé des actualités THEIA (nouveauté produit, webinaire, tutoriels etc.) : page d’inscription à notre newsletter.
Pour retrouver l’historique de nos articles : notre page blog Theia.
