Vous êtes formateur et/ou concepteur sur une plateforme THEIA et voulez en savoir plus sur les Tests de Concordance de Script ? Dans cet article, nous verrons ce qu’est un TCS, quelles sont ses spécificités, ainsi que la méthode à suivre pour les créer pas à pas sur votre plateforme.
1. Qu'est-ce qu'un Test de Concordance de Script (TCS) ?
Les Tests de Concordance de Script, ou TCS, sont des outils d’évaluation nés dans le cadre des formations de santé. La Haute Autorité de Santé en donne la définition suivante : [Les TCS sont] « des outils standardisés qui permettent d’évaluer le raisonnement clinique du professionnel qui le réalise et notamment sa capacité à prendre des décisions pertinentes dans des cas complexes, ou en situation d’« incertitude », en les confrontant aux avis d’un panel d’experts. ». Le TCS veut donc évaluer la prise de décision des étudiants face à un cas qui ne fait pas conscensus. L’objectif pédagogique n’est donc pas de vérifier qu’ils choisissent la seule et unique bonne option, mais plutôt d’évaluer leur capacité à mobiliser un réseau de connaissance pour répondre à une situation incertaine.
Pour en savoir plus sur la définition et les objectifs des TCS comme modalité d’évaluation, vous pouvez consulter le document « Test de Concordance de Script » de la Haute Autorité de Santé (2017).
Les TCS se construisent sur la base d’une vignette courte qui présente un cas à étudier. Ce cas est suivi de plusieurs hypothèses qui apportent des informations complémentaires. Les étudiants doivent juger de la pertinence de chacune des hypothèses au regard des nouvelles informations apportées grâce à une échelle de Likert (dont les valeurs sont définies par le concepteur). Les réponses des étudiants sont confrontées à celles d’« experts », des professionnels auxquels le cas a également été posé et qui ont également fait le choix d’une option.
Voici un exemple :
Dans ce cas, l’étudiant devra juger de la pertinence du traitement proposé (celui comprenant une C3G) au regard du fait qu’il a été trouvée une formule panachée. Son choix sera ensuite confronté à celui des experts ayant répondu avant lui.
2. Cadre d'utilisation des TCS
Les TCS peuvent être utilisés dès lors que l’on ne souhaite pas évaluer des connaissances pures chez les apprenants, mais plutot leur capacité à activer des réseaux de connaissances acquises (appelés « scripts ») afin de résoudre une tâche. Ceci a pour intérêt de représenter plus fidélement des situations potentielles professionnelles et donc d’être en mesure d’évaluer de manière plus pertinente les compétences professionnelles.
Si les TCS sont nés dans le contexte des examens des études de médecine, ils peuvent néanmoins avoir tout autant d’intérêt dans d’autres disciplines. Ils ont en effet du sens dès lors que l’on souhaite évaluer la prise de décision des étudiants dans le cadre d’une situation pouvant être rencontrée dans leur environnement professionnel futur. On peut ainsi imaginer concevoir des TCS de mise en situation managériale, de prise de décisions marketing ou encore de choix d’options techniques lors du développement d’un produit.
3. Le TCS dans THEIA
Dans la plateforme THEIA, les TCS sont donc des dossiers répondant aux règles suivantes :
- Ils se comportent comme un DL (Dossier Libre) : affichage de toutes les questions dès l’entrée dans l’examen, ordre de réponse libre et possibilité de modifier les réponses enregistrées (tant que la copie n’est pas soumise).
- L’introduction du dossier présente le cas à étudier.
- Ils ne peuvent contenir que des modèles de questions spécifiques liées au format TCS (question médicale d’investigation, de pronostique, de diagnostique et thérapeutique) – Cf. « 6. Ajouter et paramétrer des questions TCS ».
- Le système de notation est spécifique à ce format et basé sur la comparaison entre la réponse fournie par l’étudiant et les réponses données par des experts – Cf. « 4. Le système de notation ».
4. Le système de notation
Les spécificités pédagogiques des TCS impliquent un système d’évaluation adapté qui n’est utilisé que pour ce type de dossier. Dans THEIA, les corrections sont automatiques (sans correction manuelle) et les notes sont calculées instantanément selon le calcul suivant :
Note obtenue à chaque question = Nombre d’experts ayant choisi la même option que l’étudiant / Nombre d’experts maximal ayant choisi la même option.
Prenons l’exemple ci-dessous :
Dans cet exemple, l’étudiant a choisi la proposition « Plus probable » en considérant que l’information « Avoir constaté un syndrôme vagal » venait impacter en ce sens l’hypothèse d’une fracture du plancher orbitraire droit avec incarcération musculaire. Des 12 experts ayant également répondu à ce cas, 10 sont d’accord avec lui. Pour cette question, il n’y a pas de réponse pour laquelle plus d’experts abondent. 10 est donc la base de référence pour la notation.
L’étudiant ayant répondu comme eux, il obtient la note de 10/10, soit le maximum possible. La question étant sur 1 point, il a donc l’intégralité du point.
Si il avait choisi l’option « Quasi certaine », il n’aurait obtenu que 2/10 (car seulement deux experts se sont accordés sur ce point) et donc 0,2 point. Toute autre réponse lui aurait apporté 0.
5. Créer un dossier TCS
Pour créer un TCS dans THEIA, il faut se rendre dans le catalogue de questions, sous « Epreuves d’évaluation ». Ici se trouve la liste de tous les types de dossiers disponibles dans votre plateforme. Nous allons donc sélectionner « TCS ».
A noter : si les dossiers TCS n’apparaissent pas dans votre catalogue de questions, il est possible que cette option ne soit pas active sur votre plateforme. Si c’est le cas, n’hésitez pas à contacter le service support de THEIA.
La plateforme vous demande de saisir un nom pour votre dossier de questions, puis vous entrez dans le paramétrage du dossier. Ici, on retrouve les onglets classiques du paramétrage de contenu sur THEIA : le résumé et l’aperçu vous permettent de consulter le contenu déjà existant dans le dossier et l’onglet « Paramétres » vous permet de définir les options de visibilité du dossier (pour les autres concepteurs de la plateforme par exemple). L’onglet « Contenu » va quant à lui vous permettre de créer des questions.
6. Ajouter et paramétrer les questions TCS
Comme expliqué précédemment, les TCS proposent des types de questions spécifiques à l’enjeu pédagogique de ce type de dossier. Les plateformes THEIA en proposent cinq :
- La question générique
- La question médicale diagnostique
- La question médicale investigation
- La question médicale thérapeutique
- La question médicale pronostique
Pour chaque question, vous pouvez choisir un nom puis valider. Ceci vous permet d’entrer dans son paramétrage et d’en saisir le contenu.
Ces cinq types de questions sont tous construits sur le même modèle : ils présentent une hypothèse, une nouvelle information, et une phrase qui demande à l’étudiant de juger de l’impact de cette nouvelle information sur l’hypothèse. On retrouve ensuite une échelle de Likert personnalisable qui va permettre à l’étudiant (et aux experts) de se positionner.
La construction des cinq types de questions est la même ; seul le contenu pré-chargé des questions change. Ceci vous permet de choisir la forme selon laquelle vous voulez poser le cas à vos étudiants et experts. Par exemple, la question thérapeutique va orienter l’interrogation sur les traitements et leurs effets. Son hypothèse prend la forme « Si vous pensez préscrire tel médicament… », puis la nouvelle information, et l’énoncé devient « Cette nouvelle donnée rend le traitement/geste proposé… ». Notons que ceci est à titre indicatif : chaque énoncé de question est modifiable selon vos besoins. La question générique vous permet d’ailleurs de concevoir des questions sans texte pré-rempli spécifique.
7. Faire voter les experts
Une fois vos questions créées, il faut mobiliser les experts afin de créer la base de référence pour la notation des étudiants. Pour cela, deux méthodes sont possibles.
7.1. Les inviter à répondre sur la plateforme
Si vous souhaitez que vos experts répondent directement sur THEIA, vous pouvez les inviter grâce à l’onglet « Panel d’experts » dans votre dossier TCS. Vous trouverez ici la liste de tous les utilisateurs de votre plateforme ayant un droit d’expert TCS. Vous pouvez les sélectionner et les ajouter à votre dossier.
Pour en savoir plus sur l’attribution des droits aux utilisateurs, vous pouvez consulter l’article suivant : « Les profils de droits ».
Ceci fait, les utilisateurs concernés verront donc apparaitre une interface spéciale dédiée aux TCS dans leur plateforme THEIA : l’espace « Evaluation TCS ». Toujours dans votre onglet de gestion des experts, vous pouvez leur envoyer des notifications par mail (qui incluent un lien direct vers l’espace « Evaluation TCS ») afin de les informer qu’une réponse est attendu de leur part.
Vous pouvez effectuer un suivi des réponses reçues dans le tableau récapitulant les experts inscrits au dossier et décider, en fonction des informations que vous avez (par exemple si l’écart moyen avec les autres répondants est trop élevé) de ne pas prendre en compte des réponses dans le calcul des notes. Il vous suffit pour cela de décocher l’option dans la colonne « Utiliser la copie ».
7.2. Gérer des experts fictifs
Il peut arriver que les experts que vous devez mobiliser n’aient pas de compte THEIA, ou de moyen d’accéder au contenu de leur côté. Dans ce cas, il vous est possible d’indiquer leurs réponses sur la plateforme afin qu’elle soit prise en compte dans la notation finale des étudiants. Pour cela, il faut vous rendre dans les questions concernées et indiquer pour chaque proposition combien d’experts l’ont choisie, en tant qu’experts « fictifs ».
Ceci fait, il faut indiquer à la plateforme que la méthode d’évaluation n’est plus basée sur les répondants réels mais sur les réponses enregistrées via les experts fictifs. Pour cela, il faut vous rendre à nouveau dans l’onglet « Panel d’experts » et cocher l’option « Utiliser la correction manuelle comme correction par défaut ». Ceci activera vos réponses manuelles pour la notation du dossier. A noter que ceci est modifiable également en post-traitement.
Attention : à l’heure actuelle, les deux méthodes de vote ne sont pas cumulables. Si vous indiquez des réponses d’experts fictifs, il faut obligatoirement activer le mode de calcul par expert fictif pour les prendre en compte (et les réponses directes ne seront donc plus comptabilisées).
Une fois vos questions ajoutées et paramétrées, et vos experts ayant rendu leurs réponses, votre dossier est prêt à être utilisé. Il peut maintenant être choisi comme contenu d’examen, basculé en banque locale ou servir de sujet d’un entraînement pré-défini.
