¿Es usted profesor y/o diseñador en una plataforma THEIA y quiere saber más sobre las pruebas de concordancia de script? En este artículo, veremos qué es una SCT, cuáles son sus características específicas y cómo crearlas paso a paso en la plataforma.
1. ¿Qué es un test de concordancia de script (SCT)?
Los tests de concordancia de script, ou TCS, son herramientas de evaluación desarrolladas en el marco de la formación sanitaria. La Autoridad Nacional Francesa de la Salud da la siguiente definición: [Los TCS son] «herramientas estandarizadas que permiten evaluar el razonamiento clínico del profesional que las realiza y, en particular, su capacidad para tomar decisiones pertinentes en casos complejos o en situaciones de «incertidumbre», comparándolas con las opiniones de un panel de expertos». Por lo tanto, los TCS están diseñados para evaluar la toma de decisiones de los estudiantes cuando se enfrentan a un caso sobre el que no existe consenso. El objetivo pedagógico no es comprobar que eligen la única opción correcta, sino evaluar su capacidad de movilizar una red de conocimientos para responder a una situación incierta.
Los TCS se basan en una breve viñeta que presenta un caso que debe estudiarse. Este caso va seguido de varias hipótesis que aportan información complementaria. Se pide a los estudiantes que juzguen la pertinencia de cada hipótesis a la luz de la nueva información aportada, utilizando una escala de Likert (cuyos valores define el diseñador). Las respuestas de los alumnos se comparan con las de los «expertos», profesionales a los que también se ha planteado el caso y que también han elegido una opción.
He aquí un ejemplo:
En este caso, el alumno tendrá que juzgar la pertinencia del tratamiento propuesto (incluido un C3G) a partir del hecho de que se ha encontrado una fórmula mixta. A continuación, su elección se comparará con la de los expertos que hayan respondido antes que él.
2. Uso de los TCS
Los TCS pueden utilizarse cuando no deseamos evaluar los conocimientos puros de los alumnos, sino su capacidad para activar redes de conocimientos adquiridos (denominadas » scripts «) con el fin de resolver una tarea. La ventaja de este método es que ofrece una representación más precisa de las posibles situaciones profesionales y, por tanto, permite evaluar las competencias profesionales de forma más pertinente.
Aunque los TCS surgieron en el contexto de los exámenes de las facultades de medicina, pueden resultar igual de interesantes en otras disciplinas. Tienen sentido cuando se quiere evaluar la toma de decisiones de los estudiantes en el contexto de una situación que pueden encontrar en su futuro entorno profesional. Por ejemplo, los TCS podrían diseñarse para evaluar situaciones de gestión, decisiones de marketing o la elección de opciones técnicas a la hora de desarrollar un producto.
3. Los TCS en THEIA
En la plataforma THEIA, los TCS son por tanto carpetas que cumplen las siguientes reglas:
- Se comportan de la misma manera que una CL (Carpeta Libre): todas las preguntas aparecen al entrar en el examen, el orden en que se dan las respuestas es libre y es posible modificar las respuestas registradas (siempre que no se presente la copia).
- La introducción de la ficha presenta el caso que se va a estudiar.
- Sólo pueden contener modelos de preguntas específicas vinculadas al formato TCS (preguntas de investigación médica, pronóstico, diagnóstico y terapia) – Véase «6. Añadir y ajustar las preguntas TCS».
- El sistema de puntuación es específico de este formato y se basa en la comparación entre la respuesta dada por el alumno y las respuestas dadas por los expertos – Véase «4. El sistema de puntuación».
4. El sistema de puntuación
Las características pedagógicas específicas del TCS requieren un sistema de evaluación especial que sólo se utiliza para este tipo de expedientes. En THEIA, las correcciones son automáticas (sin corrección manual) y las notas se calculan instantáneamente mediante la siguiente fórmula:
Puntuación obtenida en cada pregunta = Número de expertos que han elegido la misma opción que el alumno / Número máximo de expertos que han elegido la misma opción.
Tomemos el ejemplo siguiente:
En este ejemplo, el alumno eligió la opción «Más probable», considerando que la información » Haber observado un síndrome vagal» incidía en la hipótesis de una fractura del suelo orbitario derecho con incarceración muscular. De los 7 expertos que también respondieron a este caso, 5 estuvieron de acuerdo con él. Para esta pregunta, no existe una respuesta para la que haya más expertos de acuerdo. Por lo tanto, 5 es la base de referencia para la puntuación.
Como el alumno respondió como ellos, se le concedió una nota de 5/5, la máxima posible. Como la pregunta está sobre 1 punto, obtiene por tanto el punto completo.
Si hubiera elegido la opción «Casi seguro», sólo habría obtenido 2/5 (porque sólo dos expertos estaban de acuerdo en este punto) y, por tanto, 0,40 puntos. Cualquier otra respuesta le habría valido 0.
5. Crear una carpeta TCS
Para crear un TCS en THEIA, vaya al catálogo de preguntas, en «Pruebas de evaluación». Aquí encontrará una lista de todos los tipos de archivos disponibles en su plataforma. Por lo tanto, seleccionaremos «TCS».
Atención: si las carpetas TCS no aparecen en su catálogo de preguntas, es posible que esta opción no esté activa en su plataforma. Si este es el caso, póngase en contacto con el servicio de asistencia de THEIA.
La plataforma le pide que introduzca un nombre para su carpeta de preguntas y, a continuación, que introduzca los ajustes de la carpeta. Aquí encontrará las pestañas clásicas para configurar el contenido en THEIA: las pestañas de resumen y vista previa le permiten ver el contenido que ya existe en la carpeta, y la pestaña «Ajustes» le permite definir las opciones de visibilidad de la carpeta (para otros diseñadores de la plataforma, por ejemplo). La pestaña «Contenido» permite crear preguntas.
6. Añadir y ajustar las preguntas TCS
Como se ha expuesto anteriormente, los TCS proponen tipos de preguntas específicas para el planteamiento pedagógico de este tipo de expedientes. Las plataformas THEIA proponen cinco tipos de preguntas:
- La pregunta genérica
- La pregunta médica de diagnóstico
- La pregunta médica de investigación
- La pregunta médica terapéutica
- La pregunta médica de pronóstico
Para cada pregunta, puede elegir un nombre y luego confirmar. Esto le permitirá introducir sus parámetros e introducir su contenido.
Estos cinco tipos de preguntas se basan en el mismo modelo: presentan una hipótesis, información nueva y una frase en la que se pide al alumno que juzgue el impacto de esta nueva información sobre la hipótesis. A ello se añade una escala de Likert personalizable para ayudar al alumno (y a los expertos) a posicionarse.
La construcción de los cinco tipos de preguntas es la misma; sólo cambia el contenido precargado de las preguntas. Esto le permite elegir la forma en que quiere plantear el caso a sus alumnos y expertos. Por ejemplo, la pregunta terapéutica se centrará en los tratamientos y sus efectos. Su hipótesis adopta la forma «Si tuviera pensado prescribir tal o cual medicamento…», a continuación la nueva información, y el enunciado se convierte en «El nuevo dato hace que el tratamiento o gesto propuesto…». Tenga en cuenta que esto es orientativo: cada enunciado de la pregunta puede modificarse para adaptarlo a sus necesidades. La pregunta genérica también le permite diseñar preguntas sin texto específico precargado.
7. Votación de los expertos
Una vez creadas las preguntas, hay que movilizar a los expertos para que creen la base de referencia para calificar a los alumnos. Hay dos maneras de hacerlo.
7.1. Invíteles a responder en la plataforma
Si desea que sus expertos respondan directamente en THEIA, puede invitarles a través de la pestaña «Panel de especialistas» de su carpeta TCS. Aquí encontrará una lista de todos los usuarios de su plataforma que tienen derechos de experto en TCS. Puede seleccionarlos y añadirlos a su expediente.
Para saber más sobre la asignación de derechos a los usuarios, consulte el siguiente artículo: «Los perfiles de derechos»
Una vez hecho esto, los usuarios implicados verán una interfaz especial dedicada a los TCS en su plataforma THEIA: el área «Evaluación TCS». Siempre en su pestaña de gestión de expertos, puede enviarles notificaciones por correo electrónico (que incluyen un enlace directo a la zona «Evaluación ECT») para informarles de que se espera una respuesta por su parte.
Puede hacer un seguimiento de las respuestas recibidas en la tabla de resumen de los expertos registrados en el expediente y decidir, en función de la información de que disponga (por ejemplo, si la diferencia media con los demás encuestados es demasiado elevada), no tener en cuenta las respuestas a la hora de calcular las puntuaciones. Para ello, basta con desmarcar la opción de la columna «Utilizar la copia».
7.2. Gestión de especialistas ficticios
Puede ocurrir que los expertos que necesita movilizar no dispongan de una cuenta THEIA, o de un medio de acceso al contenido por su parte. En este caso, puede indicar sus respuestas en la plataforma para que se tengan en cuenta en la calificación final de los alumnos. Para ello, vaya a las preguntas en cuestión e indique para cada propuesta cuántos expertos la han elegido, como especialistas»ficticios».
Una vez hecho esto, es necesario indicar a la plataforma que el método de evaluación ya no se basa en los encuestados reales, sino en las respuestas registradas por los expertos ficticios. Para ello, vuelva a la pestaña «Panel de especialistas» y marque la opción «Utilizar la corrección manual como método de corrección por defecto». Esto activará sus respuestas manuales para puntuar el expediente. Tenga en cuenta que esto también puede cambiarse en el posprocesamiento.
Atención: actualmente, los dos métodos de votación no pueden combinarse. Si introduce respuestas de expertos ficticios, deberá activar el modo de cálculo por especialista ficticio para tenerlas en cuenta (y las respuestas directas ya no se contabilizarán).
Una vez que se han añadido y configurado las preguntas, y que los expertos han enviado sus respuestas, la carpeta está lista para su uso. Ahora puede elegirse como contenido de un examen, transferirse a un banco local o utilizarse como tema de una sesión de entrenamiento predefinida.
