Le 12 mars dernier a marqué un moment clé avec la première journée d’ECOS blancs à l’échelle nationale, rassemblant environ 7 800 étudiants de médecine dans 35 universités françaises pour un essai préliminaire d’un examen destiné à valider et classer les étudiants en sixième année de médecine en mai 2024.
Depuis 2020, THEIA est au cœur de ce processus, en soutenant les universités partenaires dans l’organisation et l’évaluation des ECOS facultaires en vue de la préparation à l’épreuve finale Pour approfondir, explorons ensemble cet exercice significatif.
Les ECOS, Kezako’S ?
Les Examens Cliniques Objectifs Structurés (ECOS) font référence à une série d’épreuves qui ont été introduites à l’origine au Canada, puis en Suisse, avant de progressivement être adoptées en France, particulièrement avec l’intégration de la R2C en 2023. Si l’exercice a le vent en poupe depuis quelques mois 
, il est important de noter que ces épreuves ECOS étaient déjà en place dans plusieurs universités pionnières en France, notamment les universités de Rouen, Toulouse, Paris VII, XI, Limoges et Lille.
Il s’agit donc d’épreuve de simulation, qui vise à évaluer de manière uniforme les comportements et compétences professionnelles des médecins. L’objectif ici est de recentrer la pratique médicale dans la relation médecin-malade et de positionner cette dernière au cœur de la formation médicale.
Le concept fondamental des ECOS repose sur l’idée de confronter les étudiants à des problèmes complexes dès le début de leur formation, tout en leur offrant un accompagnement adapté en fonction de la complexité des situations cliniques rencontrées 
.
Chaque « station » comprend plusieurs éléments : une mise en situation de la situation clinique, aussi proche que possible de la réalité, un patient simulé, un ou plusieurs observateurs chargés d’évaluer l’apprenant, ainsi qu’une grille d’observation servant de guide pour l’évaluation.
Les ECOS sont donc constitués d’une séquence de plusieurs « stations », chacune reconstituant une consultation médicale impliquant des patients simulés. L’ensemble de ces stations, à travers lesquelles les candidats passent, est désigné comme un « circuit ».
Au sein de chaque station, les candidats accomplissent des tâches cliniques en fonction de leur niveau d’études, basées sur le scénario initial qui leur est proposé. Ces tâches comprennent l’anamnèse, l’examen physique d’un patient standardisé joué par un acteur, l’interprétation d’examens paracliniques ou même la réalisation de gestes techniques, éventuellement en utilisant des outils de simulation.
Si le principe semble trivial, la mise en place systématique de l’exercice dans le cadre de la réforme du second cycle des études de santé laisse apparaître une ambition de réforme des études toutes aussi fortes que le challenge qu’elle suppose ! 
Sa concrétisation à grande échelle prend donc place dans le cadre d’une réforme des études de santés du second cycle de médecine aussi connue sous le terme de R2C.
La R2C, qu'est-ce que c'est ?
La réforme du deuxième cycle des études médicales, également appelée R2C, s’inscrit dans une réforme globale des études de santé initiée dès 2017 et spécifique aux second cycles d’études médicales.
Elle succède aux réformes du premier et troisième cycle (R1C et R3C), qui concernent respectivement la première année de médecine et l’internat. La R2C instaure une nouvelle dynamique d’évaluation des apprenants, en repositionnant l’approche pédagogique d’enseignement et d’évaluation vers la notion d’apprentissage 
.
Le but principal de cette réforme est de passer de l’évaluation pure des connaissances des étudiants à l’évaluation de leur capacité à les appliquer concrètement.
Entre l’acquisition des connaissances et la mise en place d’une approche par compétences en vogue, cette réforme a conduit à la suppression du traditionnel et unique concours ECN pour le remplacer par une série d’épreuves dématérialisées, la prise en compte du parcours de l’apprenant dans la validation du diplôme, et la mise en place des Examens Cliniques Objectifs Structurés (ECOS), sujet de cet article.
Si vous souhaitez en savoir plus sur la réforme du second cycle, nous vous invitons à consulter notre Etat des lieux pédagogique rédigé en 2023 par notre collègue Eduardo Rojas. Il est disponible en téléchargement direct via le bouton ci-contre.
Ok, mais concrètement, comment se déroulent les ECOS ?
Dans le cadre de la réforme, la mise en place des ECOS facultaires est devenue plus claire ces dernières semaines. Ici, les étudiants sont répartis dans un circuit composé de 10 stations différentes, et 5 étudiants seront évalués sur chacune d’entre elles alternativement. Une station correspond à un cas clinique, sorte de scénario . Des consignes sont distribuées aux évaluateurs mais aussi aux comédiens jouant le rôle de patients simulés. Du matériel peut enfin être constitutif de la séance de simulation .
L’étudiant a 7 minutes pour exposer ses raisonnements cliniques et ses performances professionnelles avant de changer de station et de recommencer sur un cas clinique différent. Après avoir réalisé ses 10 stations (comprenez donc, ses 10 simulations et avoir donc été évalués 10 fois), il est ensuite reconduit vers un amphithéâtre et attendra que l’ensemble de ses camarades aient réalisé l’examen. L’enjeu ici : réduire la possibilité de fuite des informations sur l’évaluation. L’évaluation se veut neutre, basée sur des critères objectifs, et réalisée par deux évaluateurs dans le cadre de la réforme finale 
.
La logistique de ce type d’évaluation est très complexe car elle mobilise de nombreux professeurs, responsables de scolarités, informaticiens, bénévoles-acteurs et étudiants. Les équipes en charge des ECOS doivent penser en amont la répartition des différents circuits au regard des salles disponibles afin d’adapter le nombre d’évaluateurs, d’acteurs, et d’éventuels remplaçants pour les changements de dernière minute . Elles sont également mobilisées le jour J pour superviser les équipes afin que les évaluations se déroulent dans les meilleures conditions . Des timers permettent d’orchestrer le ballet des étudiants dans les différentes stations. Les amphithéâtres sont bloqués pour la cohorte d’étudiants attendant leur tour dans cette grande fourmilière qu’est l’organisation de la journée.
Ce qui fait la valeur et le challenge de l’exercice, c’est sa capacité à être suffisamment cadré et fluide sur des volumes d’apprenants composés de plusieurs centaines d’étudiants . Dans le cadre de l’examen blanc, et de l’examen terminal, ce sont près de 7800 étudiants qui doivent être évalués ! On vous laisse imaginer l’exercice !
Le coup de maître est là : réussir à garantir l’intégrité des sujets, l’évaluation neutre des étudiants, tout en garantissant une expérience d’évaluation fluide pour l’ensemble des apprenants. Un challenge en soi qui démontre aussi le savoir-faire de l’ensemble du personnel, enseignants, agents de scolarité, responsables pédagogiques, ingénieurs pédagogiques, etc. 
.
Depuis plusieurs années, nous avons pu constater l’ingéniosité de nos partenaires dans l’organisation de ces évaluations à leur échelle : coaching par des comédiens, utilisation de cornes de brumes pour « rythmer » les séquences, création de matériel via des imprimantes 3D pour équiper les stations, développement d’application sonore pour les timings ; que d’efforts fournis pour garantir la réussite de cet exercice ambitieux à des échelles aussi importantes que celles de la médecine (on le rappelle, plusieurs centaines d’étudiants par promotion).
Les ECOS sur THEIA
Depuis plusieurs années, THEIA met à disposition des universités de médecine un module spécialement dédié aux ECOS, permettant aux évaluateurs d’évaluer sur tablette de manière rapide et efficace 🚀.
Nous sommes particulièrement fiers de pouvoir garantir un gain en logistique et en sécurité des données d’évaluation produites grâce à ce module. Il s’agit pour nous d’offrir à nos partenaires un espace de création des grilles d’évaluation qui seront mobilisées durant la simulation.
Les équipes pédagogiques responsables de l’organisation des ECOS peuvent ainsi créer des grilles d’évaluation directement sur THEIA. Ces grilles se composent d’une liste de critères à évaluer, objectifs, et sont associées à une ou plusieurs échelles d’évaluation déjà créées sur la plateforme. Pour les ECOS, deux échelles sont utilisées : une échelle binaire d’évaluation qui différencie les actions réalisées de celles « non réalisées » et une échelle d’évaluation de la performance générale de l’étudiant, basée sur un score type Likert de 1 à 5.
Une fois la grille créée, elle peut être mobilisée dans une ou plusieurs sessions en fonction du besoin. Les deux environnements de création de grilles et de mobilisation de la grille sont dissociés, permettant aux administrateurs, référents plateforme ou enseignants de créer de manière autonome la grille d’évaluation avant d’organiser la session de simulation proprement dite.
Chaque grille peut être utilisée dans un module de formation ou dans une session autonome. L’espace de création des sessions permet d’inscrire les étudiants et d’y associer leurs évaluateurs en amont. Des options permettent également de réaliser des exercices en auto-évaluation. Le jour J, il suffit de « publier » les grilles pour les rendre accessibles aux évaluateurs.
Ces derniers ont accès à une interface d’évaluation simple mais fonctionnelle qui leur permet d’évaluer facilement et rapidement chacun de leurs étudiants. L’interface a été conçue pour permettre aux professeurs d’évaluer rapidement les étudiants sans avoir à enregistrer manuellement leurs évaluations. Nous savons que lors des ECOS le temps est précieux et chaque seconde compte ! 🕒
Aussi, les évaluations sont complétées en temps réel, évitant le fastidieux ramassage des « copies » papiers. En simplifiant la saisie des évaluations, on garantit leur sécurisation. A tout moment si nécessaire, l’évaluateur peut venir en outre rectifier une évaluation manquée. Enfin, notre système permet la double saisie : plusieurs évaluateurs peuvent évaluer en toute autonomie et de manière distincte un seul et même étudiant.
Côté gestionnaire, un outil permet de consulter les évaluations en cours de saisie ou déjà saisies, individuellement ou collectivement pour chaque étudiant. En un coup d’œil, enseignants et gestionnaires ont accès en visuel à l’avancée de l’exercice mais aussi rapidement aux détails des évaluations de chaque étudiant. Ce suivi peut ensuite être exporté et constitue la base de travail pour la notation des étudiants 
Sur ce dernier point, nous avons eu le plaisir d’assister nos partenaires dans le calcul des notes et avons pu produire un certain nombre d’analyses statistiques enrichissant l’état de l’art sur les ECOS. Nous avons exploré des sujets tels que l’influence de la fatigue sur l’étudiant et l’évaluateur, les biais de genre, et l’ordre des stations dans la performance étudiante. Nos collaborations avec des universités comme Lyon, Paris ou Versailles, ainsi que notre participation à l’échelle européenne dans le cadre du programme Dominos, nous rendent très fiers de contribuer à ces évolutions pédagogiques.
Pour conclure (brièvement !)
Depuis plusieurs années, nous prenons plaisir à voir les initiatives sur la mise en place d’ECOS d’entraînement se propager, s’intensifier, et se généraliser au sein des universités de médecine. La tenue de l’exercice sur des cohortes d’apprenants de plus en plus jeunes et importantes, bien que complexe en termes de logistique et de gestion, ont démontré déjà à l’échelle locale l’engagement des universités de médecine et des équipes pédagogiques à offrir une formation adaptée et novatrice.
Sa généralisation à l’échelle nationale pose évidemment un tout autre défi et la place particulière que l’exercice prendra dans l’accès aux troisième cycle d’étude médicale ne manquera pas d’alimenter les discussions. Mais, sans rentrer dans le débat, il nous semble important de ne pas jeter le bébé avec l’eau du bain. Depuis de nombreux années, en France et partout dans le monde, la mise en place d’ECOS dans le parcours d’apprentissage d’étude médicale a, quoi qu’il en soit, permis de rappeler le rôle essentiel de l’acquisition et la mobilisation de compétences cliniques en situation dans la trajectoire d’apprentissage et la pratique des médecins.
A notre niveau, nous sommes heureux d’avoir pu mettre en place et faire évoluer un module d’évaluation mobilisable pour la préparation et la tenue de ce type d’exercice Ce module est, quoi qu’il en soit, amené à évoluer à l’avenir ,alors n’hésitez pas à suivre les différentes mises à jour de la plateforme en vous rendant sur le lien suivant : https://support.theia.fr/mises-a-jour/
Et puis, si vous souhaitez vous aussi créer des sessions d’ECOS, n’hésitez pas à nous contacter au service support. Nous nous ferons un plaisir de vous accompagner !
Pour en savoir plus sur la création des sessions d’ECOS sur THEIA, vous pouvez consulter le tutoriel dédié : « Les sessions d’ECOS ».
Pour aller plus loin
ANEMF / CNCEM – La r2c expliquée sous l’angle pédagogique – Livret étudiant
Université Paris Cité – Les ECOS : Une belle réussite à Université Paris Cité
Université de Lausanne : ECOS – Examen clinique objectif structuré
Université de Toulouse – Examen clinique objectif et structuré (ECOS) mode d’emploi
La presse Médicale Formation B.Veber – La réforme du 2e cycle des études médicales – Quels objectifs, quelle organisation, dans quel délais ?
Ressources internes :
THEIA – Eduardo ROJAS. Etats des lieux pédagogiques : les nouvelles approches docimologiques de la R2C
Tutoriel – Créer des listes de critères d’évaluation
Tutoriel – Créer des échelles d’évaluation
Tutoriel – Organiser une session d’ECOS
Tutoriel – Suivre une session d’ECOS
Tutoriel – Evaluer des apprenants dans une session d’ECOS
