L’évaluation par les pairs en médecine : Comparaison de méthodes

Details

Supervisors

Verschuren, Franck

Faculty

Faculté de médecine et médecine dentaire

Degree label

Master [180] en médecine

Abstract

Introduction Pouvoir évaluer le travail de collègues est de plus en plus considéré comme important pour des soins de santé de bonne qualité. Cependant, l’évaluation par les pairs est souvent associée à de la « Sur-cotation (overmarking) », ce qui conduit à ce que les pairs octroient des grades plus élevés que ceux donnés par les professeurs. Nous avons entrepris d’analyser l’évaluation des pairs à l’aide de la méthode par jugement comparatif, dans laquelle plusieurs pairs sont amenés à comparer les travaux deux par deux. Les objectifs de cette étude étaient d’évaluer cette nouvelle méthode en termes de sur-cotation entre les pairs et de mettre l’accent sur la qualité des feedbacks fournis par les étudiants. Méthodes Les étudiants en médecine de deuxième année ont rédigé un essai d’une page sur un polluant de l’air dans le cadre du cours de physiologie pulmonaire. L’évaluation par les pairs a été organisée selon une méthode basée sur des critères (première année) et une méthode comparative (deuxième année). La qualité des feedbacks a été analysée en termes de cohérence, de pertinence et de bienveillance. Résultats Chacun des 259 étudiants a noté l’essai de six de ses collègues en utilisant des critères. 86% des étudiants ont obtenu un score de 43 ou plus sur 45, confirmant la « Sur-cotation » de leurs pairs. Au cours de la seconde année, un groupe de 222 étudiants différents a réalisé 1337 jugements comparés, générant un classement des essais du plus faible au plus fort. Ce classement a donc éliminé de facto la notion de sur-cotation. La cohérence (entre les notes et les commentaires) des feedbacks est de 29.6% la première année contre 85.0% la seconde année. La pertinence (suggestions d’amélioration spécifique), quant à elle, passe de 38.4% à 79.9% et la bienveillance est comparable entre les deux méthodes 96.9% et 97.2%. Discussion A notre connaissance, cette étude est la première à utiliser le jugement comparatif pour l’évaluation par les pairs dans un contexte d’éducation médicale. Les résultats indiquent qu’il s’agit d’une alternative valable par rapport à d’autres méthodes générant sur-cotation entre pairs. De plus, cette étude suggère que la comparaison des essais deux à deux pourrait améliorer la cohérence, la pertinence ainsi que la bienveillance des feedbacks laissés par les étudiants. « Take-home messages » Une évaluation par les pairs fondée sur un jugement comparatif évite que les étudiants en médecine ne subissent une « sur-cotation par les pairs » et améliore la qualité des feedbacks des étudiants.