RNPS

No. 1893

ISSN

1562-329

COMPARACIÓN DE LOS RESULTADOS DEL EXAMEN OBJETIVAMENTE ESTRUCTURADO CON El EXAMEN TRADICIONAL DE MORFOLOGÍA EN LICENCIATURA EN ENFERMERÍA.

Dr. Amado J. Crespo Dueñas ****
Dr. Roberto Maceiras Pendás *
Lic. Isabel Paredes Torres**
Dra Mirtha Sixto Valdés ****
Dra Daisy Valiente Bisset**


**** PROFESOR TITULAR
*** PROFESOR AUXILIAR
** PROFESOR ASISTENTE
* INSTRUCTOR

RESUMEN

Se tomaron los 93 estudiantes que componen la matrícula del primer año de la carrera de Licenciatura en Enfermería del curso 1999-2000 de la Facultad de Ciencias Médicas “Dr. Ernesto Che Guevara de la Serna” de Pinar del Río, con el objetivo de describir el Examen Objetivamente Estructurado (EOE) y comparar los resultados de éste con el Examen Tradicional, aplicados ambos en la asignatura Ciencias Morfológicas II. Se dividió la muestra en un Grupo I (Control), y un Grupo II (Experimental), formados por 50 y 43 estudiantes respectivamente, los cuales fueron distribuidos por ambos grupos al azar. Al Grupo I se le aplicó el método tradicional de examen, en tanto que el Grupo II fue evaluado mediante el EOE. Al comparar los dos métodos de exámenes, la prueba de Chi cuadrado no dio como resultados asociación entre uno y otro, pero si se encontraron diferencias significativas entre el número de evaluados de 4 y de 2. En el EOE no hubo desaprobados y el número de estudiantes con calificación de 4 superó al método tradicional. Las posibilidades de una mejor discriminación de la calificación otorgada y de una retroalimentación superior a la lograda por el método tradicional, quedan demostradas en esta nueva modalidad de evaluación.


Palabras claves: Evaluación educacional. Evaluación en Enfermería. Estudiantes de Enfermería.


ABSTRACT.


The 93 nursing students that composeed the register of the first year during the course 1999-2000, at the medical faculty Dr Ernesto Che Guevara de la Serna of Pinar del Río were taken to descibe the objetive ly structured Examination(O.S.E.), as well as, to compare its results with the ones of the Traditional examination.Both were made on the subject Morphological Sciences II. The sample was diveded in 2 groups.GroupI(control) and GroupII (experimental), composed by 50 and 43 students respectively, being distributed at random. Group I made the traditional examination while Group II made the (O.S.E.). When comparing both methods the Chi Sqare test did not show any assotiation between them, but significant differences were found among the number of students with 4 and 2 points. There were not students with 2 points in the group that made the O.S.E. and the number of students with 4 points was higher thau in the other group. The posibilities for a better discrimination of the granted mark and for a higher feedback than the one accomplished by the traditional method are demonstrated with new method of examination.


Key words: Educational Measurement. Nursing Assessment. Nursing Students.


INTRODUCCIÓN

E n las últimas décadas, se ha venido experimentando un creciente interés en la evaluación de la competencia y habilidades de los futuros médicos, que no eran evaluados adecuadamente por los métodos tradicionales (1). De este modo, diferentes opciones se han abierto a los profesores de las Ciencias Médicas, con el propósito de mejorar la calidad de la evaluación.
La más conocida y difundida en la actualidad de todas las opciones propuestas, lo constituye el Examen Clínico Objetivamente Estructurado (OSCE), introducido y desarrollado por primera vez por Harden y sus colaboradores en Escocia, en el año 1975 (2).
En este examen, según su propio autor, se evalúan los componentes de la competencia clínica de una forma planeada y estructurada, con énfasis en su objetividad, constituyendo además, una aproximación a la evaluación de la competencia que intenta mejorar la confiabilidad y la validez a un nivel no logrado por los métodos tradicionales (3).
El OSCE se ha venido introduciendo en diferentes universidades del mundo, siendo aceptado por la inmensa mayoría como un procedimiento muy útil para la evaluación de la competencia profesional(4)(5) y el desempeño estudiantil(6) (7)(8)(9).
No constituye realmente un método, se trata más bien, de una estructura de examen flexible, en la cual es posible incorporar variados métodos y tareas clínicas relevantes(10). El examen consiste en un circuito, formado por un número variable y secuencial de estaciones, alrededor de las cuales el alumno tiene que rotar y responder o darle solución en cada una, a un problema planteado en un tiempo previamente fijado. El número de estaciones y el tiempo a consumir en cada estación, varía de acuerdo a las características de cada OSCE en particular (1)(3)(10).

Aunque definido como un examen práctico dirigido a la evaluación de la competencia clínica, se han expuesto experiencias de su uso en asignaturas pre-clínicas. Elliot y sus colaboradores (11), de la Escuela de Medicina de Oregón, describen y evalúan los resultados de la aplicación del método a un grupo de estudiantes del primer año de Medicina, enfatizando en las ventajas de este tipo de examen sobre el examen escrito o tradicional.

De la revisión de este tema, parte la motivación para la realización del presente trabajo, que tiene como objetivo describir la nueva modalidad de examen propuesta y comparar los resultados evaluativos de éste con el examen tradicional aplicado en la carrera de Licenciatura en Enfermería.

METODOS

E l examen se aplicó en la asignatura Ciencias Morfológicas II que se imparte en el primer año y segundo semestre de la carrera de Licenciatura en Enfermería del curso académico 1999 –2000, en la Facultad de Ciencias Médicas de Pinar del Río.
Se tomó la matrícula total del año, constituida por 93 estudiantes, que se dividieron en dos subgrupos, Grupo I (Control) y Grupo II (Experimental), integrados por 50 y 43 estudiantes respectivamente, los cuales fueron distribuidos por ambos grupos al azar Al Grupo I se le aplicó el examen teórico-práctico tradicional, en tanto que el Grupo II fue examinado utilizando la modalidad de Examen Objetivamente Estructurado
Desde la primera clase del semestre los alumnos fueron debidamente informados sobre el sistema de evaluación de la asignatura, se les explicó las características de cada modalidad de examen, y se obtuvo la aprobación del grupo para su posterior aplicación. En el transcurso del semestre cada subgrupo creado se fue entrenando teniendo en cuenta los criterios aprobados para ambos tipos de evaluación final.
El EOE fue diseñado con un total de nueve estaciones constituidas por locales identificados mediante un número y situados en el área del Departamento de Ciencias Morfológicas. En cada una de las estaciones, el alumno tenía que responder una pregunta o problema planteado en un tiempo que no podía exceder de 7 minutos, de modo que cada 63 minutos tenía lugar la rotación de 9 estudiantes por las diferentes estaciones. Fue posible además, examinar 18 estudiantes con el mismo circuito, ya que la propia organización del examen impedía la comunicación entre los nueve examinados y los que esperaban por examinar.
Las estaciones estaban situadas una a continuación de la otra en disposición casi circular, facilitando el movimiento de los estudiantes y el cambio de estación dentro del circuito al recibir la orden de una señal sonora.
En cada uno de los locales se ubicó un profesor con una boleta de examen conteniendo la pregunta a evaluar. Este disponía además de la relación de alumnos a examinar, la labor de curso y la clave de respuestas.
En la etapa de planificación y organización del examen, se elaboró un banco de preguntas que sirvieron para la creación de los circuitos. La distribución de las preguntas se hizo de forma tal, que en los circuitos estuvieran representados todos los temas y contenidos de la asignatura, lo que hizo factible, además de medir habilidades, integrar el examen de una forma interdisciplinaria. Se tuvo en cuenta además, la disponibilidad de examinadores, con la capacitación necesaria para enfrentar este tipo de evaluación.
Los contenidos a evaluar fueron distribuidos por las diferentes estaciones, de la forma en que aparece a continuación:
ESTACION CONTENIDO
1 Identificación de la Estructura al Microscopio Optico
2 Descripción de la Estructura
3 Respiratorio
4 Cardivacular
5 Renal
6 Reproductor
7 Endocrino
8 Sistema Nervioso Central
9 Sistema Nervioso Periférico

Una vez concluido el examen, cada uno de los examinadores le hizo entrega al profesor principal de la relación de los alumnos con la calificación obtenida en cada una de sus correspondientes estaciones, lo que permitió confeccionar el perfil de cada estudiante y emitir la nota del examen teniendo en cuenta a clave preestablecida.
En la preparación del examen por el método tradicional, se confeccionaron un total de 30 boletas conteniendo cada una tres preguntas de los temas de la asignatura. En el momento del examen, el alumno seleccionaba una boleta al azar, disponiendo de 30 minutos como máximo para su preparación. Seguidamente este era examinado por un tribunal, integrado por tres profesores de las Ciencias Morfológicas, el cual al final informaba la calificación del examen y la nota final. La totalidad de los alumnos fueron examinados por dos tribunales
Los locales destinados a ambos tipos de exámenes, estaban provistos de los medios y otros recursos necesarios utilizados en función de la evaluación.
Para el análisis estadístico de los resultados se utilizaron como estadígrafos, medias, desviación standard, así como pruebas de proporciones y Chi cuadrado.

RESULTADOS

E n el análisis de los resultados evaluativos según tipo de examen, se aprecia que las calificaciones de 5, 4 y 3 fueron distribuidas en el Examen Tradicional en un número muy similar de estudiantes, en tanto que en el EOE, la mayoría de los examinados se ubicaron en la categoría de 4 (Gráficos 1 y 2).
Al comparar los resultados usando la prueba de Chi cuadrado (X), como se ilustra en el Cuadro 1, no se observó asociación entre un tipo y otro de examen.
La prueba de las proporciones utilizada para comparar la distribución de la frecuencia de las calificaciones en ambos métodos, detectó diferencias significativas entre el número de estudiantes evaluados de 4, para una p< 0,5 y de 2 (p<0,5).
El Cuadro 3 muestra las medias de las calificaciones obtenidas por cada grupo según tipo de examen. Como se aprecia, el valor medio para el Grupo I fue de 3,60 y de 3,83 para el Grupo II, no existiendo diferencias significativas entre ambos valores.
El resultado de cada una de las estaciones en el EOE, se recoge en el Cuadro 4. Aquí puede observarse que en la Estación 1 (Identificación al Microscopio Optico), todos los examinados obtuvieron la máxima calificación y que en las Estaciones 3, 4 y 7, ningún alumno resultó desaprobado.
Las dos medias más bajas correspondieron a la Estación 6 (Sistema Reproductor) y a la Estación 8 (Sistema Nervioso Central), con valores de 3,51 y 3,97 respectivamente. En el mismo cuadro se vuelve a mostrar la nota media del examen y la nota final media.
En el examen tradicional la nota más baja fue de 2 y la máxima de 5.


DISCUSIÓN

La evaluación del aprendizaje es una parte esencial del proceso docente educativo, que posibilita su propia dirección, así como el control y la valoración del desarrollo de los modos de actuación que los estudiantes van adquiriendo y permite verificar el grado en que se van alcanzando los objetivos generales de estudio propuestos (12).
En el estudio se detectaron diferencias significativas entre los resultados aportados por ambas modalidades de exámenes, no existiendo una distribución homogénea de las calificaciones. Pudiera aceptarse que estas diferencias obedecen a la aplicación de dos instrumentos evaluativos distintos, con formatos diferentes, a un mismo grupo de estudiantes. Como se aprecia en el Gráfico 2, los resultados del EOE, diferente al Examen tradicional, tuvieron un comportamiento que se corresponde más con la curva simétrica de un examen ideal en la que se describe un incremento del número de estudiantes con calificación de 3 y 4, un número menor de excelentes y ningún desaprobado, todo lo cual está en correspondencia con la literatura revisada(13) (14).
En el Examen Objetivamente Estructurado descrito en el presente trabajo, se expresaron los tres grandes criterios o principios en que se puede dimensionar la evaluación (12) (13) (14). Se considera que este examen tuvo validez, ya que los problemas planteadas en cada una de las estaciones eran resueltos por los estudiantes con el auxilio de los medios de enseñanza disponibles para tales efectos, tales como cortes histológicos, modelos anatómicos y piezas conservadas, con las que se crearon situaciones que intentaron aproximar al estudiante a problemas reales que tiene que resolver en el desempeño de su futura profesión. El propio diseño del examen tradicional, diferente al anterior, limitó el desarrollo de estos modos de actuación.
Se evidenció en este nuevo tipo de examen, la integración y generalización del contenido, permitiendo evaluar un mayor volumen de información y existiendo además, una correspondencia entre lo que se pretendió evaluar y lo que realmente se evaluó. Por otra parte, su formato, planeado con nueve estaciones, le facilitó al docente ubicado en cada una de estas, la observación directa del alumno, en la respuesta a las situaciones planteadas, en correspondencia con los objetivos de la asignatura, posibilitando de este modo, no sólo medir conocimientos teóricos, sino también habilidades prácticas que se fueron incorporando y consolidando a lo largo del semestre y que en el momento del examen se expresaron con un carácter generalizador. El método tradicional empleado, en el cual con sólo tres preguntas se emite un criterio evaluativo, no permite en todos los casos, hacer una valoración del aprendizaje de los principales temas o contenidos básicos, dificultando el nivel de generalización que se debe lograr en una evaluación final.
El nivel de confiabilidad, como expresión de la consistencia y precisión de las mediciones que se alcanza con el Examen de Objetivos Estructurados, superior al logrado por el método tradicional, justifica su aceptación por un considerable número de autores (5) (13) (14) (15). En esta nueva modalidad de examen, los alumnos fueron sometidos al mismo problema, a los mismos profesores y a iguales criterios evaluativos con un incremento además en los modos de actuación a observar. De modo que, según opinión de los autores y coincidiendo con Vento Torres (13), si los examinadores hubiesen sido otros profesores, con mucha probabilidad, los resultados hubiesen sido los mismos.
Las posibilidades de retroalimentación que propicia el nuevo instrumento evaluativo derivadas de su propio diseño, superan a las del método tradicional, al permitir una mejor identificación de deficiencias de aprendizaje. De este modo, los resultados obtenidos en cada una de las estaciones que se muestran en el Cuadro 4 y el perfil del estudiante confeccionado con los resultados evaluativos individuales, permitió identificar las áreas de competencia más débiles y las deficiencias de cada alumno en particular. El Examen de Objetivos Estructurados de este modo y corroborando el criterio de otros autores (16) (17) (18), retroalimenta oportunamente a todos los participantes en el proceso docente educativo, siendo capaz de diagnosticar con mayor grado de objetividad el progreso del estudiante, su desempeño y el propio trabajo docente.
Otro elemento a tener presente en la planificación de un examen de objetivos estructurados, lo constituye la practicabilidad. Un examen ideal, entre otros requisitos, tiene que tener en cuenta, el número de estudiantes, número de
profesores disponibles, su capacitación y especialización, espacio disponible y uso que se va a hacer de los resultados (13).El nuevo método de examen es flexible además, porque se adapta a las necesidades de cada etapa de una disciplina, estancia o rotación y carrera (4)(19).
La aplicación del Examen Objetivamente Estructurado en la asignatura de Ciencias Morfológicas II, viene a confirmar los criterios anteriores, teniendo en cuenta que el departamento cuenta con una aceptable proporción alumno profesor, que hacen factible su implementación, además de las posibilidades de ajustar su formato a las necesidades de esta asignatura y a los objetivos de la carrera en general.
A modo de conclusiones se señala que: en el Examen Objetivamente Estructurado la mayoría de los examinados se ubicó en la nota de 4, no existiendo alumnos desaprobados. EL EOE permite verificar el grado de preparación teórico práctico del estudiante, discriminando mejor la calificación que se otorga y que la practicabilidad del método y las posibilidades de retralimentación, superior a la brindada por el método tradicional, queda demostrada en esta nueva modalidad de examen.

REFERENCIAS

1. Grand Maison P, Lescop J, Rainsberry P, Brailovsky CA: Large-scale use of an Objective Structured Clinical Examination for licensing Family Physicians. Can Med Assoc J 1993; 148(9): 1573-75.
2. Harden RM, Stevenson M, Downie WW , et al.: Assessment of clinical competence using an Objective Structured Examination. BMJ 1975; 1: 447-51.
3. Harden RM, Cairncross, RG.: Self assessment. Medical Teacher 1980;2:145-48.
4. Salas-Perea RS.: Educación en Salud. Competencia y desempeño profesionales. Ed. Ciencias Méd. La Habana 1999: 141-58.
5. Sloan DA, Donnelly MB, Schwartz RW, Vasconez HC, Plymale M, Kenady DE.: Critical assessment of the head and neck clinical skills of general surgery residents. World J Surg 1998;22(3): 229-33.
6. Hamann C, Volkann K, Fishman MB, et al,: How well do second year students learn phisical diagnosis. Observational study of an OSCE. Bmc Med Educ 2002;2(1):1
7. Bustamante M, Carvajal C, Gottlieb B, et al. : A new instrument for the evaluation of the medical profession. Use of the OSCE method. Rev Med Chil 2000 Sep; 128(9): 1039-44.
8. Denekens J. : Education in basic clinical skills for doctors. Verh K Acad Geneeskd Belg 2000; 62(5):399-418
9. Prislin MD, Fitzpatrick CF, Lie D, Giglio M, Radecki S, Lewis E.: Use of an Objective Structured Clinical Examination in evaluating student performance. Fam Med. 1998 May;30(5):338-44.
10. Newble DI.: Assessing clinical competence at the undergraduate level. Medical Education 1992; 26: 504-11.
11. Elliot DL, Fields, SA, Keenen TL, Jaffe AC, Toffler WL.: Use of a group objective structured clinical examination with first-year medical students. Acad Med 1994 Dec; 69(12):990-2.
12. Freire M, Piñeda ME.: La evaluación educacional ante las tendencias pedagógicas. Revista Cubana de Educación Médica Superior,3 1998: 29-38.
13. Vento M, Moya M, Schiff D.: Utilización de los examenes clínicos estructurados objetivamente en la evaluación de pregraduado en Pediatría. AN. Esp. Pediatr 1990;32(1): 41-48.
14. Valentino J, Donnely MB, Sloan DA, Schwartz RW, Haydon RC.: The reliability of six faculty members in identifying important OSCE items. Acad Med. 1998 Feb;73(2):204-5
15. Ytterberg SR, Harris IB, Allen SS, Anderson DC, Kofron PM, Kvasnicka JH, McCord JP, Moller JH: Clinical confidence and skills of medical students: use of an OSCE to enhance confidence in clinical skills. Acad Med. 1998 Oct; 73: 103-5.
16. Hilliard RI, Tallet SE.: The use of an Objective Structured Clinical Examination with postgraduate residents in pediatrics. Arch Pediatr Adolesc Med. 1998 Jan; 152(1):74-8.
17. Schwartz RW, Witzke DB, Donnelly MB, Stratton T, Blue AV, Sloan DA.: Assessing residents’clinical performance:cumulative resultsof a four-years study with the Objective Structured Clinical Examination. Surgery, 1998 Aug ; 124(2): 307-12.
18. Khattab AD, Rawlings B.: Assesing nurse practitioner students using a modified OSCE. Nurse Educ Today 2001 oct;21(7):541-50.
19. Duerson MC, Romrell LJ, Stevens CB.: Impacting faculty teaching and student performance: nine years´experience with the OSCE. Teach Learn Med 2000 Fall; 12(4):176-82

>>>Página principal<<<    >>>Artículos<<<