RNPS
No. 1893
ISSN
1562-329
RNPS No. 1893 |
|
ISSN 1562-329 |
COMPARACIÓN DE LOS RESULTADOS DEL EXAMEN OBJETIVAMENTE ESTRUCTURADO CON El EXAMEN TRADICIONAL DE MORFOLOGÍA EN LICENCIATURA EN ENFERMERÍA.
Dr. Amado J. Crespo
Dueñas ****
Dr. Roberto Maceiras Pendás *
Lic. Isabel Paredes Torres**
Dra Mirtha Sixto Valdés ****
Dra Daisy Valiente Bisset**
**** PROFESOR TITULAR
*** PROFESOR AUXILIAR
** PROFESOR ASISTENTE
* INSTRUCTOR
RESUMEN
Se tomaron los 93 estudiantes que componen la matrícula del primer año de la carrera de Licenciatura en Enfermería del curso 1999-2000 de la Facultad de Ciencias Médicas “Dr. Ernesto Che Guevara de la Serna” de Pinar del Río, con el objetivo de describir el Examen Objetivamente Estructurado (EOE) y comparar los resultados de éste con el Examen Tradicional, aplicados ambos en la asignatura Ciencias Morfológicas II. Se dividió la muestra en un Grupo I (Control), y un Grupo II (Experimental), formados por 50 y 43 estudiantes respectivamente, los cuales fueron distribuidos por ambos grupos al azar. Al Grupo I se le aplicó el método tradicional de examen, en tanto que el Grupo II fue evaluado mediante el EOE. Al comparar los dos métodos de exámenes, la prueba de Chi cuadrado no dio como resultados asociación entre uno y otro, pero si se encontraron diferencias significativas entre el número de evaluados de 4 y de 2. En el EOE no hubo desaprobados y el número de estudiantes con calificación de 4 superó al método tradicional. Las posibilidades de una mejor discriminación de la calificación otorgada y de una retroalimentación superior a la lograda por el método tradicional, quedan demostradas en esta nueva modalidad de evaluación.
Palabras claves: Evaluación educacional. Evaluación
en Enfermería. Estudiantes de Enfermería.
ABSTRACT.
The 93 nursing students that composeed the register of the first year during
the course 1999-2000, at the medical faculty Dr Ernesto Che Guevara de la Serna
of Pinar del Río were taken to descibe the objetive ly structured Examination(O.S.E.),
as well as, to compare its results with the ones of the Traditional examination.Both
were made on the subject Morphological Sciences II. The sample was diveded in
2 groups.GroupI(control) and GroupII (experimental), composed by 50 and 43 students
respectively, being distributed at random. Group I made the traditional examination
while Group II made the (O.S.E.). When comparing both methods the Chi Sqare
test did not show any assotiation between them, but significant differences
were found among the number of students with 4 and 2 points. There were not
students with 2 points in the group that made the O.S.E. and the number of students
with 4 points was higher thau in the other group. The posibilities for a better
discrimination of the granted mark and for a higher feedback than the one accomplished
by the traditional method are demonstrated with new method of examination.
Key words: Educational Measurement. Nursing Assessment. Nursing
Students.
INTRODUCCIÓN
E n las últimas
décadas, se ha venido experimentando un creciente interés en la
evaluación de la competencia y habilidades de los futuros médicos,
que no eran evaluados adecuadamente por los métodos tradicionales (1).
De este modo, diferentes opciones se han abierto a los profesores de las Ciencias
Médicas, con el propósito de mejorar la calidad de la evaluación.
La más conocida y difundida en la actualidad de todas las opciones propuestas,
lo constituye el Examen Clínico Objetivamente Estructurado (OSCE), introducido
y desarrollado por primera vez por Harden y sus colaboradores en Escocia, en
el año 1975 (2).
En este examen, según su propio autor, se evalúan los componentes
de la competencia clínica de una forma planeada y estructurada, con énfasis
en su objetividad, constituyendo además, una aproximación a la
evaluación de la competencia que intenta mejorar la confiabilidad y la
validez a un nivel no logrado por los métodos tradicionales (3).
El OSCE se ha venido introduciendo en diferentes universidades del mundo, siendo
aceptado por la inmensa mayoría como un procedimiento muy útil
para la evaluación de la competencia profesional(4)(5) y el desempeño
estudiantil(6) (7)(8)(9).
No constituye realmente un método, se trata más bien, de una estructura
de examen flexible, en la cual es posible incorporar variados métodos
y tareas clínicas relevantes(10). El examen consiste en un circuito,
formado por un número variable y secuencial de estaciones, alrededor
de las cuales el alumno tiene que rotar y responder o darle solución
en cada una, a un problema planteado en un tiempo previamente fijado. El número
de estaciones y el tiempo a consumir en cada estación, varía de
acuerdo a las características de cada OSCE en particular (1)(3)(10).
Aunque definido como un examen práctico dirigido a la evaluación de la competencia clínica, se han expuesto experiencias de su uso en asignaturas pre-clínicas. Elliot y sus colaboradores (11), de la Escuela de Medicina de Oregón, describen y evalúan los resultados de la aplicación del método a un grupo de estudiantes del primer año de Medicina, enfatizando en las ventajas de este tipo de examen sobre el examen escrito o tradicional.
De la revisión de este tema, parte la motivación para la realización del presente trabajo, que tiene como objetivo describir la nueva modalidad de examen propuesta y comparar los resultados evaluativos de éste con el examen tradicional aplicado en la carrera de Licenciatura en Enfermería.
METODOS
E l examen se aplicó
en la asignatura Ciencias Morfológicas II que se imparte en el primer
año y segundo semestre de la carrera de Licenciatura en Enfermería
del curso académico 1999 –2000, en la Facultad de Ciencias Médicas
de Pinar del Río.
Se tomó la matrícula total del año, constituida por 93
estudiantes, que se dividieron en dos subgrupos, Grupo I (Control) y Grupo II
(Experimental), integrados por 50 y 43 estudiantes respectivamente, los cuales
fueron distribuidos por ambos grupos al azar Al Grupo I se le aplicó
el examen teórico-práctico tradicional, en tanto que el Grupo
II fue examinado utilizando la modalidad de Examen Objetivamente Estructurado
Desde la primera clase del semestre los alumnos fueron debidamente informados
sobre el sistema de evaluación de la asignatura, se les explicó
las características de cada modalidad de examen, y se obtuvo la aprobación
del grupo para su posterior aplicación. En el transcurso del semestre
cada subgrupo creado se fue entrenando teniendo en cuenta los criterios aprobados
para ambos tipos de evaluación final.
El EOE fue diseñado con un total de nueve estaciones constituidas por
locales identificados mediante un número y situados en el área
del Departamento de Ciencias Morfológicas. En cada una de las estaciones,
el alumno tenía que responder una pregunta o problema planteado en un
tiempo que no podía exceder de 7 minutos, de modo que cada 63 minutos
tenía lugar la rotación de 9 estudiantes por las diferentes estaciones.
Fue posible además, examinar 18 estudiantes con el mismo circuito, ya
que la propia organización del examen impedía la comunicación
entre los nueve examinados y los que esperaban por examinar.
Las estaciones estaban situadas una a continuación de la otra en disposición
casi circular, facilitando el movimiento de los estudiantes y el cambio de estación
dentro del circuito al recibir la orden de una señal sonora.
En cada uno de los locales se ubicó un profesor con una boleta de examen
conteniendo la pregunta a evaluar. Este disponía además de la
relación de alumnos a examinar, la labor de curso y la clave de respuestas.
En la etapa de planificación y organización del examen, se elaboró
un banco de preguntas que sirvieron para la creación de los circuitos.
La distribución de las preguntas se hizo de forma tal, que en los circuitos
estuvieran representados todos los temas y contenidos de la asignatura, lo que
hizo factible, además de medir habilidades, integrar el examen de una
forma interdisciplinaria. Se tuvo en cuenta además, la disponibilidad
de examinadores, con la capacitación necesaria para enfrentar este tipo
de evaluación.
Los contenidos a evaluar fueron distribuidos por las diferentes estaciones,
de la forma en que aparece a continuación:
ESTACION CONTENIDO
1 Identificación de la Estructura al Microscopio Optico
2 Descripción de la Estructura
3 Respiratorio
4 Cardivacular
5 Renal
6 Reproductor
7 Endocrino
8 Sistema Nervioso Central
9 Sistema Nervioso Periférico
Una vez concluido el examen, cada uno de los examinadores le hizo entrega al
profesor principal de la relación de los alumnos con la calificación
obtenida en cada una de sus correspondientes estaciones, lo que permitió
confeccionar el perfil de cada estudiante y emitir la nota del examen teniendo
en cuenta a clave preestablecida.
En la preparación del examen por el método tradicional, se confeccionaron
un total de 30 boletas conteniendo cada una tres preguntas de los temas de la
asignatura. En el momento del examen, el alumno seleccionaba una boleta al azar,
disponiendo de 30 minutos como máximo para su preparación. Seguidamente
este era examinado por un tribunal, integrado por tres profesores de las Ciencias
Morfológicas, el cual al final informaba la calificación del examen
y la nota final. La totalidad de los alumnos fueron examinados por dos tribunales
Los locales destinados a ambos tipos de exámenes, estaban provistos de
los medios y otros recursos necesarios utilizados en función de la evaluación.
Para el análisis estadístico de los resultados se utilizaron como
estadígrafos, medias, desviación standard, así como pruebas
de proporciones y Chi cuadrado.
RESULTADOS
E n el análisis
de los resultados evaluativos según tipo de examen, se aprecia que las
calificaciones de 5, 4 y 3 fueron distribuidas en el Examen Tradicional en un
número muy similar de estudiantes, en tanto que en el EOE, la mayoría
de los examinados se ubicaron en la categoría de 4 (Gráficos 1
y 2).
Al comparar los resultados usando la prueba de Chi cuadrado (X), como se ilustra
en el Cuadro 1, no se observó asociación entre un tipo y otro
de examen.
La prueba de las proporciones utilizada para comparar la distribución
de la frecuencia de las calificaciones en ambos métodos, detectó
diferencias significativas entre el número de estudiantes evaluados de
4, para una p< 0,5 y de 2 (p<0,5).
El Cuadro 3 muestra las medias de las calificaciones obtenidas por cada grupo
según tipo de examen. Como se aprecia, el valor medio para el Grupo I
fue de 3,60 y de 3,83 para el Grupo II, no existiendo diferencias significativas
entre ambos valores.
El resultado de cada una de las estaciones en el EOE, se recoge en el Cuadro
4. Aquí puede observarse que en la Estación 1 (Identificación
al Microscopio Optico), todos los examinados obtuvieron la máxima calificación
y que en las Estaciones 3, 4 y 7, ningún alumno resultó desaprobado.
Las dos medias más bajas correspondieron a la Estación 6 (Sistema
Reproductor) y a la Estación 8 (Sistema Nervioso Central), con valores
de 3,51 y 3,97 respectivamente. En el mismo cuadro se vuelve a mostrar la nota
media del examen y la nota final media.
En el examen tradicional la nota más baja fue de 2 y la máxima
de 5.
DISCUSIÓN
La evaluación
del aprendizaje es una parte esencial del proceso docente educativo, que posibilita
su propia dirección, así como el control y la valoración
del desarrollo de los modos de actuación que los estudiantes van adquiriendo
y permite verificar el grado en que se van alcanzando los objetivos generales
de estudio propuestos (12).
En el estudio se detectaron diferencias significativas entre los resultados
aportados por ambas modalidades de exámenes, no existiendo una distribución
homogénea de las calificaciones. Pudiera aceptarse que estas diferencias
obedecen a la aplicación de dos instrumentos evaluativos distintos, con
formatos diferentes, a un mismo grupo de estudiantes. Como se aprecia en el
Gráfico 2, los resultados del EOE, diferente al Examen tradicional, tuvieron
un comportamiento que se corresponde más con la curva simétrica
de un examen ideal en la que se describe un incremento del número de
estudiantes con calificación de 3 y 4, un número menor de excelentes
y ningún desaprobado, todo lo cual está en correspondencia con
la literatura revisada(13) (14).
En el Examen Objetivamente Estructurado descrito en el presente trabajo, se
expresaron los tres grandes criterios o principios en que se puede dimensionar
la evaluación (12) (13) (14). Se considera que este examen tuvo validez,
ya que los problemas planteadas en cada una de las estaciones eran resueltos
por los estudiantes con el auxilio de los medios de enseñanza disponibles
para tales efectos, tales como cortes histológicos, modelos anatómicos
y piezas conservadas, con las que se crearon situaciones que intentaron aproximar
al estudiante a problemas reales que tiene que resolver en el desempeño
de su futura profesión. El propio diseño del examen tradicional,
diferente al anterior, limitó el desarrollo de estos modos de actuación.
Se evidenció en este nuevo tipo de examen, la integración y generalización
del contenido, permitiendo evaluar un mayor volumen de información y
existiendo además, una correspondencia entre lo que se pretendió
evaluar y lo que realmente se evaluó. Por otra parte, su formato, planeado
con nueve estaciones, le facilitó al docente ubicado en cada una de estas,
la observación directa del alumno, en la respuesta a las situaciones
planteadas, en correspondencia con los objetivos de la asignatura, posibilitando
de este modo, no sólo medir conocimientos teóricos, sino también
habilidades prácticas que se fueron incorporando y consolidando a lo
largo del semestre y que en el momento del examen se expresaron con un carácter
generalizador. El método tradicional empleado, en el cual con sólo
tres preguntas se emite un criterio evaluativo, no permite en todos los casos,
hacer una valoración del aprendizaje de los principales temas o contenidos
básicos, dificultando el nivel de generalización que se debe lograr
en una evaluación final.
El nivel de confiabilidad, como expresión de la consistencia y precisión
de las mediciones que se alcanza con el Examen de Objetivos Estructurados, superior
al logrado por el método tradicional, justifica su aceptación
por un considerable número de autores (5) (13) (14) (15). En esta nueva
modalidad de examen, los alumnos fueron sometidos al mismo problema, a los mismos
profesores y a iguales criterios evaluativos con un incremento además
en los modos de actuación a observar. De modo que, según opinión
de los autores y coincidiendo con Vento Torres (13), si los examinadores hubiesen
sido otros profesores, con mucha probabilidad, los resultados hubiesen sido
los mismos.
Las posibilidades de retroalimentación que propicia el nuevo instrumento
evaluativo derivadas de su propio diseño, superan a las del método
tradicional, al permitir una mejor identificación de deficiencias de
aprendizaje. De este modo, los resultados obtenidos en cada una de las estaciones
que se muestran en el Cuadro 4 y el perfil del estudiante confeccionado con
los resultados evaluativos individuales, permitió identificar las áreas
de competencia más débiles y las deficiencias de cada alumno en
particular. El Examen de Objetivos Estructurados de este modo y corroborando
el criterio de otros autores (16) (17) (18), retroalimenta oportunamente a todos
los participantes en el proceso docente educativo, siendo capaz de diagnosticar
con mayor grado de objetividad el progreso del estudiante, su desempeño
y el propio trabajo docente.
Otro elemento a tener presente en la planificación de un examen de objetivos
estructurados, lo constituye la practicabilidad. Un examen ideal, entre otros
requisitos, tiene que tener en cuenta, el número de estudiantes, número
de
profesores disponibles, su capacitación y especialización, espacio
disponible y uso que se va a hacer de los resultados (13).El nuevo método
de examen es flexible además, porque se adapta a las necesidades de cada
etapa de una disciplina, estancia o rotación y carrera (4)(19).
La aplicación del Examen Objetivamente Estructurado en la asignatura
de Ciencias Morfológicas II, viene a confirmar los criterios anteriores,
teniendo en cuenta que el departamento cuenta con una aceptable proporción
alumno profesor, que hacen factible su implementación, además
de las posibilidades de ajustar su formato a las necesidades de esta asignatura
y a los objetivos de la carrera en general.
A modo de conclusiones se señala que: en el Examen Objetivamente Estructurado
la mayoría de los examinados se ubicó en la nota de 4, no existiendo
alumnos desaprobados. EL EOE permite verificar el grado de preparación
teórico práctico del estudiante, discriminando mejor la calificación
que se otorga y que la practicabilidad del método y las posibilidades
de retralimentación, superior a la brindada por el método tradicional,
queda demostrada en esta nueva modalidad de examen.
REFERENCIAS
1. Grand Maison P, Lescop J, Rainsberry P, Brailovsky CA: Large-scale use of
an Objective Structured Clinical Examination for licensing Family Physicians.
Can Med Assoc J 1993; 148(9): 1573-75.
2. Harden RM, Stevenson M, Downie WW , et al.: Assessment of clinical competence
using an Objective Structured Examination. BMJ 1975; 1: 447-51.
3. Harden RM, Cairncross, RG.: Self assessment. Medical Teacher 1980;2:145-48.
4. Salas-Perea RS.: Educación en Salud. Competencia y desempeño
profesionales. Ed. Ciencias Méd. La Habana 1999: 141-58.
5. Sloan DA, Donnelly MB, Schwartz RW, Vasconez HC, Plymale M, Kenady DE.: Critical
assessment of the head and neck clinical skills of general surgery residents.
World J Surg 1998;22(3): 229-33.
6. Hamann C, Volkann K, Fishman MB, et al,: How well do second year students
learn phisical diagnosis. Observational study of an OSCE. Bmc Med Educ 2002;2(1):1
7. Bustamante M, Carvajal C, Gottlieb B, et al. : A new instrument for the evaluation
of the medical profession. Use of the OSCE method. Rev Med Chil 2000 Sep; 128(9):
1039-44.
8. Denekens J. : Education in basic clinical skills for doctors. Verh K Acad
Geneeskd Belg 2000; 62(5):399-418
9. Prislin MD, Fitzpatrick CF, Lie D, Giglio M, Radecki S, Lewis E.: Use of
an Objective Structured Clinical Examination in evaluating student performance.
Fam Med. 1998 May;30(5):338-44.
10. Newble DI.: Assessing clinical competence at the undergraduate level. Medical
Education 1992; 26: 504-11.
11. Elliot DL, Fields, SA, Keenen TL, Jaffe AC, Toffler WL.: Use of a group
objective structured clinical examination with first-year medical students.
Acad Med 1994 Dec; 69(12):990-2.
12. Freire M, Piñeda ME.: La evaluación educacional ante las tendencias
pedagógicas. Revista Cubana de Educación Médica Superior,3
1998: 29-38.
13. Vento M, Moya M, Schiff D.: Utilización de los examenes clínicos
estructurados objetivamente en la evaluación de pregraduado en Pediatría.
AN. Esp. Pediatr 1990;32(1): 41-48.
14. Valentino J, Donnely MB, Sloan DA, Schwartz RW, Haydon RC.: The reliability
of six faculty members in identifying important OSCE items. Acad Med. 1998 Feb;73(2):204-5
15. Ytterberg SR, Harris IB, Allen SS, Anderson DC, Kofron PM, Kvasnicka JH,
McCord JP, Moller JH: Clinical confidence and skills of medical students: use
of an OSCE to enhance confidence in clinical skills. Acad Med. 1998 Oct; 73:
103-5.
16. Hilliard RI, Tallet SE.: The use of an Objective Structured Clinical Examination
with postgraduate residents in pediatrics. Arch Pediatr Adolesc Med. 1998 Jan;
152(1):74-8.
17. Schwartz RW, Witzke DB, Donnelly MB, Stratton T, Blue AV, Sloan DA.: Assessing
residents’clinical performance:cumulative resultsof a four-years study
with the Objective Structured Clinical Examination. Surgery, 1998 Aug ; 124(2):
307-12.
18. Khattab AD, Rawlings B.: Assesing nurse practitioner students using a modified
OSCE. Nurse Educ Today 2001 oct;21(7):541-50.
19. Duerson MC, Romrell LJ, Stevens CB.: Impacting faculty teaching and student
performance: nine years´experience with the OSCE. Teach Learn Med 2000
Fall; 12(4):176-82
>>>Página principal<<< >>>Artículos<<<