“Evaluación es un intento de conocer a la persona”
Rowntree, 1977

“Colectar datos para evaluación es como recoger la basura.
Más te vale saber lo que vas a hacer con ella antes de que la recojas”.
Mark Twain

I. INTRODUCCION
Después de terminar la licenciatura de medicina, el profesional debe tener sólidas bases del arte y ciencia médicas tanto en el diagnóstico como el tratamiento de una amplia variedad de enfermedades. Cuando el médico inicia un estudio de posgrado se requiere un plan estructurado en forma progresiva que logre el aprendizaje de conocimientos, destrezas y habilidades de un área específica de la medicina. El proceso de enseñanza tiene que contemplar lo que el médico obtiene a través de mecanismos audiovisuales (lectura, conferencias, sesiones, seminarios); de la orientación y apoyo que el profesor brinda en forma tutorial y el aprendizaje de habilidades (auscultación del corazón, técnica quirúrgica, la exploración física) y destrezas obtenidas y practicadas en el propio paciente. El médico que hace las veces de profesor tiene un papel preponderante para verificar que el aprendizaje haya ocurrido de acuerdo a lo planeado, con el paciente como eje central del proceso.

En este contexto, la evaluación del aprendizaje es uno de los elementos más importantes del proceso educativo, desde el punto de vista de los participantes directos (profesor y alumno) y de la sociedad que requiere profesionales de la salud competentes que puedan atender sus demandas de salud con efectividad, eficiencia y calidez. La estructura misma del continuo educativo en que se forman los médicos durante la enseñanza escolarizada de pre y posgrado está construida alrededor de hitos de evaluación que tienen que ser acreditados por los educandos. Con frecuencia es la evaluación la que empuja los curricula de las escuelas de medicina y residencias, haciendo que los alumnos perciban su progreso en la cadena educativa por medio del pase de una sucesión de exámenes que parece no tener fin. La evaluación se convierte de hecho en la principal fuerza motivadora para que el estudiante aprenda, por lo que se debe ser cuidadoso y profesional en la planeación y ejecución de este proceso que determina quien termina la carrera o la especialidad, y con qué calificaciones (1).

Uno de los corolarios más importantes del proceso de evaluación, es que ninguna decisión educativa importante debe tomarse basada sólo en la puntuación de un examen (2). Hay que evaluar suficientes tareas para capturar y analizar una muestra representativa del aprendizaje del individuo, de otra manera se tiene sólo una visión limitada y sesgada del desempeño del estudiante. En el caso particular de la profesión médica, el consenso de los expertos es que ningún método individual de evaluación puede proveer todos los elementos que se requieren para juzgar algo tan complejo como la atención médica de calidad en la práctica clínica, de tal manera que el reto de la evaluación en la educación médica es de extrema complejidad y exige que lo abordemos con responsabilidad y profesionalismo (3). Por otra parte, los mecanismos de evaluación y sus resultados en el área de atención de la salud son de fundamental importancia para que la institución formadora rinda cuentas de la calidad de sus productos a la sociedad y a los organismos de acreditación y certificación.

El objetivo del presente documento es ofrecer un panorama de los procesos de evaluación y supervisión en el área de la educación médica, incluyendo sus definiciones, principales estrategias y recomendaciones, para llevarlo a cabo de una manera eficaz con fundamentos educativamente sólidos.

II. SUPERVISIÓN
¿Qué es la supervisión?
En el marco de la administración podemos conceptuar a la supervisión como el arte de realizar el trabajo por medio de los esfuerzos y habilidades de otras personas. Es una función normativa que fija y vigila el cumplimiento de deberes y responsabilidades bien definidas y que emplea un singular conjunto de principios, prácticas y habilidades. Es un proceso, por lo que no debe considerarse como algo pasivo, que implica observación de la ejecución de tareas formalmente establecidas, priorizando a las funciones que articulan y organizan dichas tareas (4). La supervisión involucra la delegación de éstas, pero nunca la de la responsabilidad.

Supervisar es un superior que observa directamente las actividades precisamente cuando se están ejecutando, que comprueba el desarrollo real o el progreso de programas académicos, que determina sobre la marcha correcciones en caso de desvíos, atendiendo a la naturaleza del ámbito, los estándares establecidos, la calidad de las instrucciones dadas, y la capacidad y habilidades de los ejecutantes (5). Por supervisión puede entenderse el contar con una visión superior, más alta, más amplia, más profunda, más oportuna y más efectiva, de los planes y programas, de los procesos y resultados, así como del grado de cumplimiento de la misión de la institución. Este concepto lo deben tener el residente, el profesor y las autoridades institucionales.

El médico residente debe estar conciente de la importancia de la supervisión y no verlo como un medio de represión y control. Debe hacerse las siguientes preguntas: ¿qué me van a supervisar?, ¿cuáles son mis responsabilidades educativas y asistenciales?, ¿existen parámetros para juzgar mi rendimiento y conductas?, ¿qué esperamos los residentes e incluso los profesores de la supervisión?, ¿qué esperan de mí los dirigentes de la institución asistencial y la autoridades educativas?, ¿qué esperan los pacientes?, ¿qué esperan las autoridades sanitarias y otros miembros de la sociedad? Estas y algunas otras preguntas deberá contestarlas el educando para que pueda darle sentido al proceso de supervisión, permitiéndole formarse un patrón de referencia sobre la calidad de la educación médica que recibe y de la apropiación de competencias de cualquier índole, incluyendo las de corte humanístico, dándose la oportunidad de reorientar cualquier desviación que a su juicio exista.

¿Para qué supervisar?
El programa de supervisión debe permitir establecer el grado de desarrollo de la formación del residente, por lo que debe ser planificada, ejecutada con detalle, seriedad y detenimiento. El proceso de supervisar en el ámbito del postgrado de medicina, no únicamente debe enfocarse a las tareas que deben efectuar los residentes, sino también deben tomarse en consideración aspectos humanísticos del propio residente, ya que cuando inician su formación están sujetos a múltiples variables que les pueden condicionar angustia y depresión, como son las largas jornadas de trabajo, deprivación de sueño y tiempo limitado para sus necesidades básicas y familiares (6). Es indispensable supervisar la aplicación y cumplimiento estricto de los programas académico y operativo, ya que con frecuencia su inobservancia y el exceso de trabajo ocurren en el desarrollo de las residencias médicas, asociándose a peores percepciones del residente sobre aspectos de su calidad de vida y en el ambiente educativo (7).

Para que una supervisión sea efectiva los resultados deben influir en la toma de decisiones, generar acciones para actualizar los avances en el programa de formación de residentes, señalando clara y objetivamente los problemas detectados, incluyendo la posición del supervisor y las soluciones que recomienda, así como los beneficios que sus recomendaciones pudieran producir. La supervisión tiene un importante valor institucional, ya que no existe otra estrategia que permita reconocer, en todas fases del proceso de formación del residente, la presencia de problemas operativos. Esto permite emitir juicios de valor, implementar medidas correctivas con oportunidad y llevar a cabo su seguimiento continuo. Si bien la supervisión tiene que ver con el mejoramiento de la institución educativa, debe priorizarse la imagen del supervisado, en este caso el residente. Debe asumirse que la supervisión es y debe ser simultánea a la ejecución de programas de educación médica en el campo clínico e invariablemente requiere de contacto y observación directa (4,5).

La figura del supervisor
Existe la percepción que la responsabilidad de la supervisión del programa de residencia debe estar a cargo de la persona con mayor formación médica, con gran prestigio académico y profesional. No hay que olvidar que la figura del supervisor debe poseer habilidades que lo lleven a considerar el trabajo como algo dinámico que puede modificarse, prestarse a la participación activa, planeada y organizada en una variedad de formas, tener la capacidad de detectar barreras en la operación cotidiana, establecer estrategias para eliminarlas, reconocer qué procedimientos se han convertido en obstáculos y deben descontinuarse, identificar las necesidades que tiene el residente, y tener habilidades interpersonales sociales y emocionales. De tal manera que las autoridades educativas deben cuestionarse: ¿llegan al residente las palabras y acciones que el supervisor desea?, ¿inspiran al residente a mejorar su trabajo?, ¿dan como resultado un aumento en el conocimiento y las habilidades del residente?, ¿fomentan realizar un trabajo creativo?, la respuesta a esas preguntas revelarán las habilidades interpersonales del supervisor, que suelen ser en gran parte intuitivas (5,6).

Instrumentos de Supervisión
Para que una supervisión pueda considerarse útil, debe contarse con un instrumento formalmente estructurado, que se haya sido sometido antes de su aplicación a técnicas de investigación cuantitativa y cualitativa, para establecer su validez y confiabilidad (8), de otra manera los resultados de la supervisión podrían no ser útiles. Deben evitarse supervisiones informales, que se valen de información poco confiable que a veces se proporciona a través de encuentros ocasionales o fortuitos. Hay que evitar utilizar datos no validados, aislados, insuficientemente analizados y poco objetivos, ya que en ocasiones son sólo opiniones personales que no permiten establecer referentes de la correspondencia entre las actividades y experiencias educativas planeadas y las realizadas, menos aún proporcionar información que ayude a educadores y educandos a mejorar la actividad formativa del residente.

Supervisión en las residencias médicas
La instauración estadounidense del internado medico en 1920 dio lugar al concepto de “médico residente” que implicó la responsabilidad “permanente” (24 horas al día, siete días a la semana) de los pacientes. En este contexto, la supervisión en el área de la atención de la salud tiene por objetivo ver por la seguridad del paciente y promover el desarrollo del profesional y del que se encuentra en formación.

En particular, la supervisión clínica se enfoca al mejoramiento por medio de la observación y la reflexión (examinar algo más a fondo; contar con alguien a quien consultar; recibir crítica constructiva; medio para valorar el avance). para aportar un apoyo y guía a la vez de auxiliar en el logro de la competencia lo que a su vez resguarda la atención del paciente y la práctica médica. La supervisión directa de la actividad de los residentes se asocia con un mejor cumplimiento de los lineamientos establecidos y no influye en la satisfacción de los pacientes con su atención.

Por otro lado, la supervisión educativa tiene carácter estratégico; no pone su énfasis en la observación diaria sino que se enfoca en las necesidades educativas y en la provisión del ambiente de aprendizaje que permita a los educandos adquirir nuevas habilidades y cumplir con objetivos específicos. La supervisión efectiva se relaciona más con la habilidad que tenga el docente para exponer su razonamiento al presentarle información al residente y no a la cantidad y el tipo de cuestionamientos que les presentan. Es importante no perder de vista las implicaciones legales para el docente que supervisa a los residentes. En contraste la supervisión de carácter administrativo busca el control de los elementos, no perder de vista las metas, el monitoreo y el rendir cuentas.

La supervisión en el campo de la educación médica tiene tres funciones: 1) educar, al incrementar las oportunidades de aprendizaje; 2) monitorear al identificar errores en la práctica y hacer sugerencias para el cambio y mejoramiento; y 3) apoyar, al permitir un espacio para compartir ansiedades y explorar como evitar o lidiar con situaciones de estrés en el futuro. La supervisión la puede desarrollar el docente con un individuo o un grupo en la práctica, pero también la pueden realizar los pares del residente. Así tenemos que se realiza en piso, la consulta externa o cualquier escenario clínico cuyas características permitan:

En la supervisión individual es importante acordar la hora, el sitio y la duración de la reunión ya que ambos deben estar preparados. Ésta se puede organizar por medio de reuniones mensuales que propicien la exploración de temática diversa como la discusión de casos, dudas y ansiedades y/o el planteamiento de las áreas que requieren mejoría en un ambiente que permita compartir el pensar. El registro en este caso puede tomar la forma de un diario que posteriormente permita la reflexión. Esto promueve que exploren su comprensión y sentimientos acerca de cada experiencia que también será tema de discusión.

La supervisión de pares o en grupo se usa poco en medicina aunque se ha visto que promueve la reflexión de los educandos. Cada persona del grupo o rotación puede compartir alguna experiencia práctica con los demás logrando con ello explorar otras formas de realizarlas y de ejercer.

Debido a que la supervisión no se puede aislar de la enseñanza clínica, se requiere preparación y por ende decidir si el educando observará, será observado o realizará una actividad; cuáles son los pacientes de mayor relevancia para el aprendizaje y/o el cumplimiento de los objetivos; y como asegurar que el estudiante avance en complejidad. Si el educando estará de observador mientras usted realiza alguna actividad, la supervisión pondrá énfasis en lo educativo al explicar lo que hace anclando las acciones al conocimiento y haciendo preguntas para explorar su conocimiento. Cuando sea posible solicite al estudiante realizar acciones dentro de su conocimiento y capacidad ya que es una buena oportunidad para educar y monitorear. Proporcione retroalimentación inmediata.

Cuando el estudiante realiza una actividad, la observación le permitirá monitorear una buena práctica, sugerir cambios, asegurar buena práctica, y promover el uso efectivo de recursos. Posterior a la intervención con el paciente, los educandos podrán cuestionar aspectos que no plantearían frente al paciente o las dudas que surgieron al realizar lo encomendado. Lo anterior propicia la reflexión y el aprendizaje a partir de la experiencia. Solicite al alumno explicar lo ocurrido y su razonamiento al respecto. La opinión del docente es de mayor valor cuando conoce el razonamiento del alumno. La discusión post-intervención es de carácter educativo y de importancia en la supervisión durante la práctica.

Para promover la reflexión se recomienda: explorar los incidentes, dar retroalimentación, analizar problemas, explorar soluciones y la comprensión de lo anterior. También procure identificar oportunidades de aprendizaje para el educando, ya sea la lectura de un artículo, la observación de un procedimiento o la realización del mismo.

Algunas sugerencias útiles en la supervisión educativa son las siguientes:

III. EVALUACIÓN
¿Qué es la evaluación?
La evaluación es inherente al acto educativo, es un término que se aplica para determinar si se lograron los objetivos del proceso de enseñanza aprendizaje e implica un proceso sistemático de acopio de información a través de la aplicación de instrumentos válidos y confiables, para analizarla objetivamente en lo cuantitativo y en lo cualitativo y así poder emitir juicios de valor sobre el grado de correspondencia de la información y criterios previamente establecidos, fundamentando la toma de decisiones sobre el proceso de enseñanza aprendizaje (2,9).

Cuando hablamos de evaluación de inmediato nos viene a la mente la idea de efectuar mediciones mediante instrumentos estandarizados, como son los exámenes, sin embargo debemos tener en cuenta que la medición es parte de la evaluación, pero no es en sí la evaluación. Debemos hacer énfasis en la importancia de realmente efectuar evaluación educativa (9), que es la única forma de contar con un referente que permita establecer si residente es poseedor de las competencias con que debe contar y que la institución pretende lograr, evaluando no solo conocimientos, sino también formas de comportamiento, actitudes, valores, afectos y sus formas de expresión, habilidades, destrezas, actitudes y comportamiento ético, lo que indudablemente es complejo por el tipo de variables que se pretende objetivar (10). Es un hecho que la evaluación incluye actividades imprescindibles que van más allá del proceso de medición que termina en la obtención de un resultado, dentro de estas actividades es imprescindible la toma de decisiones y la emisión de juicios de valor (8). La medición expresa un valor absoluto, es estática, no procesal, está contemplada en la evaluación, no implica evaluación, es simplemente un medio para obtener resultados y constituye un medio para valorar, en contraparte la evaluación expresa un juicio de valor, es un proceso dinámico y continuo, incluye la medición y es más extensa, por lo tanto en ella está implicada invariablemente la medición, compara los datos con resultados previstos y es la valoración misma.

Existen algunos principios generales de la evaluación en educación, que siempre debemos tomar en cuenta durante la misma (2):

¿Para qué evaluar?
El docente al desempeñar su función debe tener una concepción clara del modo en que se aprende y se enseña y del cómo, cuándo, por qué y para qué evaluar, con el fin de asegurar que las experiencias educativas tengan un valor en la formación del residente. Lo anterior para que se aprovechen los resultados de la evaluación en la emisión de juicios de valor inherentes al acto docente, en el entendido que de esta manera la evaluación será parte integral de una buena enseñanza. No es posible concebir la enseñanza y el aprendizaje sin la evaluación. En el concepto integral de evaluación, ésta aporta un mecanismo de control que permite detectar problemas u obstáculos, determinar la eficacia de la acción docente y de los instrumentos de enseñanza utilizados, y establecer estrategias correctivas y de mejora continua del proceso de aprendizaje.

A continuación relacionamos una serie de consideraciones, que permiten contestar la pregunta ¿para qué evaluar?:

En años recientes diversas organizaciones públicas y profesionales están adquiriendo un renovado énfasis en el aprendizaje y evaluación de las habilidades clínicas (competencia clínica). Numerosos estudios continúan documentando deficiencias substanciales en habilidades clínicas como la entrevista médica, exploración física, y habilidades de comunicación, que en su conjunto constituyen la competencia clínica (11). La residencia médica es la última experiencia estructurada para asegurar que el médico joven realmente tenga estas competencias, pero su evaluación es a menudo no efectuada por las instituciones formadoras por diversas razones (12), de manera que se están proponiendo nuevos modelos de evaluación final para las residencias, como la de medicina interna, que tratan de asegurar la adquisición de las competencias clínicas mencionadas (13).

Tipos de Evaluación
Desde el punto de vista de su objetivo, la evaluación se puede clasificar en sumativa y formativa. La evaluación sumativa es aquella que se efectúa al completar un curso o unidad didáctica, para determinar el grado con que los objetivos de la instrucción fueron alcanzados, asignar calificaciones, o certificar competencia (2). Ejemplos típicos de este tipo de evaluación son los exámenes de final de curso, los exámenes de certificación de los consejos, el examen profesional, que son eventos de alta trascendencia para la vida del educando, y que en la vida real a veces son percibidos como obstáculos a vencer en lugar de oportunidades de identificar el estado real del estudiante desde el punto de vista del aprendizaje. Para el común de las personas, este tipo de exámenes representan la totalidad del concepto de evaluación, y el estudiante individual en nuestra sociedad competitiva trata por todos los medios a su alcance de asegurar por lo menos el pase, y si es posible la calificación más alta. La evaluación sumativa en teoría provee evidencia a la sociedad de que el individuo ha aprendido lo que tenía que aprender para pasar de año, graduarse como médico o certificarse como especialista, sin embargo, con frecuencia los instrumentos que utilizamos en medicina adolecen de defectos que limitan su validez y confiabilidad, exponiendo a la sociedad a médicos que no son del todo competentes. La evaluación formativa es aquella que se utiliza para monitorear el progreso del aprendizaje, y proporcionar retroalimentación al educando sobre los logros, deficiencias y oportunidades de mejorar (2). Esta evaluación ocurre a lo largo del proceso educativo del médico, y puede ser formal o informal, ambas de importancia relevante para la formación del profesionista. La evaluación formativa tiene un fuerte componente instruccional, ya que contribuye a que durante las actividades cotidianas de trabajo se identifiquen aquellas que se hacen bien para continuar haciéndolas así, y aquellas que tienen alguna deficiencia, para detectarlas a tiempo y corregirlas. De esta manera, las evaluaciones sumativa y formativa forman un todo coherente que contribuye al aprendizaje significativo del médico en formación.

De acuerdo a la interpretación de los resultados, la evaluación también puede clasificarse en referenciada a norma o referenciada a criterio (2). Cuando la evaluación se interpreta con referencia a la norma, el resultado se describe en términos del desempeño del grupo y de la posición relativa de cada uno de los estudiantes evaluados. Este tipo de evaluación se usa para colocar a los alumnos en escalas de rendimiento y puntaje, y asignar un lugar dentro del grupo. Un ejemplo en nuestro medio es el Examen Nacional de Residencias Médicas, en que la puntuación obtenida por el alumno se evalúa en relación al desempeño del grupo y de su lugar secuencial en la lista para aspirar a una de las plazas, y no en un criterio de nivel de conocimientos previamente establecido.

La evaluación con referencia a criterio describe el resultado específico que se encontró, de acuerdo a criterios educativos preestablecidos. En este tipo de evaluación se busca la comparación del alumno con sus propios conocimientos o resultados, en relación a un estándar fijado de antemano. Un ejemplo es el examen de certificación de consejo de especialidad, en que se debe acreditar la correcta solución de diferentes problemas clínicos que tienen un estándar de pase prefijado de acuerdo a las competencias establecidas para esa especialidad. La tendencia actual hacia una educación basada en competencias requiere que la evaluación sea con referencia a criterio, ya que uno de los inconvenientes de la referenciada a norma o desempeño del grupo es que gran parte del grupo puede no tener las competencias mínimas requeridas para ser un buen médico, y ser aprobados porque el profesor decidió aplicar una curva de distribución normal y sólo reprobar a los que estaban debajo de dos desviaciones estándar de la media (los alumnos con peor calificación). Esto ocurre con frecuencia en nuestro sistema educativo, en el que existe una gran presión para que los alumnos pasen el curso, se gradúen, etc., ya que el profesor sabe que en la actualidad reprobar a gran parte del grupo es evidencia ante las autoridades educativas (y los alumnos y sus familias) de que algo anda mal con el curso, así que prefieren evitarse problemas y tomar el camino más fácil.

Valor institucional
El prestigio de las instituciones formadoras de médicos se juzga en razón a la formación integral de sus egresados, tanto en cantidad como en calidad, y ésta se controla directamente mediante sistemas de evaluación que permitan a las instituciones revisar integralmente el proceso educativo, las condiciones en que se desarrolló, si los aprendizajes fueron o no alcanzados, las causas que lo facilitaron o lo obstaculizaron y en general proporciona una visión clara, objetiva y panorámica de los errores para corregirlos, de los obstáculos para superarlos y de los aciertos para mejorarlos.

Criterios de credibilidad
Los instrumentos para evaluación en educación médica deben reunir una serie de criterios para que el proceso tenga sustento científico y práctico, los más frecuentes son la validez, la confiabilidad, y la factibilidad (incluyendo el costo) (1).

La validez de un instrumento es el grado con el que mide lo que se supone que mide, y se ocupa de la medición en una situación específica con un grupo de estudiantes específico. No es el instrumento el que es válido, ya que la validez de un examen es específica para un propósito y se refiere más bien a lo apropiado de la interpretación de los resultados (2). El concepto de validez en educación ha ido evolucionando, actualmente se considera que toda la validez es validez de constructo y que requiere múltiples fuentes de evidencia para su interpretación (14). A diferencia del concepto utilizado en décadas pasadas, se considera a la validez de constructo como un concepto unitario que es la totalidad de la validez, la cual tiene múltiples facetas. Las cinco fuentes importantes de validez de constructo en evaluación educativa son: el contenido (como las especificaciones de la prueba, el contenido temático definido, las credenciales de los que elaboran los reactivos), el proceso de respuesta (como el control de calidad del examen, la familiaridad del estudiante con el formato de evaluación), la estructura interna (como el análisis de reactivos, la confiabilidad del examen), su relación con otras variables (generalizabilidad, resultados en poblaciones de expertos vs. novatos) y las consecuencias (método de establecimiento del punto de corte para aprobar, consecuencias para el estudiante y la sociedad) (14). La información proporcionada por un instrumento de evaluación no es válida o inválida, sino que los resultados del examen tienen más o menos evidencia de las diferentes fuentes para apoyar (o refutar) una interpretación específica (por ejemplo, el pasar o reprobar un curso).

La confiabilidad es la capacidad del examen de arrojar un resultado consistente cuando se repite, es decir, es la reproducibilidad del examen. Es un concepto estadístico, que representa el grado en el cual las puntuaciones de los alumnos serían similares si fueran examinados de nuevo, y en el cual el instrumento mide el fenómeno de manera consistente en el tiempo (1,2). Si la prueba se repite a lo largo del tiempo, los nuevos resultados deberían ser similares a los iniciales para el mismo instrumento de evaluación y la misma población de estudiantes. Generalmente se mide como un coeficiente de correlación, siendo 1.0 una correlación perfecta y cero ninguna correlación. Confiabilidad arriba de 0.70 es aceptable, aunque algunos autores prefieren que sea arriba del 80% (1). La confiabilidad de una medición es necesaria para obtener resultados válidos, pero puede haber resultados confiables sin validez (es decir la confiabilidad es necesaria, pero no suficiente para la validez). Para entender estos conceptos es útil la analogía con un blanco de tiro, como se demuestra en la Figura 1.

Figura 1. Ilustración de los conceptos de validez y confiabilidad de un instrumento de evaluación, usando la analogía de un blanco de tiro.

Siempre que se decide utilizar un instrumento de evaluación, deben considerarse su validez y confiabilidad, para tener credibilidad ante la comunidad científica. Desafortunadamente mientras mayor es la validez y confiabilidad de un método, generalmente se requieren más recursos financieros y humanos para su implementación en las escuelas de medicina y programas de residencia, por lo que la factibilidad de uso en el entorno local y el costo de su adquisición e implementación pueden ser factores determinantes en la decisión de la selección de los métodos a utilizar. Lo anterior no debe evitar que se documente la validez de constructo y confiabilidad del método de evaluación que se esté utilizando, de otra manera es difícil afirmar que estamos midiendo lo que decimos de una manera consistente. Es complejo elaborar instrumentos que evalúen aspectos tan amplios como la competencia clínica, ya que demandan mayor dificultad para su validación e implican la colaboración de expertos en el área.

III. MÉTODOS Y ESTRATEGIAS DE EVALUACIÓN
Es un hecho en educación médica que la evaluación no siempre se realiza o su que en ocasiones tiende a ser inadecuada. A pesar de ello, los datos correspondientes a la formación clínica muestran que pocos internos o residentes son calificados como incompetentes. En la contraparte encontramos un desconocimiento de la problemática que los alumnos llevan al campo clínico, la atención inoportuna y/o inadecuada de los estudiantes problema, la falta de registro de las evaluaciones negativas sin actuar en consecuencia y la incapacidad de alumnos para enfocarse en lo importante para su aprendizaje como médicos o especialistas.

En general no existe satisfacción entre docentes y estudiantes sobre el proceso y la efectividad de la evaluación, lo que a puede llevar a asignación de culpa mutua con desinterés por contribuir cada quien con su responsabilidad en lo que a la evaluación respecta. Algunos autores señalan que esto surge de tener dos propósitos para la evaluación: el monitorear que el residente cumpla con los estándares de desempeño (control de calidad) y el guiar el desarrollo profesional del residente.

El centrarse en la precisión psicométrica, la objetividad y el procesamiento estadístico de los instrumentos distrae la atención del uso efectivo de la información obtenida de la evaluación. Se ha propuesto dividirla en dos sistemas por separado: un sistema enfocado a detectar el cumplimiento de estándares mínimos por medio de mediciones cualitativas sencillas de seguimiento rápido; y el segundo, un sistema de guía, enfocado en la autoevaluación y controlado por los propios residentes. Sus pares y los docentes aportan entrenamiento y reflexión. Esto puede mejorar la motivación y el desempeño de los residentes, con incremento en la auto-dirección del residente y mejor comunicación con los docentes (15).

Diversos estudios nos señalan que lo que se evalúa es lo que se percibe como importante por los educandos y en el caso de la medicina, las habilidades y destrezas clínicas son de suma importancia aunque no siempre se evalúan con precisión y profesionalismo (16).

Para planear el diseño de un proceso de evaluación, debemos tomar en cuenta los siguientes elementos (17,18,19):

En resumen una buena evaluación debe tener criterios y resultados claros; programación oportuna; evidencia precisa; participación e información del estudiante; y retroalimentación constructiva y regular (16). La evaluación utiliza criterios definidos para emitir un juicio sobre el desempeño de una persona, por lo que es un proceso educativo desarrollado por el que entrena y el que está en entrenamiento con la finalidad de identificar el avance y las necesidades educativas. Existen francas diferencias en la calidad de la evaluación cuando no se precisa como calificar la competencia clínica además de que influye la diferencia de estándares y/o expectativas entre los que evalúan (20). Cuando se trata de evaluar una habilidad o una destreza es importante conocer los componentes esenciales de la habilidad o destreza de la cual se trate y contar con una escala para su valoración. A mayor definición de los componentes (orden, relación) mayor la confiabilidad y validez inter-evaluador (21).

Los educadores no pueden demostrar que los egresados poseen los atributos requeridos o que sus programas tienen el impacto deseado sobre la atención de la salud, si no cuentan con los instrumentos adecuados para la evaluación de los resultados. Contamos con avances en la evaluación del comportamiento profesional, las características académicas y el trabajo en equipo multiprofesionales, sin embargo requerimos desarrollar nuevos instrumentos para valorar las competencias y los resultados más generales, particularmente los que se basan en el juicio profesional (22). Un modelo muy aceptado en la comunidad de educadores médicos es el de la pirámide de Miller (Figura 2), en el que se muestran de manera escalonada de autenticidad profesional las características del saber y quehacer del médico, comenzando con la cognición del educando y subiendo hacia la conducta profesional (1,3). En la base el primer escalón de la pirámide se refiere al conocimiento, el “saber” o recordar, que puede evaluarse con evaluaciones escritas como los exámenes de selección múltiple; el segundo escalón se refiere al conocimiento aplicado, el “saber cómo” o integrar, que también puede evaluarse de manera escrita con exámenes de selección múltiple; a partir del tercer escalón ya no tienen autenticidad las evaluaciones escritas, ya que se refiere a la competencia clínica, el “mostrar cómo” lo hace, para evaluar este rubro se requiere un examen práctico clínico en un entorno controlado y estandarizado con pacientes o simuladores, como el examen clínico objetivo estructurado (ECOE); el cuarto escalón y punta de la pirámide se refiere al desempeño del médico en la práctica, el “hacer” durante el trabajo cotidiano, que para ser evaluado requiere de métodos de otro tipo como observación directa, portafolios educativos, evaluación por pares, registro de resultados en sus pacientes, etc. (1,3).

Figura 2. Modelo de la Pirámide de Miller para evaluar las habilidades y competencias del médico (adaptado de referencia 3).

Es importante integrar de manera lógica y planeada los diferentes métodos de evaluación en educación médica, teniendo en cuenta los objetivos a ser evaluados por cada instrumento de acuerdo a su situación en la pirámide de Miller. La educación basada en competencias tiene como una de sus virtudes que se debe documentar la competencia y el desempeño del educando en las partes altas de la pirámide, para asegurar de manera más auténtica que el médico está listo para hacer lo que la sociedad y el gremio médico suponen que debe saber hacer para una práctica clínica efectiva. En los programas educativos de residencias médicas en que los educandos tienen un intenso componente de trabajo directo con pacientes bajo la supervisión de los especialistas, es de particular importancia que utilicemos métodos de evaluación orientados a los dos últimos escalones de la pirámide (competencia y desempeño), haciendo un esfuerzo para que sean lo más válidos y confiables posible en la medida de las limitaciones de nuestro entorno.

Métodos de evaluación
En la literatura de evaluación médica se reportan una gran variedad de instrumentos que tienen diversas ventajas y limitaciones para documentar el aprendizaje de los conocimientos, habilidades y destrezas médicas (1). Es responsabilidad del profesor y de la institución educativa elegir los métodos apropiados de esta “caja de herramientas” para el proceso de evaluación, que pueden clasificarse en cinco categorías (1):

Se refiere al lector a algunas referencias para profundizar en los aspectos más complejos de estos métodos (1,2), uno de los recursos más utilizados es la “caja de herramientas de evaluación” desarrollada por el Accreditation Council for Graduate Medical Education (ACGME) de los E.U.A. y disponible de manera gratuita en la página de Internet de la citada organización (http://www.acgme.org/Outcome/), en donde se describen todos los métodos disponibles, sus ventajas y desventajas, sus características psicométricas, así como sugerencias para implementarlos en la propia institución. Es importante no olvidar que los estudiantes de medicina han vivido una serie de experiencias relacionadas con la evaluación, en que han sido condicionados a aprender teniendo como objetivo principal el pasar el examen, todo lo demás es secundario. Esta situación puede distorsionar el aprendizaje de los internos y residentes, con consecuencias negativas en los aspectos éticos, de comunicación y emocionales de la relación médico-paciente, ya que la preocupación del alumno se centra más en los aspectos puramente técnicos de la profesión. Un ejemplo típico son los exámenes escritos, particularmente los de selección múltiple, que a pesar de sus ventajas psicométricas se encuentran “en el corazón del currículo oculto”, los estudiantes aprenderán la información para pasar el examen en lugar de interiorizarla como un todo coherente con el resto del conocimiento que ya poseen, con énfasis en la memorización de datos en lugar de la aplicación del conocimiento en la solución de problemas (1).

La evaluación durante el entrenamiento (in-training evaluation) ha mostrado ser factible, confiable y válida, se enfoca fundamentalmente en: a) valorar el desempeño con base en comportamientos observados; b) utilizar múltiples observadores y momentos; c) registrar la información en el momento en que se realiza lo que se evalúa; d) permitir la retroalimentación (23). Para su desarrollo se sugiere lo siguiente:

El desarrollo de las listas de cotejo requiere de una lista preliminar que contenga los comportamientos generados previamente. Es importante que otros docentes revisen estas listas con la finalidad de consensarlas. Para ello, se les solicita que señalen si los comportamientos son: críticos; apropiados para el caso pero no críticos; o no apropiados para el caso. Los docentes también pueden agregar comportamientos no incluidos en la lista inicial. La lista debe ser revisada nuevamente por otro grupo de docentes para incrementar su validez y confiabilidad. La lista final debe incluir los comportamientos señalados como críticos por la mayoría (más del 66%) de los docentes. Posteriormente se le pide a otro grupo de clínicos-docentes que indique si: ¿este procedimiento lo debe saber realizar el estudiante?; ¿si no aprueba este procedimiento podrá aprobar la rotación? Así se pueden estructurar las listas de cotejo finales con aquellos procedimientos que cuenten con el 100% de acuerdo de los clínicos. Los elementos críticos son aquellos cuya aprobación fue señalada como indispensable para aprobar la rotación (24).

El desempeño se puede medir por medio de: a) los resultados (los resultados clínicos del paciente), sin embargo esto es difícil ya que existen muchos factores que influyen en el resultado logrado en el paciente; b) el proceso (que tan bien realizaron una tarea, se comunicaron, valoraron a un paciente o registraron la información en el expediente, los estudiantes); c) volumen (cuántos procedimientos ha realizado el estudiante). En general el desempeño toma en cuenta el trabajo realizado por el estudiante (proceso) lo cual es factible y sencillo. La medición de los resultados logrados en el paciente o el volumen de trabajo es más difícil.

Retos y soluciones en evaluación médica
Los retos de la evaluación incluyen (25):

Las siguientes son algunas recomendaciones para enfrentar esta problemática (25):

BIBLIOGRAFÍA