(v.1.2) Metanálisis de la eficacia de la enseñanza del profesorado: la evaluación de los estudiantes de las calificaciones de enseñanza y el aprendizaje de los estudiantes no están relacionados, Bob Uttl, Carmela A. Blanco, Daniela Wong González.. Un % muy signiticativo de laspreguntas han sido editadas por una IA. Si encuentras algún error gramatical, ortográfico, de contexto u otro tipo, y deseas ayudarnos a solucionarlo, puedes hacerlo mediante Telegram o enviando un email.
¿Cuál de los siguientes NO es un argumento utilizado por los proponentes del SET para evaluar la efectividad de la enseñanza del profesorado?
Los SET son una manera económica y conveniente de evaluar la enseñanza.
Los SET permiten a los estudiantes expresar su opinión sobre la enseñanza del profesorado.
Los SET reflejan principalmente la satisfacción del estudiante.
Los SET demuestran la preocupación de los administradores por la responsabilidad pública.
Según los opositores del SET, ¿cuál de los siguientes factores NO influye en la validez del SET como medida de la efectividad de la enseñanza?
La disciplina académica del curso.
El interés del estudiante en el curso.
La contribución del instructor al aprendizaje del estudiante.
El acento del instructor.
¿Cuál fue el propósito principal de la investigación realizada por Singley y Anderson sobre el SET?
Demostrar que los SET son válidos para todas las disciplinas académicas.
Investigar la transferencia de habilidades a través del aprendizaje de diferentes procesadores de texto.
Evaluar la influencia del tamaño de la clase en las calificaciones del SET.
Comparar las evaluaciones del SET antes y después de la asignación de las calificaciones finales.
¿Qué sugieren los resultados de la investigación de Singley y Anderson sobre el uso de diferentes procesadores de texto?
Cambiar de procesador de texto deteriora significativamente el rendimiento.
El aprendizaje de comandos específicos es más importante que desarrollar estrategias generales.
La práctica con diferentes procesadores de texto no afecta la transferencia de habilidades.
Los estudiantes pueden construir planes cognitivos que permiten la transferencia de habilidades entre diferentes procesadores de texto.
Según el efecto Dunning-Kruger, ¿cómo suelen evaluar las personas incompetentes sus habilidades?
Con precisión.
Por debajo de su verdadera habilidad.
Muy por encima de su verdadera habilidad.
Sin ninguna autoevaluación.
¿Qué diseño de estudio se considera el más fuerte para evaluar la correlación entre las calificaciones de SET y el aprendizaje estudiantil producido por el profesor?
Estudios de caso único.
Diseño de validación multisección.
Estudios longitudinales.
Experimentos aleatorios controlados.
¿cuál es una crítica principal a la metodología de los meta-análisis previos sobre SET y aprendizaje?
No consideraron adecuadamente el efecto de estudios con muestras pequeñas.
Se basaron exclusivamente en estudios cualitativos.
Ignoraron completamente las evaluaciones de los estudiantes.
Solo incluyeron estudios realizados en una disciplina académica.
¿Qué aspecto de las evaluaciones SET correlacionó más fuertemente con el logro estudiantil según el meta-análisis de Cohen (1981)?
Retroalimentación
Rapport
Habilidad
Dificultad
¿Cuál fue una crítica principal al método de Cohen (1981) para calcular la correlación promedio entre SET y aprendizaje?
Usó únicamente estudios con más de 30 secciones.
Dio igual peso a todos los estudios, independientemente del tamaño de su muestra.
Excluyó estudios con correlaciones "vudú".
Ignoró las diferencias disciplinarias entre cursos.
¿Qué reveló la reevaluación de los datos de Cohen (1981) respecto a la correlación entre SET y aprendizaje?
La correlación ajustada es r = .27.
La correlación es mayor en estudios con menos secciones.
Las correlaciones "vudú" (rs > .90) son comunes y válidas.
La correlación es insignificante después de ajustar por sesgo de estudio pequeño.
¿Qué implicación tiene el tamaño de la muestra en la correlación entre SET y aprendizaje según las reevaluaciones de los datos de Cohen?
No hay efecto del tamaño de la muestra en la correlación.
Las correlaciones aumentan con el tamaño de la muestra.
Las correlaciones disminuyen con estudios de mayor tamaño.
Solo las correlaciones en estudios grandes son significativas.
¿Qué factor contribuye al inflado de las correlaciones SET/aprendizaje reportadas en el meta-análisis de Cohen (1981)?
La inclusión de estudios basados en menos de cinco secciones.
El efecto de sesgo de estudios pequeños, probablemente debido al sesgo de publicación.
La exclusión de estudios con correlaciones imposiblemente altas.
El ajuste incorrecto de puntajes Z de Fisher.
¿Cuál de las siguientes dimensiones de SET reportó Feldman (1989) como la más fuertemente correlacionada con el aprendizaje?
Retroalimentación y evaluación.
Preparación y organización.
Claridad y comprensibilidad.
Estímulo del interés del profesor en el curso y su materia.
¿Qué problema metodológico NO fue identificado en el meta-análisis de Feldman (1989)?
Falta de búsqueda propia de artículos relevantes.
No considerar el efecto de estudios pequeños.
Inclusión de estudios con correlaciones imposiblemente altas (r > .90).
Uso exclusivo de estudios con más de 50 secciones.
¿Cuál de las siguientes afirmaciones resume mejor el resultado principal del meta-análisis de Clayson (2009)?
Las correlaciones SET/aprendizaje son generalmente altas y significativas.
Las correlaciones SET/aprendizaje disminuyen significativamente al ajustar por el tamaño del estudio.
El tamaño del estudio no tiene efecto en las correlaciones SET/aprendizaje.
Las correlaciones SET/aprendizaje aumentan con la antigüedad de la publicación.
¿Qué error metodológico específico cometió Clayson (2009) al realizar su meta-análisis?
Incluyó el meta-análisis de Cohen (1981) como si fuera un estudio multisección.
Excluyó estudios con menos de 30 secciones.
Solo utilizó correlaciones transformadas a Z de Fisher.
Ignoró completamente la correlación entre el tamaño del estudio y las correlaciones SET/aprendizaje.
¿Qué patrón reveló el análisis de Clayson (2009) sobre el tamaño del estudio y las correlaciones SET/aprendizaje?
Correlaciones más altas en estudios más grandes.
Correlaciones más bajas en estudios más grandes.
Correlaciones imposiblemente altas en estudios pequeños.
No se observó ningún patrón claro entre el tamaño del estudio y las correlaciones SET/aprendizaje.
¿Qué implicación tiene el meta-análisis de Clayson (2009) para el uso de SET en la evaluación de la efectividad de enseñanza?
Confirma la validez de SET como una medida confiable de efectividad de enseñanza.
Sugiere que las correlaciones SET/aprendizaje son fuertes y consistentes a través del tiempo.
Indica que SET puede no ser un indicador confiable de la efectividad de enseñanza debido a efectos de estudio pequeño.
Demuestra que SET siempre produce correlaciones altas con el aprendizaje estudiantil.
Según Clayson (2009), ¿cuál es una consecuencia de la relación negativa entre el tamaño del estudio y las correlaciones SET/aprendizaje?
Los estudios más grandes tienden a reportar correlaciones SET/aprendizaje más precisas.
Las correlaciones SET/aprendizaje aumentan significativamente en estudios con más secciones.
Los estudios más pequeños son propensos a reportar correlaciones SET/aprendizaje imposiblemente altas.
El tamaño del estudio no afecta la interpretación de las correlaciones SET/aprendizaje.
¿Qué implicación tiene la observación de Clayson (2009) sobre la correlación positiva entre la antigüedad de la publicación y las correlaciones SET/aprendizaje?
Las correlaciones SET/aprendizaje son consistentemente altas independientemente de la antigüedad de la publicación.
Los estudios más recientes muestran una tendencia hacia correlaciones SET/aprendizaje más fuertes.
Los estudios más antiguos reportaron correlaciones SET/aprendizaje más altas que los estudios más recientes.
La antigüedad de la publicación no tiene impacto en las correlaciones SET/aprendizaje.
Basado en el método de búsqueda del meta-análisis de Clayson (2009), ¿cuál de los siguientes NO fue un paso para identificar estudios relevantes?
Recolección de citas de artículos de meta-análisis anteriores, como los realizados por Cohen (1981) y Feldman (1989).
Búsqueda en Web of Science y Google Scholar por artículos que citan específicamente a Clayson (2009).
Uso exclusivo de Google Scholar para buscar artículos relevantes sin consultar otras bases de datos.
Búsqueda en bases de datos como PsycINFO y MEDLINE utilizando términos específicos relacionados con SET y aprendizaje.
En el meta-análisis de Clayson (2009), ¿por qué se excluyeron algunos estudios utilizados en meta-análisis previos por Cohen (1981)?
Porque fueron realizados en entornos no universitarios, como instalaciones de entrenamiento militar.
Porque todos los estudios excluidos no estaban escritos en inglés.
Debido a que reportaron exclusivamente sobre cursos en línea, no considerados en el análisis de Clayson.
Porque se basaron únicamente en la autoevaluación de los estudiantes sin medidas objetivas de aprendizaje.
¿Qué desafío metodológico específico se identificó en el meta-análisis de Clayson (2009) respecto a la ponderación de las correlaciones SET/aprendizaje?
La inclusión incorrecta del meta-análisis de Cohen (1981) como un estudio multisección individual.
La falta de ajuste por el tamaño de las secciones en los estudios incluidos.
La omisión completa de estudios con correlaciones SET/aprendizaje negativas.
La exclusión de estudios debido a la falta de acceso a los reportes internos y presentaciones en conferencias.
¿Qué revela el análisis de la relación entre las correlaciones promedio de SET/Aprendizaje y las correlaciones de SET/Aprendizaje del instructor según el estudio?
Las correlaciones promedio de SET/Aprendizaje son significativamente mayores que las correlaciones de SET/Aprendizaje del instructor.
No existe relación alguna entre las correlaciones promedio de SET/Aprendizaje y las correlaciones de SET/Aprendizaje del instructor.
Las correlaciones promedio de SET/Aprendizaje y las correlaciones de SET/Aprendizaje del instructor están muy relacionadas, con r = .95.
Las correlaciones promedio de SET/Aprendizaje son siempre negativas en comparación con las correlaciones de SET/Aprendizaje del instructor.
Según el estudio, ¿qué indica el histograma sobre el tamaño de las secciones en los estudios multisección?
La mayoría de los estudios se basaron en un gran número de secciones.
La mayoría de los estudios se basaron en un número pequeño de secciones, muchos con menos de 10 secciones.
Todos los estudios incluidos tenían exactamente 10 secciones.
El tamaño de las secciones no mostró variación significativa entre los estudios.
¿Qué efecto tuvo el ajuste por conocimiento/habilidad previa en las correlaciones SET/aprendizaje según el análisis de moderador de efectos mixtos?
Aumentó significativamente las correlaciones SET/aprendizaje.
No tuvo ningún efecto en las correlaciones SET/aprendizaje.
Hizo que las correlaciones SET/aprendizaje fueran sustancialmente menores.
Cambió las correlaciones SET/aprendizaje de positivas a negativas.
En el modelo de efectos aleatorios del meta-análisis, ¿cuál fue la correlación SET/aprendizaje reportada?
r = .95
r = .23
r = .50
r = .31
Según los resultados de los meta-análisis discutidos, ¿cuál es el impacto general de las calificaciones SET en el aprendizaje de los estudiantes?
Las calificaciones SET tienen un impacto significativo y positivo en el aprendizaje de los estudiantes.
Las calificaciones SET no tienen un impacto significativo en el aprendizaje de los estudiantes.
Las calificaciones SET impactan negativamente en el aprendizaje de los estudiantes.
Solo las calificaciones SET de profesores con experiencia tienen un impacto en el aprendizaje de los estudiantes.
¿Qué revelan los análisis sobre el efecto del tamaño del estudio en las correlaciones SET/aprendizaje?
Los estudios más grandes tienden a reportar correlaciones más fuertes entre SET y aprendizaje.
No hay una relación clara entre el tamaño del estudio y las correlaciones SET/aprendizaje.
Los estudios de menor tamaño a menudo reportan correlaciones SET/aprendizaje imposiblemente altas.
Solo los estudios con más de 50 secciones muestran correlaciones SET/aprendizaje confiables.
Basado en los meta-análisis discutidos, ¿cuál es la correlación ajustada por el aprendizaje previo/habilidad entre las calificaciones SET y el aprendizaje?
.95
.23
.01
0
¿Qué crítica se hace a los métodos meta-analíticos previos utilizados por Cohen (1981), Feldman (1989), y Clayson
Ignoraron completamente los efectos del tamaño del estudio.
No utilizaron modelos de efectos aleatorios en sus análisis.
No re-analizaron los datos de manera adecuada para identificar correlaciones "vudú".
No consideraron las correlaciones SET/aprendizaje como una función del tamaño del estudio.
¿Qué conclusión general se extrae de los meta-análisis actualizados basados en casi 100 estudios multisección?
Existe una correlación moderada y sustancial entre las calificaciones SET y el aprendizaje.
Las correlaciones entre las calificaciones SET y el aprendizaje son artefactos de efectos de tamaño de estudio pequeño.
Las calificaciones SET son un indicador fiable de la efectividad docente.
Los estudiantes aprenden más de profesores con calificaciones SET más altas.
¿Qué efecto tiene el control por conocimiento/habilidad previa en las correlaciones entre las calificaciones SET y el aprendizaje, según los meta-análisis discutidos?
Aumenta significativamente las correlaciones.
No tiene ningún efecto en las correlaciones.
Reduce las correlaciones a cero.
Convierte todas las correlaciones en negativas.
En los meta-análisis revisados, ¿qué patrón se observó respecto al tamaño del estudio y las correlaciones SET/aprendizaje reportadas?
Los estudios de tamaño medio reportan las correlaciones más altas.
Solo los estudios más grandes reportan correlaciones significativas.
Los estudios más pequeños a menudo reportan correlaciones improbables o "vudú".
Los estudios de cualquier tamaño tienden a reportar correlaciones fuertes y consistentes.
¿Qué implicación tienen los hallazgos de los meta-análisis para la evaluación de la efectividad docente basada en las calificaciones SET?
Confirman la validez de las calificaciones SET como medida de efectividad docente.
Sugieren que las calificaciones SET no deben ser utilizadas para evaluar la efectividad docente.
Indican que solo las calificaciones SET de cursos cuantitativos son válidas para evaluar la efectividad docente.
Demuestran que las calificaciones SET solo son útiles para cursos con menos de 10 secciones.
¿Qué significan las siglas SET en el contexto de la evaluación educativa?
Sistema de Evaluación del Talento.
Sistema de Estimación de Tareas.
Sistema de Estudios Transversales.
Evaluación de la enseñanza de los estudiantes
¿Cuál es el principal propósito de implementar las (SET) en las instituciones educativas?
Determinar el salario y promociones de los docentes basándose exclusivamente en la percepción estudiantil.
Evaluar la efectividad de la enseñanza de los profesores a partir de las percepciones y opiniones de los estudiantes.
Comparar el rendimiento de los estudiantes entre diferentes instituciones educativas.
Medir exclusivamente el grado de satisfacción general de los estudiantes con la infraestructura de la institución.
(Artículo en inglés). Los estudios típicos en la investigación de la relación SET / aprendizaje implican asignar al azar a los estudiantes a distintos profesores de la misma asignatura. Antes de los exámenes se pide a los estudiantes que valoren a sus profesores y posteriormente se mide la correlación entre la SET y el aprendizaje evaluado mediante el examen. En este tipo de diseño:
La VI es la SET y la VD es el rendimiento en el examen.
La VI es el profesor y la VD es la SET.
La VI es el profesor y las VDs son la SET y el rendimiento en el examen.
(Artículo en inglés). Las evaluaciones que los estudiantes hacen sobre los profesores se emplean en muchas universidades, entre otras, en la UNED. ¿Qué uso de estas evaluaciones resulta menos cuestionable según el meta-análisis de Uttl y cols.?
Como realimentación para el profesor.
Como pronóstico de la dificultad de un curso.
Como condición para la promoción profesional.
(Artículo en inglés). Los partidarios de los estudios SET, como medida de la competencia de los profesores para enseñar a sus estudiantes, citan a menudo correlaciones entre las SET y el aprendizaje de los estudiantes como prueba de la validez de este modelo. Esas correlaciones son:
De bajas a moderadas (aprox. 0,43).
De moderadas a altas (aprox. 0,60).
De altas a muy altas (superiores a 0,75).
(Artículo en inglés). Una de las conclusiones principales del meta-análisis de Uttl y cols. es que:
Las correlaciones moderadas SET/Aprendizaje halladas en estudios previos se deben al pequeño tamaño de las muestras empleadas.
Se puede afirmar que existe una relación significativa entre SET y Aprendizaje en varias áreas de contenido.
Los estudios multisección no son el modelo de investigación más adecuado para este campo por carecer de asignación aleatoria.
(Art. en inglés) En función de las conclusiones del meta-análisis de Uttl y cols. ¿cómo podría reflejarse en la SET en una asignatura como Psicología de la Educación el hecho de que 4/5 partes de los estudiantes de Psicología deseen cursar el itinerario de Psicología Clínica?
Elevando las calificaciones.
Disminuyendo las calificaciones.
No tendría efecto sobre las calificaciones.
(Art. en inglés) Yeshua es un profesor de universidad detractor convencido de las SET. En su argumento en contra del empleo de estas medidas, Yeshua se vale de la principal crítica que se realiza habitualmente a las SET, que:
Es una medida de baja fiabilidad, arroja diferentes resultados en distintos momentos.
Lo que se mide son distintos aspectos del nivel de satisfacción de los estudiantes.
Los resultados pueden ser influidos por variables ajenas a la opinión de los estudiantes.
Art. en inglés) Pese a contar con un expediente académico más bien mediocre, Ataulfo cree haber comprendido bien el manual de Psicología de la Educación y encuentra sus contenidos sencillos y accesibles. Por su parte, Clotilde suele obtener unas excelentes calificaciones y considera que también las obtendrá en Psicología de la Educación. ¿Cuál o cuáles de estas creencias pueden explicarse por el efecto Dunning Kruger?:
Las de Ataulfo
Las de Clotilde
Todas las opciones son correctas
(Art. en inglés) De las diversas razones que ofrecen los defensores del empleo de las evaluaciones de la enseñanza por los estudiantes (SET), la principal según sus proponentes es:
Los estudiantes son observadores privilegiados para valorar la enseñanza que reciben.
La SET permite a los estudiantes ofrecer su opinión sobre los profesores y la enseñanza.
La SET es un procedimiento barato y válido para evaluar a los profesores y sus enseñanzas.
(Art. en inglés) El meta-análisis de Uttl y cols. pone en cuestión:
El empleo de evaluaciones de la enseñanza por los estudiantes.
El uso de evaluaciones de la enseñanza por los estudiantes para mejorar la enseñanza.
La relación entre aprendizaje y las evaluaciones de los estudiantes de la enseñanza.
(Art. en inglés) ¿Qué creencia resulta explicable desde la teoría Dunning Kruger?
Rosalía suele pensar que sus resultados en los exámenes van a ser peores de lo que realmente son.
Carmelo opina que el examen no fue muy difícil, su estimación está un 30% por encima de su rendimiento real.
Guillerma decide no presentarse al examen, está segura de que va a suspender y no quiere exponerse.
(Art. en inglés) El procedimiento habitual para conocer la evaluación que los estudiantes hacen de la enseñanza (Student Evaluation of Teaching, SET) es:
Entrevistas
Cuestionarios
Observación
(Art. en inglés) Una de las conclusiones que puede desprenderse del meta-análisis de Uttl y cols. es que:
El interés previo de los estudiantes por la asignatura influye sobre sus SET.
No existe relación entre las SET y la inteligencia o los conocimientos previos.
Los estudiantes tienden a ofrecer SET más elevados en las asignaturas de carácter cuantitativo.
(Art. en inglés) La Dra. Endriáguez es profesora de Estadística en un Grado de Ciencias Sociales. La Dra. Endriáguez es conocida por sus respuestas ácidas a lo que considera preguntas poco pertinentes de sus estudiantes. La clase de Estadística es la última del día, cuando los alumnos ya están cansados. Los exámenes de Estadística tienen fama de ser justos, pero bastante rigurosos. ¿Qué correlación debemos esperar entre el SET que recibe la Dra. Endriáguez y el aprendizaje de sus alumnos?
Alta (en torno a 0.65)
Media (en torno a 0.35)
Baja (en torno a 0.10)
(Art. en inglés) Para los autores del meta-análisis la existencia de correlaciones moderadas/altas en SET/Aprendizaje se debe fundamentalmente a:
El empleo de modelos de análisis estadístico erróneos
Un artefacto estadístico debido al tamaño de las muestras
Descartar los resultados empíricos contrarios a lo esperado
(Art. en inglés) Según la información recogida por Uttl y cols., uno de los mejores predictores de la valoración SET que realizan los estudiantes es:
Su interés previo por la asignatura, ya que los más interesados se esforzarán más y obtendrán mejores resultados
Su nivel de competencia intelectual, ya que los estudiantes más inteligentes tenderán a obtener un rendimiento mejor
Su perfil de personalidad, ya que los más reflexivos tienden a concentrarse mejor y rinden más