Search

Supplementary material: database and syntax-script to run this meta-analysis

The role of homework in students’ academic performance is a widely debated topic about which there is no defi nitive answer. The objective of this study was to analyse the importance of parental help with homework in academic achievement, testing its cultural invariance (by country), academic invariance (by subject), and the stability of its effects over time. Method: A meta-analysis was performed using the results of PISA evaluations from 2009, 2012, 2015, and 2018 from countries which applied the family PISA questionnaire. We analysed 180 effects and confi rmed the fi t of the model and the heterogeneity of the effects, performing an analysis of moderators and multimodal inference. Results: Students who had more help with homework had lower academic achievement, with an overall effect (d) = 0.23, 95% CI [0.21, 0.25]. The effects were greater in Europe than in Asia. We did not fi nd differences by subject type, and the results were stable over time. Conclusions: Family help with homework does not ensure students’ academic success, and it is more important how that help is given than how much. This conclusion is valid for different types of subjects and is stable over time, with some variation between cultures.

Ser un lector competente en un mundo digital requiere una base sólida de Lectura, pero también la capacidad para pensar críticamente; una tarea pendiente para muchos estudiantes españoles. Las pruebas adaptativas informatizadas y los datos de proceso (información sobre las acciones que realizan los estudiantes al responder a la prueba) son especialmente importantes cuando se evalúan competencias como la Lectura. El objetivo de este trabajo es analizar cómo el uso de la tecnología está cambiando el concepto de Lectura y las formas para evaluarlo. Esto tiene implicaciones tanto para el alumnado español como para cualquier profesional encargado de interpretar y diseñar evaluaciones educativas. El investigador debe asegurar que el uso de los datos y la tecnología sea el adecuado para los objetivos de la evaluación y sirva de forma fiable, válida y justa a las personas involucradas, pero también del usuario saber cuándo, cómo y para qué utilizar los datos. Abstract: Being a proficient reader in a digital world requires a strong reading foundation, but also the ability to think critically, which is a challenge for many students in Spain. Computerized adaptive tests and process data (information about students’ actions when responding to the test) are especially important when assessing skills such as reading. This work aims to analyze how the use of technology is changing the concept of reading and the ways to evaluate it. This has implications for Spanish students and any professional in charge of interpreting and designing educational evaluations. The researcher must ensure that the use of data and technology is adequate for the objectives of the evaluation and that it works in a reliable, valid, and fair way for the people involved, but also the user must know when, how, and for what purposes to use the data. Sitio web de la revista (Consulta: 17-05-2022)

Background: Academically resilient students are those who exhibit high performance starting from a disadvantaged socioeconomic situation. This study aims to identify the personal, school, and national factors that are associated with that resilience in the European Union (EU). Method: The sample comprised 96556 fourth grade students from 21 EU countries participating in TIMSS-2019. Two three-level logistic regression models were specifi ed for the overall sample. Results: The EU has an average of 25.67% resilient students in mathematics and 24.16% in science. Student confi dence and having done prior linguistic tasks at school were the variables with the most predictive power after accounting for gender and students’ immigrant background. The European countries analyzed largely compensated for the doubly-disadvantaged situation of immigrant students. Those countries with higher proportions of low-performing students had fewer resilient students. Conclusions: The educational policies in the EU member states are able to largely compensate for unfavorable starting positions; fundamentally, policies of a social nature such as support for immigrant students, families, or schools. Antecedentes: Antecedentes: el alumnado académicamente resiliente es aquel que obtiene un alto rendimiento partiendo de una situación socioeconómica desaventajada. Esta investigación pretende identifi car los factores personales, escolares y nacionales que están asociados a la resiliencia académica en la Unión Europea (UE). Método: la muestra fue de 96.556 estudiantes de 4º grado de 21 países de la UE participantes en TIMSS-2019. Para el conjunto de la muestra se ajustaron dos modelos de regresión logística multinivel de tres niveles. Resultados: la UE tiene un promedio de 25,67% de alumnado resiliente en matemáticas y 24,16% en ciencias. La confi anza de los estudiantes y haber realizado tareas lingüísticas previas a la escuela son las variables con mayor poder predictivo después de tener en cuenta el género y los antecedentes inmigrantes de los estudiantes. Los países europeos analizados compensan en buena medida la situación doblemente desaventajada del alumnado inmigrante. Aquellos países que poseen un mayor porcentaje de alumnado con bajo rendimiento tienen menos estudiantes resilientes. Conclusiones: las políticas educativas de los estados miembros de la UE son capaces de compensar en gran medida las situaciones desfavorecidas de partida. Fundamentalmente aquellas de carácter social como el apoyo al alumnado inmigrante, a la familia o las instituciones educativas. Sitio web de la revista (Consulta: 07-10-2022)

Background: The role of homework in students’ academic performance is a widely debated topic about which there is no defi nitive answer. The objective of this study was to analyse the importance of parental help with homework in academic achievement, testing its cultural invariance (by country), academic invariance (by subject), and the stability of its effects over time. Method: A meta-analysis was performed using the results of PISA evaluations from 2009, 2012, 2015, and 2018 from countries which applied the family PISA questionnaire. We analysed 180 effects and confi rmed the f i t of the model and the heterogeneity of the effects, performing an analysis of moderators and multimodal inference. Results: Students who had more help with homework had lower academic achievement, with an overall effect (d) = 0.23, 95% CI [0.21, 0.25]. The effects were greater in Europe than in Asia. We did not fi nd differences by subject type, and the results were stable over time. Conclusions: Family help with homework does not ensure students’ academic success, and it is more important how that help is given than how much. This conclusion is valid for different types of subjects and is stable over time, with some variation between cultures. Antecedentes: el papel de los deberes escolares en el rendimiento académico es un tema ampliamente debatido, no existiendo una respuesta defi nitiva. El presente trabajo analiza el efecto de la ayuda parental con los deberes sobre los resultados educativos, comprobando la invarianza cultural (por países) y académica (por asignaturas), así como la estabilidad temporal de los efectos. Método: se realizó un meta-análisis con los resultados PISA de los años 2009, 2012, 2015 y 2018, incluyendo los países que aplicaron el cuestionario PISA para las familias. Se analizaron 180 efectos, comprobando el ajuste del modelo y la heterogeneidad de los efectos, y realizando análisis de moderadores y análisis de inferencia con modelos múltiples. Resultados: los estudiantes que reciben más ayuda con los deberes obtienen resultados más bajos: d = 0.23, IC 95% [0.21, 0.25]. Los efectos son mayores en Europa que en Asia. No se encontraron diferencias en función de la asignatura, y los resultados son estables a lo largo del tiempo. Conclusiones: la ayuda familiar con los deberes no garantiza el éxito académico, siendo más importante cómo se hace que el cuánto. Esta conclusión es válida en todas las asignaturas y se muestra estable en el tiempo, observándose variaciones interculturales. Sitio web de la revista (Consulta: 18-05-2022)

Las abundantes investigaciones sobre los sistemas educativos han permitido identificar los factores fundamentales que determinan el éxito educativo del alumnado. Sin embargo, estas investigaciones no han sido muy eficientes a la hora de transferir los resultados a los contextos aplicados en los que se mueven los profesionales y directivos que toman las decisiones sobre los sistemas educativos. La razón principal de este fracaso proviene de la poca familiarización de los profesionales de la educación con la sofisticada metodología estadística y psicométrica utilizada por la mayoría de los investigadores. El objetivo del presente trabajo es analizar los sistemas educativos mediante la metodología de análisis de redes, la cual es muy asequible, clara e intuitiva para profesionales y directivos educativos sin una gran sofisticación metodológica. Se utilizó una muestra de 7,882 estudiantes de segundo curso de la Enseñanza Secundaria Obligatoria. Se evaluó su competencia matemática y se obtuvieron datos relativos al contexto educativo. Se utilizó para los análisis el análisis de redes, calculando indicadores de centralidad, así como de precisión y estabilidad de la red. Los resultados indican que el autoconcepto y las expectativas académicas tienen un importante efecto sobre los resultados en matemáticas. Los hallazgos convergen con los obtenidos previamente con otros enfoques. El acercamiento de análisis de redes ofrece una combinación idónea entre rigor analítico y sencillez interpretativa, lo que le confiere gran potencial para ser empleado en contextos educativos aplicados para la toma de decisiones basadas en datos. Abstract: Widespread research on educational systems has made it possible to identify the main factors that define students’ educational success. Nevertheless, these studies have not been very efficient when it comes to transferring their conclusions to the applied contexts where those who teach or make decisions about educational systems move. The main reason for this failure lies on the unfamiliarity of education professionals with the sophisticated statistical and psychometric methodology used by most researchers. The goal of this paper is to analyze educational systems using the Network Analysis methodology, which is very affordable, clear, and intuitive for teachers and educational leaders without a great methodological sophistication. A sample of 7,882 eighth-graders was used. Students’ mathematical skills were evaluated and data were obtained from their educational context. Network Analysis was used calculating indicators of centrality, as well as precision and stability of the network. The results indicate that academic self-concept and academic expectations have an important effect on performance in mathematics. The findings match with those previously obtained with other approaches. The Network Analysis methodology offers an ideal combination of analytical rigor and interpretative simplicity, that provides a great potential to be used in applied educational contexts for evidence-based decision making. Sitio web de la revista (Consulta: 07-10-2022)

Resumen tomado de la publicación Resiliencia académica en Matemáticas y Ciencias : datos de Europa TIMSS-2019. Antecedentes: el alumnado académicamente resiliente es aquel que obtiene un alto rendimiento partiendo de una situación socioeconómica desaventajada. Esta investigación pretende identificar los factores personales, escolares y nacionales que están asociados a la resiliencia académica en la Unión Europea (UE). Método: la muestra fue de 96.556 estudiantes de 4º grado de 21 países de la UE participantes en TIMSS-2019. Para el conjunto de la muestra se ajustaron dos modelos de regresión logística multinivel de tres niveles. Resultados: la UE tiene un promedio de 25,67% de alumnado resiliente en matemáticas y 24,16% en ciencias. La confianza de los estudiantes y haber realizado tareas lingüísticas previas a la escuela son las variables con mayor poder predictivo después de tener en cuenta el género y los antecedentes inmigrantes de los estudiantes. Los países europeos analizados compensan en buena medida la situación doblemente desaventajada del alumnado inmigrante. Aquellos países que poseen un mayor porcentaje de alumnado con bajo rendimiento tienen menos estudiantes resilientes. Conclusiones: las políticas educativas de los estados miembros de la UE son capaces de compensar en gran medida las situaciones desfavorecidas de partida. Fundamentalmente aquellas de carácter social como el apoyo al alumnado inmigrante, a la familia o las instituciones educativas. ESP

This research was funded by the Ministry of Economy, Industry and Competitiveness of Spain, Reference PSI2017-85724-P and Research Fund: FI-21-027.

Academically resilient students are those who exhibit high performance starting from a disadvantaged socioeconomic situation. This study aims to identify the personal, school, and national factors that are associated with that resilience in the European Union (EU). Method: The sample comprised 96556 fourth grade students from 21 EU countries participating in TIMSS-2019. Two three-level logistic regression models were specifi ed for the overall sample. Results: The EU has an average of 25.67% resilient students in mathematics and 24.16% in science. Student confi dence and having done prior linguistic tasks at school were the variables with the most predictive power after accounting for gender and students’ immigrant background. The European countries analyzed largely compensated for the doubly-disadvantaged situation of immigrant students. Those countries with higher proportions of low-performing students had fewer resilient students. Conclusions: The educational policies in the EU member states are able to largely compensate for unfavorable starting positions; fundamentally, policies of a social nature such as support for immigrant students, families, or schools.

Resumen basado en el de la publicación Título, resumen y palabras clave en español e inglés La tenacidad es un constructo relacionado con la perseverancia y la pasión por conseguir los objetivos propuestos. Su relación con el rendimiento académico ha sido ampliamente investigada, si bien los resultados no son concluyentes. Se analiza la estabilidad temporal de la tenacidad y su relación con el rendimiento académico de los adolescentes. Se utilizó una muestra de 5.371 estudiantes, que fueron evaluados en dos momentos temporales separados por un periodo de cuatro años. Se utilizó un diseño longitudinal, analizando los datos mediante análisis de varianza, análisis factorial y modelos de ecuaciones estructurales. La tenacidad y rendimiento académico descienden entre los 10 y los 14 años. Los de mayor tenacidad académica mostraron mejores resultados escolares. Ambos constructos están correlacionados, por lo que el uso de programas de intervención para mejorar la tenacidad académica podría ser clave para mejorar su rendimiento académico. ESP

Supplemental material, Supplemental_Material_Translated_Abstracts for On the design and validation of a rubric for the evaluation of performance in a musical contest by Marcos Álvarez-Díaz, Luis Magín Muñiz-Bascón, Antonio Soria-Alemany, Alberto Veintimilla-Bonet and Rubén Fernández-Alonso in International Journal of Music Education

Financiación: Proyecto del Ministerio de Economía, Industria y Competitividad, referencia nº PSI2017-85724-P.

This research was funded by the Ministry of Economy, Industry and Competitiveness of Spain, Reference PSI2017-85724-P.

This research was funded by the Ministry of Economy, Industry and Competitiveness of Spain, Reference PSI2017-85724-P.

Resumen tomado de la publicación Estudiantes resilientes y de bajo rendimiento: determinantes personales y familiares en países europeos. Antecedentes: el rendimiento académico de los estudiantes depende de sus características personales, familiares y socioculturales. El presente trabajo trata de identificar los factores personales y familiares de los estudiantes europeos que no obtienen el rendimiento esperado, bien sea porque superan las expectativas previas (resilientes), o porque rinden por debajo de lo esperado (low performers). Método: la muestra está formada por 117.539 estudiantes de cuarto grado que realizaron la prueba de Progress in International Reading Literacy Study (PIRLS), pertenecientes a 23 países de la Unión Europea. El rendimiento académico se evaluó mediante una prueba de compresión lectora. Para cada país se utilizaron dos modelos de regresión logística binaria, uno para los alumnos resilientes y otro para los low performers. Como variables predictoras se utilizaron variables asociadas al alumno y a su familia. Resultados: se han obtenido diferencias importantes entre los países europeos en relación a la proporción de alumnos resilientes y low performers. La confianza de los estudiantes en la lectura y el haber realizado actividades de alfabetización temprana son las dos variables con mayor poder predictivo. Conclusiones: las características personales del alumnado y sus condiciones familiares son determinantes para que los estudiantes sean considerados resilientes y low performers. ESP

Resumen tomado de la publicación Un enfoque ecológico de la medición: explicación con modelos multinivel del funcionamiento diferencial de los ítems. Antecedentes: el tercer Estudio Regional Comparativo y Explicativo informa, analiza y compara los resultados académicos en matemáticas, ciencias y lectura de 15 países latinoamericanos. La validez es el fundamento del procedimiento de prueba y el proceso de validación es clave para el éxito de la evaluación educativa en general. Este estudio metodológico se enfoca desde un punto de vista ecológico que sitúa a la persona, el proceso, el contexto y el tiempo donde se desarrolla la prueba. Estas descripciones señalan eventos específicos cómo y qué variables a nivel individual, escuela o país pueden dar un entendimiento profundo del proceso de respuesta. El objetivo fue investigar el funcionamiento diferencial del ítem desde un marco ecológico. Método: se analizó la prueba de ciencias aplicada en 2013 a los alumnos de 6º grado, los datos abarcan a 12.657 alumnos, 2.609 escuelas y 15 países. Se realizó una inclusión progresiva de niveles de distribución de la varianza en diferentes modelos de regresión logística Bernoulli. Resultados: los análisis mostraron la presencia de funcionamiento diferencial del ítem en el 32% de la prueba de ciencias. Conclusión: la principal fuente de funcionamiento diferencial del ítem se ve asociado al nivel de desarrollo humano de los países participantes. Universidad de Oviedo. Biblioteca de Psicología; Plaza Feijoo, s/n.; 33003 Oviedo; Tel. +34985104146; Fax +34985104126; buopsico@uniovi.es ESP

Título, resumen y palabras clave en español e inglés Resumen basado en el de la publicación Los ítems de respuesta construida son ampliamente utilizados en todo tipo de evaluaciones educativas. A pesar de la utilización de rúbricas muy específicas para su corrección, la influencia de los correctores está bien documentada en la literatura, afectando a los resultados de la evaluación. El objetivo central es la estimación de los efectos de los correctores y de las rúbricas en una tarea de expresión escrita. Se utilizaron 13 correctores que revisaron 375 producciones escritas de estudiantes de sexto curso. Los correctores fueron asignados a los ensayos escritos siguiendo un cuadrado Youden de 13 bloques, un diseño de bloques incompletos balanceado. En el análisis de datos se empleó el modelo de Rasch de facetas múltiples con tres facetas: corrector, rúbricas y dificultad de paso de los mismos. Se compararon diferentes modelos y se analizaron los efectos del corrector y las características de las rúbricas. Los resultados ponen de manifiesto las diferencias entre los correctores en cuanto la severidad y la exactitud de sus juicios. Se concluye que no incluir el efecto del corrector en la estimación de los resultados del alumnado puede introducir un componente claro de inequidad en las evaluaciones. ESP

Título, resumen y palabras clave en español e inglés Resumen basado en el de la publicación El contexto socio cultural del alumnado influye notablemente en su rendimiento académico, como indica una abundante literatura al respecto. El estudio se centra en el alumnado con desventaja socio cultural. El alumnado académicamente resiliente es aquel que a pesar de tener unas condiciones socioeconómicas desfavorables obtiene buen resultado académico, muy por encima de lo esperado. Se trata de identificar los factores determinantes de la resiliencia educativa en Europa. Se han utilizado los resultados del alumnado de 4º grado del estudio PIRLS 2016 para los países miembros de la Unión Europea que participaron en dicho estudio por ser estos datos los más actuales que permiten comparar mediante una evaluación a gran escala a distintos países y sus sistemas educativos. Para escalar al alumnado según su nivel socioeconómico se elaboró un Índice social, económico y cultural (ISEC). El rendimiento académico se evaluó mediante una prueba de comprensión lectora asumiendo que un buen nivel competencial en lectura permitirá al alumnado conseguir mejores resultados en el resto de las competencias. Se utilizó un modelo jerárquico logístico de dos niveles, usando variables asociadas al alumnado tales como el sexo, historia escolar o características personales y familiares, para el nivel 1; mientras que para el segundo nivel se seleccionaron variables propias de los centros educativos como el clima escolar. Se obtuvieron diferencias entre los distintos países de la Unión Europea. La confianza del alumnado en la lectura y un clima escolar favorable incrementan considerablemente la probabilidad de ser académicamente resiliente. Se proponen algunas ideas para orientar sobre las medidas en política educativa para compensar las desventajas socioeconómicas previas del alumnado y mejorar así su resiliencia. ESP

Resumen tomado de la publicación Implicación familiar y rendimiento académico: menos control y más comunicación. Antecedentes: la implicación familiar en el proceso educativo es un hecho deseable, aunque una mayor implicación no garantiza mejores resultados. El objetivo de esta investigación es explorar la relación entre los estilos de implicación familiar en el hogar y los resultados escolares. Método: se utilizó una muestra de 26.543 estudiantes españoles con una medida de edad de 14,4 años (DT = 0,75). El 66,2% asiste a un centro público; el 49,7% son mujeres; el 87,8% es español; y el 73,5% está escolarizado en el curso correspondiente a su edad. Se ajustaron diferentes modelos jerárquico-lineales de tres niveles: alumnado, centro y región. Resultados: los estudiantes cuyos progenitores presentan un perfil de implicación familiar más distal o indirecto tienden a presentar mejores resultados que los que provienen de hogares con un estilo más controlador. Los estilos familiares tienen efecto sobre los resultados individuales y de centro, incluso después de descontar el impacto de las variables de contexto. Conclusiones: dada la importancia de la implicación familiar en el rendimiento, los centros deben de tenerla muy en cuenta en su política de información y formación familiar. Los centros que tienen perfiles familiares más comunicativos tienden a presentar menores diferencias intra-centro en los resultados individuales. Universidad de Oviedo. Biblioteca de Psicología; Plaza Feijoo, s/n.; 33003 Oviedo; Tel. +34985104146; Fax +34985104126; buopsico@uniovi.es ESP

Gobierno del Principado de Asturias; MECD, Ministerio de Educación, Cultura y Deporte; BES2012-053488, MINECO, Ministerio de Economía y Competitividad; PSI2014-56114-P, MINECO, Ministerio de Economía y Competitividad, This research was funded by the Ministerio de Economía y Competitividad del Gobierno de España. References: PSI2014-56114-P, BES2012-053488.

Título, resumen, palabras clave en español e ingles Resumen basado en el de la publicación Se analiza la influencia del contexto educativo de los centros sobre el rendimiento académico. La muestra es de 63.750 estudiantes, de 2.955 escuelas de quince países latinoamericanos. La edad media del alumnado es de 12,4 años (DT = 0,94). El 69,4% asiste a un centro público, el 50,3% son mujeres y el 20,4% ha repetido al menos un curso. Se emplea el análisis jerárquicolineal de dos y tres niveles, las variables de ajuste utilizadas son los antecedentes demográficos y socioeconómicos del alumno, y titularidad, ruralidad, infraestructura y nivel socioeconómico de los centros. Los resultados muestran que el efecto bruto de los centros es del 33% para Ciencias Naturales y 28% para Matemáticas y Lectura. El impacto de las variables socioeconómicas reduce esta variabilidad entre en 35% y el 68%. El efecto neto de los centros fue de 25% en Ciencias Naturales, 23% en Matemática y 13% en Lectura. Se discuten estos resultados y se analizan posibles implicaciones para las políticas educativas en Latinoamericana. ESP