Psicothema

In this study, eCAT-Listening, a new computerized adaptive test for the evaluation of English Listening, is described. Item bank development, anchor design for data collection, and the study of the psychometric properties of the item bank and the adaptive test are described. The calibration sample comprised 1.576 participants. Good psychometric guarantees: the bank is unidimensional, the items are satisfactorily fi tted to the 3-parameter logistic model, and an accurate estimation of the trait level is obtained. As validity evidence, a high correlation was obtained between the estimated trait level and a latent factor made up of the diverse criteria selected. The analysis of the trait level estimation by means of a simulation led us to fi x the test length at 20 items, with a maximum exposure rate of .40
En este trabajo se describe eCAT-Listening, un nuevo test adaptativo informatizado para la medición del nivel de comprensión auditiva del inglés. Se describe la elaboración del banco de ítems, el diseño de anclaje para la recogida de datos y el estudio de las propiedades psicométricas del banco de ítems y del test adaptativo. La muestra de calibración fue de 1.576 personas. Se obtienen unas buenas garantías psicométricas: el banco es unidimensional, los ítems se ajustan satisfactoriamente al modelo logístico de 3 parámetros y se consigue una estimación precisa de los diferentes niveles de rasgo. Como prueba de validez, se obtuvo una alta correlación entre el rasgo estimado y un factor latente de nivel de inglés compuesto por las diferentes puntuaciones criterio utilizadas en el estudio. El análisis de la estimación del nivel de rasgo mediante simulación nos lleva a fijar la longitud del test adaptivo en 20 ítems, con una tasa máxima de exposición de 0,40
This research was supported by two grants from the Spanish Ministry of Science and Innovation (project numbers PSI2009-10341 and PSI2008-01685) and by the UAM-IIC Chair «Psychometric Models and Applications»