Search

Multidimensional forced-choice questionnaires are widely regarded in the personnel selection literature for their ability to control response biases. Recently developed IRT models usually rely on the assumption that item parameters remain invariant when they are paired in forced-choice blocks, without giving it much consideration. This study aims to test this assumption empirically on the MUPP-2PL model, comparing the parameter estimates of the forced-choice format to their graded-scale equivalent on a Big Five personality instrument. The assumption was found to hold reasonably well, especially for the discrimination parameters. In the cases in which it was violated, we briefly discuss the likely factors that may lead to non-invariance. We conclude discussing the practical implications of the results and providing a few guidelines for the design of forced-choice questionnaires based on the invariance assumption. Los cuestionarios de elección forzosa multidimensionales son bastante apreciados en la literatura de selección de personal por su capacidad para controlar los sesgos de respuesta. Los modelos de TRI desarrollados recientemente normalmente asumen que los parámetros de los ítems permanecen invariantes cuando se emparejan en bloques de elección forzosa, sin dedicarle mucha atención. Este estudio tiene como objetivo poner a prueba empíricamente este supuesto en el modelo MUPP-2PL, comparando las estimaciones de los parámetros del formato de elección forzosa con su equivalente en escala graduada, en un instrumento de personalidad Big Five. Se encontró que el supuesto se cumplía razonablemente bien, especialmente para los parámetros de discriminación. En los casos en los que no se cumplió se discuten brevemente los posibles factores que pueden dar lugar a no invarianza. Concluimos discutiendo las implicaciones prácticas de los resultados y proponiendo algunas pautas para el diseño de cuestionarios de elección forzosa basados en el supuesto de invarianza.

Multidimensional forced-choice questionnaires are widely regarded in the personnel selection literature for their ability to control response biases. Recently developed IRT models usually rely on the assumption that item parameters remain invariant when they are paired in forced-choice blocks, without giving it much consideration. This study aims to test this assumption empirically on the MUPP-2PL model, comparing the parameter estimates of the forced-choice format to their graded-scale equivalent on a Big Five personality instrument. The assumption was found to hold reasonably well, especially for the discrimination parameters. In the cases in which it was violated, we briefly discuss the likely factors that may lead to non-invariance. We conclude discussing the practical implications of the results and providing a few guidelines for the design of forced-choice questionnaires based on the invariance assumption. RESUMEN Los cuestionarios de elección forzosa multidimensionales son bastante apreciados en la literatura de selección de personal por su capacidad para controlar los sesgos de respuesta. Los modelos de TRI desarrollados recientemente normalmente asumen que los parámetros de los ítems permanecen invariantes cuando se emparejan en bloques de elección forzosa, sin dedicarle mucha atención. Este estudio tiene como objetivo poner a prueba empíricamente este supuesto en el modelo MUPP-2PL, comparando las estimaciones de los parámetros del formato de elección forzosa con su equivalente en escala graduada, en un instrumento de personalidad Big Five. Se encontró que el supuesto se cumplía razonablemente bien, especialmente para los parámetros de discriminación. En los casos en los que no se cumplió se discuten brevemente los posibles factores que pueden dar lugar a no invarianza. Concluimos discutiendo las implicaciones prácticas de los resultados y proponiendo algunas pautas para el diseño de cuestionarios de elección forzosa basados en el supuesto de invarianza.

Background. In order to carry out a rigorous psychological evaluation, three conditions must be met: the practitioners must have the appropriate qualifications, the tests must show good psychometric properties, and they must be used correctly. The aim of this paper is to present the recent guidelines developed by the International Test Commission on the use of tests in three areas: research, quality control, and security. Method. The guidelines developed by the International Test Commission will be analysed and discussed. Results. The new guidelines on the use of tests offer a whole range of theoretical and practical recommendations to guide the appropriate use of tests in research settings, in order to develop and implement effective quality control strategies, and to preserve the security of all of the data involved in the assessment process. Conclusions. The new guidelines developed by the International Test Commission will contribute to the correct use of tests in research settings, to an improvement in the quality control of testing, and to ensuring security in assessment processes.

El artículo describe los resultados de la segunda evaluación de tests psicológicos editados en España. La Comisión de Tests del Colegio Oficial de Psicólogos decidió que se evaluasen 12 tests, seleccionados principalmente por su novedad y amplio uso. Cada test ha sido evaluado por dos expertos. Al igual que en la primera evaluación (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez y Peña-Suárez, 2011), los evaluadores hacían su trabajo respondiendo a las preguntas del Cuestionario para la Evaluación de los Tests (Prieto y Muñiz, 2000), que adapta al contexto español el modelo elaborado por la Federación Europea de Asociaciones de Psicólogos Profesionales. De cada test se ha evaluado la calidad de los materiales y documentación, la fiabilidad de sus puntuaciones, la cobertura de los estudios de validación, la calidad de los baremos, etc. Los revisores informaron también acerca de la idoneidad del instrumento y proceso seguido en la evaluación. Se aportan sugerencias que pudieran ser útiles para mejorar las evaluaciones futuras, This article describes the results of the second evaluation of psychological tests published in Spain. The Committee on Testing of the Spanish Psychological Association agreed on assessing 12 tests, selected mainly for their novelty and wide use. Each test has been evaluated by two experts. As in the first evaluation (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez and Peña-Suárez, 2011), assessments were made by responding to the Questionnaire for the Assessment of Tests (Prieto and Muñiz, 2000), which adapts to the Spanish context the assessment model developed by the European Federation of Psychologists’ Associations. Results are provided in both absolute and relative terms, as they are compared to those of the first evaluation. They refer to the quality of documentation and materials, the coverage of the validation studies, reliability, norms, etc. Reviewers were also asked about the suitability of the instrument and procedure used to conduct the assessment. Suggestions are provided that may be useful to improve next test evaluations

Neuroimaging research involves analyses of huge amounts of biological data that might or might not be related with cognition. This relationship is usually approached using univariate methods, and, therefore, correction methods are mandatory for reducing false positives. Nevertheless, the probability of false negatives is also increased. Multivariate frameworks have been proposed for helping to alleviate this balance. Here we apply multivariate distance matrix regression for the simultaneous analysis of biological and cognitive data, namely, structural connections among 82 brain regions and several latent factors estimating cognitive performance. We tested whether cognitive differences predict distances among individuals regarding their connectivity pattern. Beginning with 3,321 connections among regions, the 36 edges better predicted by the individuals' cognitive scores were selected. Cognitive scores were related to connectivity distances in both the full (3,321) and reduced (36) connectivity patterns. The selected edges connect regions distributed across the entire brain and the network defined by these edges supports high-order cognitive processes such as (a) (fluid) executive control, (b) (crystallized) recognition, learning, and language processing, and (c) visuospatial processing. This multivariate study suggests that one widespread, but limited number, of regions in the human brain, supports high-level cognitive ability differences. Hum Brain Mapp, 2016. © 2016 Wiley Periodicals, Inc. PSI2010-20364 PSI2015-65557-P PSI2013-44300-P BES-2011-043527 AP2008-00433 4.927 JCR (2017) Q1, 48/261 Neurosciences, 2/14 Neuroimaging, 16/128 Radiology, Nuclear Medicine and Medical Imaging UEM

Background: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the extent to which traditional scoring of FCTs relates to the true scores and IRT estimates. The authors found certain conditions under which traditional scores (TS) can be used with FCTs when the underlying IRT model was an unfolding model. In this study, we examine to what extent the results are preserved when the underlying process becomes a dominance model. Method: The independent variables analyzed in a simulation study are: forced-choice format, number of blocks, discrimination of items, polarity of items, variability of intra-block diffi culty, range of diffi culty, and correlation between dimensions. Results: A similar pattern of results was observed for both models; however, correlations between TS and true thetas are higher and the differences between TS and IRT estimates are less discrepant when a dominance model involved. Conclusions: A dominance model produces a linear relationship between TS and true scores, and the subjects with extreme thetas are better measured, Antecedentes: los tests de elección forzosa (TEFs) fueron propuestos para reducir los sesgos de respuesta de ítems tipo Likert. Se cuestiona que los métodos de puntuación tradicional (PT) empleados permitan hacer comparaciones entre-sujetos. Recientemente, Hontangas et al. (2015) exploraron cómo las PTs obtenidas con diferentes TEFs se relacionan con sus puntuaciones verdaderas y estimaciones TRI, mostrando las condiciones para ser utilizadas cuando el modelo subyacente es un modelo de unfolding. El objetivo del trabajo actual es comprobar si el patrón de resultados se mantiene con un modelo de dominancia. Método: las variables independientes del estudio de simulación fueron: formato de elección forzosa, número de bloques, discriminación de los ítems, polaridad de los ítems, variabilidad de la dificultad intrabloque, rango de difi cultad del test y correlación entre dimensiones. Resultados: un patrón similar de resultados fue obtenido en ambos modelos, pero en el modelo de dominancia las correlaciones entre PTs y puntuaciones verdaderas son más altas y las diferencias entre PTs y estimaciones TRI se reducen. Conclusiones: un modelo de dominancia produce una relación lineal entre PTs y puntuaciones verdaderas, y los sujetos con puntuaciones extremas son medidos mejor, The research has been funded by the Ministry of Economy and Competitivity of Spain, project PSI2012-33343

Background: Multistage adaptive testing has recently emerged as an alternative to the computerized adaptive test. The current study details a new multistage test to assess fl uid intelligence. Method: An item pool of progressive matrices with constructed response format was developed, and divided into six subtests. The subtests were applied to a sample of 724 college students and their psychometric properties were studied (i.e., reliability, dimensionality and validity evidence). The item pool was calibrated under the graded response model, and two multistage structures were developed, based on the automatic test assembly principles. Finally, the test information provided by each structure was compared in order to select the most appropriate one. Results: The item pool showed adequate psychometric properties. From the two compared multistage structures, the simplest structure (i.e., routing test and two modules in the next stages) were more informative across the latent trait continuum and were therefore kept. Discussion: Taken together, the results of the two studies support the application of the FIMT (Fluid Intelligence Multistage Test), a multistage test to assess fl uid intelligence accurately and innovatively, Antecedentes: los test adaptativos multietapa han emergido recientemente como una alternativa a los test adaptativos informatizados. Se presenta en este estudio un test multietapa para evaluar la inteligencia fl uida. Método: se desarrolló un banco de ítems de matrices progresivas con formato de respuesta construida que posteriormente fue dividido en seis subtests. Los ítems se administraron a un total de 724 estudiantes universitarios. Se estudiaron las propiedades psicométricas de los subtests (fi abilidad, dimensionalidad, evidencias de validez) y se calibró el banco con el modelo de respuesta graduada. Se construyeron después dos estructuras multietapa a través del ensamblaje automático de tests y se comparó la información proporcionada por cada una de ellas. Resultados: los ítems mostraron unas propiedades psicométricas adecuadas. De las dos estructuras puestas a prueba, se conservó fi nalmente la estructura sencilla, pues resultó más informativa. Discusión: los resultados de estos dos estudios avalan el empleo del FIMT, una herramienta que emplea este formato para evaluar de forma innovadora y precisa la inteligencia fluida

Contiene versión en inglés, Antecedentes. Para llevar a cabo una evaluación psicológica rigurosa es necesario que los profesionales que la realizan tengan una preparación adecuada, que los tests utilizados muestren unas buenas propiedades psicométricas, y que se utilicen de forma co-rrecta. El objetivo de este trabajo es presentar las directrices recientes de la Comisión Internacional de Tests sobre el uso de los tests en tres ámbitos: investigación, control de calidad y seguridad en el manejo de las pruebas. Método. Se revisarán y comentarán los directrices recientes desarrolladas por la Comisión Internacional de Tests. Resultados. Las nuevas directrices sobre el uso de los tests ofrecen todo un conjunto de recomendaciones teórico-prácticas para guiar la utilización adecuada de los tests en contextos de inves-tigación, para desarrollar e implementar procesos de control de calidad efectivos, y para salvaguardar la seguridad de todos los da-tos implicados en un proceso evaluativo. Conclusiones. Las nuevas directrices desarrolladas por la Comisión Internacional de Tests contribuirán a una adecuada utilización de los tests en contextos de investigación, a una mejora en los procesos de control de cali-dad de las pruebas, y a garantizar la seguridad en los procesos evaluativos, Background. In order to carry out a rigorous psychological evaluation three conditions must be met: the practitioners must have the appropriate qualifications, the tests must show good psychometric properties, and they must be used correctly. The aim of this paper is to present the recent guidelines developed by the International Test Commission on the use of tests in three areas: research, quality control, and security. Method. The guidelines developed by the International Test Commission will be analysed and discussed. Results. The new guidelines on the use of tests offer a whole range of theoretical and practical recommendations to guide the appropriate use of tests in research settings, in order to develop and implement effective quality control strategies, and to preserve the security of all of the data involved in the assessment process. Conclusions. The new guidelines developed by the International Test Commission will contribute to the correct use of tests in research settings, to an improvement in the quality control of testing, and to ensuring security in the assessment processes

Cognitive Diagnostic Models (CDMs) aim to provide information about the degree to which individuals have mastered specific attributes that underlie the success of these individuals on test items. The Q-matrix is a key element in the application of CDMs, because contains links item-attributes representing the cognitive structure proposed for solve the test. Using a simulation study we investigated the performance of two model-fit statistics (MAD and LSD) to detect misspecifications in the Q-matrix within the least squares distance modeling framework. The manipulated test design factors included the number of respondents (300, 500, 1000), attributes (1, 2, 3, 4), and type of model (conjunctive vs disjunctive). We investigated MAD and LSD behavior under correct Q-matrix specification, with Qmisspecifications and in a real data application. The results shows that the two model-fit indexes were sensitive to Q-misspecifications, consequently, cut points were proposed to use in applied context., Detección de errores de especificación en la matriz Q utilizando dos criterios de validación de estructuras cognitivas con el Modelo de las Distancias Mínimo Cuadráticas (LSDM). Los Modelos de Diagnóstico Cognitivo (MDC) tienen por objeto proporcionar información sobre el grado en que los individuos dominan atributos específicos para resolver correctamente los items de un test. La matriz Q es un elemento clave en la aplicación de los MDC porque contiene vínculos entre items y atributos que representan la estructura cognitiva propuesta para resolver la prueba. Por medio de un estudio de simulación, se determinó el rendimiento de dos estadísticos de ajuste (MAD y LSD) para detectar errores de especificación en la matriz Q dentro del marco del modelo de la distancia mínimo cuadrática. Los factores manipulados en el diseño del test incluyen: número de encuestados (300, 500, 1000), número de atributos (1, 2, 3, 4), y el tipo de modelo (conjuntivo vs. disyuntivo). Se investigó el comportamiento de los valores MAD y LSD bajo una correcta especificación de Q, con errores de especificación en Q y en una aplicación de datos reales. Los resultados muestran que los dos índices son sensibles a los errores de especificación de Q, por este motivo se proponen puntos de corte para usar en aplicaciones del modelo.

El artículo describe los resultados de la segunda evaluación de tests psicológicos editados en España. La Comisión de Tests del Colegio Oficial de Psicólogos decidió que se evaluasen 12 tests, seleccionados principalmente por su novedad y amplio uso. Cada test ha sido evaluado por dos expertos. Al igual que en la primera evaluación (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez y Peña-Suárez, 2011), los evaluadores hacían su trabajo respondiendo a las preguntas del Cuestionario para la Evaluación de los Tests (Prieto y Muñiz, 2000), que adapta al contexto español el modelo elaborado por la Federación Europea de Asociaciones de Psicólogos Profesionales. De cada test se ha evaluado la calidad de los materiales y documentación, la fiabilidad de sus puntuaciones, la cobertura de los estudios de validación, la calidad de los baremos, etc. Los revisores informaron también acerca de la idoneidad del instrumento y proceso seguido en la evaluación. Se aportan sugerencias que pudieran ser útiles para mejorar las evaluaciones futuras This article describes the results of the second evaluation of psychological tests published in Spain. The Committee on Testing of the Spanish Psychological Association agreed on assessing 12 tests, selected mainly for their novelty and wide use. Each test has been evaluated by two experts. As in the first evaluation (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez and Peña-Suárez, 2011), assessments were made by responding to the Questionnaire for the Assessment of Tests (Prieto and Muñiz, 2000), which adapts to the Spanish context the assessment model developed by the European Federation of Psychologists’ Associations. Results are provided in both absolute and relative terms, as they are compared to those of the first evaluation. They refer to the quality of documentation and materials, the coverage of the validation studies, reliability, norms, etc. Reviewers were also asked about the suitability of the instrument and procedure used to conduct the assessment. Suggestions are provided that may be useful to improve next test evaluations

The effects the new technologies have had on current educational measurement are reviewed. They relate to most of the tasks involved in an educational measurement process. The specific topics considered are: innovative items, performance assessment, automatic test assembly, automatic item generation and different types of computerized adaptive testing. Technology has also changed the psychometric analysis of item and test data, as there are now available computer programs for most psychometric tasks, as item calibration, differential item and test functioning, the study of model fit and model assumptions…Technology has also affected the way to do research, as the use of Monte Carlo methods is becoming more and more common. It is concluded that in general technology is pushing educational measurement in the right direction. However, it should be kept in mind that these innovations may lose their true meaning if they do not really improve the metric quality of the assessment., El artículo revisa algunos cambios que la informatización ha producido en la medición educativa actual. Todas las fases de la evaluación mediante tests se han visto en mayor o menor medida afectadas por las nuevas tecnologías. Los cambios expresamente comentados son los ítems innovadores, los tests de desempeño, el ensamblaje automático, la generación automática de ítems y varios tipos de tests adaptativos informatizados. La informatización ha introducido cambios también en el tratamiento psicométrico de los datos, con la aparición de programas de ordenador para tareas como la calibración, la determinación del sesgo de los ítems y tests, el estudio de los supuestos y del ajuste de los modelos… y ha cambiado también la manera de investigar, siendo más y más frecuente la aplicación del método de Monte Carlo. Se concluye que los cambios están impulsando la medición educativa en la dirección correcta. No obstante, existe el riesgo de olvidar que estas innovaciones pierden su verdadero sentido si no consiguen mejorar la calidad métrica de la evaluación., El autor agradece al Ministerio de Ciencia e Innovación (proyecto PSI2008-0-1685) y al Instituto de Ingeniería del Conocimiento (cátedra de Patrocinio MAP) la financiación recibida.

In this study, eCAT-Listening, a new computerized adaptive test for the evaluation of English Listening, is described. Item bank development, anchor design for data collection, and the study of the psychometric properties of the item bank and the adaptive test are described. The calibration sample comprised 1.576 participants. Good psychometric guarantees: the bank is unidimensional, the items are satisfactorily fi tted to the 3-parameter logistic model, and an accurate estimation of the trait level is obtained. As validity evidence, a high correlation was obtained between the estimated trait level and a latent factor made up of the diverse criteria selected. The analysis of the trait level estimation by means of a simulation led us to fi x the test length at 20 items, with a maximum exposure rate of .40, En este trabajo se describe eCAT-Listening, un nuevo test adaptativo informatizado para la medición del nivel de comprensión auditiva del inglés. Se describe la elaboración del banco de ítems, el diseño de anclaje para la recogida de datos y el estudio de las propiedades psicométricas del banco de ítems y del test adaptativo. La muestra de calibración fue de 1.576 personas. Se obtienen unas buenas garantías psicométricas: el banco es unidimensional, los ítems se ajustan satisfactoriamente al modelo logístico de 3 parámetros y se consigue una estimación precisa de los diferentes niveles de rasgo. Como prueba de validez, se obtuvo una alta correlación entre el rasgo estimado y un factor latente de nivel de inglés compuesto por las diferentes puntuaciones criterio utilizadas en el estudio. El análisis de la estimación del nivel de rasgo mediante simulación nos lleva a fijar la longitud del test adaptivo en 20 ítems, con una tasa máxima de exposición de 0,40, This research was supported by two grants from the Spanish Ministry of Science and Innovation (project numbers PSI2009-10341 and PSI2008-01685) and by the UAM-IIC Chair «Psychometric Models and Applications»

Se describe la construcción del test eCat y se informa de las consecuencias que su funcionamiento ha tenido en sus propiedades psicométricas. Los resultados obtenidos en una muestra de 3224 estudiantes mostraron que el banco tiene una adecuada fiabilidad y validez convergente en relación a los autoinformes de dominio del inglés. Las simulaciones realizadas mostraron que las estimaciones carecían de sesgo y que el test ha de tener al menos 15 ítems para alcanzar una precisión razonable. A partir de las 7254 aplicaciones del test disponibles, se han vuelto a obtener las propiedades psicométricas y se han comparado con las previstas antes de la aplicación. Se aportan nuevas evidencias de validez, This paper describes the process of constructing the eCat test and provides information on the effects its normal operation had on its psychometric properties. Results obtained from 3224 students revealed that the 225 item pool has adequate reliability and good convergent validity with respect to self-reported English proficiency. Simulations showed that ability estimations are essentially unbiased and that a stopping criterion of over 15 items is required to achieve a reasonable level of precision. From 7254 eCat administrations the test psychometric properties have been computed again and compared with those of the preoperational eCat. Additional validity evidences are also presented, This research has been funded by the Ministerio de Ciencia e Innovacion (grants PSI2008-01685 and PSI2009-10341) and by the Chair “Psychometric models and applications” sponsored by the Instituto de Ingeniería del Conocimiento

En el presente trabajo se muestra el análisis realizado sobre un Test Adaptativo Informatizado (TAI) diseñado para la evaluación del nivel de inglés, denominado eCAT, con el objetivo de estudiar el deterioro de parámetros (parameter drift) producido desde la calibración inicial del banco de ítems. Se ha comparado la calibración original desarrollada para la puesta en servicio del TAI (N= 3224) y la calibración actual obtenida con las aplicaciones reales del TAI (N= 7254). Se ha analizado el Funcionamiento Diferencial de los Ítems (FDI) en función de los parámetros utilizados y se ha simulado el impacto que sobre el nivel de rasgo estimado tiene la variación en los parámetros. Los resultados muestran que se produce especialmente un deterioro de los parámetros a y c, que hay un importante número de ítems del banco para los que existe FDI y que la variación de los parámetros produce un impacto moderado en la estimación de θ de los evaluados con nivel de inglés alto. Se concluye que los parámetros de los ítems se han deteriorado y deben ser actualizados, This study describes the parameter drift analysis conducted on eCAT (a Computerized Adaptive Test to assess the written English level of Spanish speakers). The original calibration of the item bank (N = 3224) was compared to a new calibration obtained from the data provided by most eCAT operative administrations (N = 7254). A Differential Item Functioning (DIF) study was conducted between the original and the new calibrations. The impact that the new parameters have on the trait level estimates was obtained by simulation. Results show that parameter drift is found especially for a and c parameters, an important number of bank items show DIF, and the parameter change has a moderate impact on high-level-English θ estimates. It is then recommended to replace the original estimates by the new set

En este trabajo se presenta un ejemplo sobre cómo integrar la psicología cognitiva con la psicometría para determinar las fuentes de dificultad de los ítems de un Test de Aritmética (TA), construido por los autores, por medio de su análisis con el modelo LLTM. Para alcanzar este propósito se han propuesto un grupo de operaciones necesarias para resolver los ítems del test,se ha evaluado su dimensionalidad y se ha estudiado el ajuste de los ítems tanto al modelo de Rasch como al LLTM. Los resultados obtenidos mediante el análisis del TA han permitido ilustrar las ventajas y limitaciones del LLTM en la medición componencial, así como presentar las principales técnicas empleadas en el proceso. This paper presents an illustration of the integration of cognitive psychology and psychometric models to determine sources of item difficulty in an Arithmetic Test (AT), constructed by the authors, by means of its analysis with the LLTM. In order to reach this aim, a group of operations required to solve the items of the test were proposed, the dimensionality was evaluated, and the goodness of fit of items to both the Rasch and the LLTM models was studied. Results obtained were used to illustrate the advantages and limitations of the LLTM for the componential measurement; the main techniques used in the analysis were also introduced.

This paper presents an illustration of the integration of cognitive psychology and psychometric models to determine sources of item difficulty in an Arithmetic Test (AT), constructed by the authors, by means of its analysis with the LLTM. In order to reach this aim, a group of operations required to solve the items of the test were proposed, the dimensionality was evaluated, and the goodness of fit of items to both the Rasch and the LLTM models was studied. Results obtained were used to illustrate the advantages and limitations of the LLTM for the componential measurement; the main techniques used in the analysis were also introduced, En este trabajo se presenta un ejemplo sobre cómo integrar la psicología cognitiva con la psicometría para determinar las fuentes de dificultad de los ítems de un Test de Aritmética (TA), construido por los autores, por medio de su análisis con el modelo LLTM. Para alcanzar este propósito se han propuesto un grupo de operaciones necesarias para resolver los ítems del test, se ha evaluado su dimensionalidad y se ha estudiado el ajuste de los ítems tanto al modelo de Rasch como al LLTM. Los resultados obtenidos mediante el análisis del TA han permitido ilustrar las ventajas y limitaciones del LLTM en la medición componencial, así como presentar las principales técnicas empleadas en el proceso, Este trabajo se ha realizado con la financiación concedida al proyecto SEJ2004-5872/PSIC del Ministerio Español de Ciencia y Tecnología.

El objetivo de este trabajo es realizar un estudio de validación de los procesos cognitivos implicados en la resolución de ítems de un test de operaciones aritméticas básicas entre números enteros. La validación de la estructura cognitiva propuesta para la tarea se lleva a cabo mediante modelos de ecuaciones estructurales y triangulación. Los resultados muestran relaciones de subordinación fuertes y positivas entre los ítems en algunas de las rutas, apoyando solo parcialmente la estructura propuesta. Sin embargo, la triangulación aporta una mayor evidencia de validez., The present work is aimed to carry out a validation study of the cognitive operations required for the correct solution of items of a math test which includes basic arithmetic operations between integer numbers. The validation of the hypothesized cognitive structure is made by means of structural equation modeling and triangulation methods. Results show strong and positive cognitive subordination relationships between some items but the structural equation model fit only provides a partial support for the proposed structure. However, the triangulation procedure provides further evidence of validity., Este trabajo está financiado por el proyecto de la DGICYT (ref. SEJ2004-05872)

El presente artículo muestra el trabajo desarrollado para diseñar un test adaptativo informatizado que evalúa el nivel de conocimientos de inglés escrito en castellano-parlantes. Se describe el proceso seguido para la elaboración del banco de ítems, la comprobación de sus propiedades psicométricas, el ajuste obtenido al modelo logístico de tres parámetros y las principales características del algoritmo adaptativo. Se aportan algunos resultados iniciales sobre la validez de los niveles de rasgo estimados. Se comentan los resultados obtenidos en un estudio de simulación, cuyo objetivo es comprobar algunas propiedades de los niveles de inglés estimados (precisión y sesgo). Los primeros estudios de fiabilidad y validez han dado resultados satisfactorios, This article describes the development of a computer adaptive test to assess the written English level of Spanish speakers. A short description is given of the steps followed for the elaboration of the item bank, the evaluation of its psychometric properties, the fit to the 3-parameter logistic model and the main characteristics of the adaptive algorithm. Some initial results on the validity of estimated ability measures are provided. The article includes the results of a simulation study which aims to obtain information on precision and bias of English level estimates. First results on reliability and validity are encouraging, Este trabajo ha sido financiado por los proyectos DGES BSO2002-1485 y DGES BSO2000-0058

Este artículo presenta el programa CLASE, que permite estimar los modelos de escalamiento clásico para la tarea de comparaciones binarias (Dunn-Rankin y Thurstone), clasificación de objetos (intervalos aparentemente iguales e intervalos sucesivos) y la teoría de detección de señales. El programa está pensado como una herramienta didáctica para ser utilizado en el aula o de forma individual por los estudiantes. Por tanto, proporciona los resultados de estas técnicas según se describen en referencias clásicas, sin incorporar los últimos desarrollos de las mismas., This article presents the software CLASE, which estimates the classical scaling models for the task of paired comparisons (Dunn-Rankin and Thurstone), rating of objects (equal appearing and successive intervals) and the signal detection theory. The program is conceived as a didactic tool to be applied in classroom or by individual students, and for conducting small-scale research. Thus, it provides the results of the techniques as can be found in classical textbooks instead of incorporating the latest developments of these techniques., Esta investigación ha sido subvencionada por el proyecto de la DGICYT: PB 97-0049

En este trabajo se delimitan los componentes de dificultad que intervienen en la resolución de los ítems de un test de matemáticas que incluye 66 ítems de operaciones con números enteros positivos y negativos. Se estudia el ajuste al modelo de Rasch y se estiman los parámetros de dificultad de los componentes mediante el modelo LLTM de Fischer. Se retuvieron 8 de los 10 componentes propuestos. Los parámetros de dificultad predichos por el modelo LLTM y los estimados mediante el modelo de Rasch obtuvieron una relación lineal positiva elevada (r=0.8783). Los resultados de este estudio preliminar animan a seguir trabajando en el desarrollo de un sistema de Generación Automática de Items (GAI), The components involved in solving a test of mathematics are defined. The test include 66 items of operations with whole (positive and negative) numbers. The fit to Rasch model is studied and the difficulty parameters of components are estimated, using the Fischer LLTM model. 8 of 10 components were retained. A high linear relation was found between both difficulty parameters (r=0.8783). The results of this prior work are understood as a first promising step in order to design an automatic item generation system, Este trabajo ha sido financiado por los proyectos DGICYT PS94-0040 y DGES PB97-0049

En este artículo se describen los primeros pasos para transformar un test de lápiz y papel en un test adaptativo basado en la generación automática de ítems. El artículo tiene tres secciones principales: en la primera se describe la estimación de un modelo psicométrico componencial a partir del test de lápiz y papel, la segunda trata sobre la creación de un banco de ítems aplicando mecanismos generativos, y en la tercera se compara la precisión del test de lápiz y papel con la de un test adaptativo creado a partir de los ítems generados automáticamente, The initial efforts to transform a paper and pencil test into a computerized test based on automatic item generation are described in this paper. It has three main sections: Section one describes a psychometric model and its use to predict item difficulties. Section two describes a mechanism to generate new items with a given difficulty. Finally, section three compares the two tests (the based on automatic item generation and the paper and pencil test) with regard to ability estimation precision, Esta investigación ha sido financiada, en parte, por los proyectos DGICYT PS94-0040 y PS95-0046

El programa ANATRI permite estudiar varios modelos de Teoría de la Respuesta al Item para items dicotómicos y politómicos. Los modelos para items dicotómicos incluidos son los denominados como de 1, 2, 3 y 4 parámetros, en sus versiones normal y logística. Los modelos para items politómicos son el modelo de respuesta graduada, el modelo de crédito parcial y el modelo de respuesta nominal. El usuario selecciona el modelo y especifica los parámetros de uno o varios items. Mediante el programa se obtienen las curvas características de los items y, en su caso, las funciones de regresión asociadas a las diversas segmentaciones. Permite analizar en profundidad las propiedades particulares de los items, con lo que se facilita la didáctica de los diferentes modelos, The ANATRI program helps the user in studying dichotomous and polytomous Item Response Theory models. Normal and logistic versions for the 1-, 2-, 3- and 4-parameter models are included. Three polytomous models (Partial Credit, Nominal Response and Graded Response) are also available. The user chooses the model and specifies its parameters for one or more items. Items characteristic (or operating characteristic) curves are depicted. A deep analysis of just one item is also possible. This option allows a better understanding of peculiarities of each model

A new method for computing ability estimates when the response vector contains only errors or correct responses is proposed. It is based on the Stepsize method (Dodd, 1990). Instead of taking as the new ability the midpoint between the last computed ability and the corresponding extreme b- value, the new method proposes as the new estimate the mean of a truncated normal (0, 1) distribution. Last ability estimate and the correponding extreme b-value are the points in which the normal distribution truncates., El trabajo ha recibido financiación parcial de dos proyectos DGICYT (PS94-0040 y PS95-0046)

El trabajo describe la estructura y funcionamiento de un programa de ordenador, que es el soporte de un test adaptativo, basado en la TRI, que mide el nivel de vocabulario inglés. Cada ítem consiste en una palabra inglesa y cinco posibles traducciones, que son las alternativas. El lenguaje utilizado es Turbo Pascal 6.0, This work describes the structure and operation of an IRT-based computer adaptive test to measure the ability level of English vocabulary. The stem of each item is an English word and the options are its Spanish translation and our more Spanish words. The program is coded in Turbo Pascal 6.0

In order for practitioners to be able to use tests appropriately, they must have rigorous information on the quality of the tests. This is why the Spanish test review model (Prieto & Muñiz, 2000) has been applied for a number of years. The goal of this paper is to update and revise this model in order to incorporate the recommendations that have been provided since the original model was applied and to incorporate the latest psychometric and technological innovations. The original model was revised following a series of steps, and the revised proposal was reviewed by a number of experts. After incorporating their suggestions, we have arrived at the final version, which is described in this paper. With the application of the revised model, and the publication of the corresponding results, we hope to continue to improve the use of tests, and consequently, the professional practice of psychology.

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Facultad de Psicología, Departamento de Psicología Social y Metodología. Fecha de lectura: 14 de mayo de 2016, En esta tesis, se investigan los beneficios que se obtendrían al aplicar técnicas recientes de reconocimiento de patrones en la resolución de diversos problemas existentes en el área de la Psicología del comportamiento y de la salud. En las ciencias de la salud, se observa que estas técnicas son capaces de mejorar, en más de un 10%, la precisión o capacidad predictiva de las técnicas actuales de identificación de personas en riesgo de cometer un intento de suicidio. Además, se muestra que estas técnicas pueden ser utilizadas para construir escalas de propósito específico mediante la selección de los ítems más adecuados de escalas de propósito general. En el área de las ciencias del comportamiento, estas técnicas son capaces de identificar a los candidatos más adecuados en los procesos de selección de personal lo que permite reducir considerablemente los gastos de las empresas y facilitar su crecimiento. También se muestra que estas técnicas pueden ser utilizadas para verificar la identidad del participante cuando parte del proceso de selección se realiza online. Se presentan 6 artículos en los que se comparan diversas técnicas (regresión lineal, regresión lineal con selección de variables, regresión logística, análisis discriminante lineal y cuadrático, análisis discriminante de Fisher, boosting, árboles de decisión, Máquinas de Vectores Soporte, y el algoritmo Lars‐en) con distintos objetivos, resultando especialmente eficientes las dos últimas. Esta tesis también investiga la creación de predictores más discriminativos analizando el comportamiento facial y corporal del participante mientras realiza las pruebas. Para ello, en el séptimo artículo se estudia la posibilidad de combinar test psicométricos informatizados conductuales con técnicas de reconocimiento de patrones y visión por ordenador. Se observa que es posible encontrar determinados patrones de movimientos que mejoran las valoraciones de impulsividad. Estos hallazgos abren nuevas líneas de investigación que serán exploradas en los próximos años., This thesis analyses the benefits that can be obtained when pattern recognition techniques are utilized for solving several existing problems in the research areas of health and behavioral psychology. In the field of health, it is shown that these techniques are capable of improving, in more than 10%, the accuracy obtained by the current techniques in identifying suicidal behavior. Moreover, it is also exposed that these techniques can build accurate scales for specific purposes by selecting the most suitable items from general purpose scales. On the other hand, in the research area of behavioral psychology, it is observed that recent pattern recognition techniques are able to identify the most suitable candidates in the recruitment processes, which allows to reduce considerably the companies’ costs and, therefore, making easier their growth. In this area, it is also shown that these techniques can be used to verify the identity of the participant when some assessments during the recruitment process are realized online. This PhD thesis contains six articles in which several statistical and pattern recognition techniques are applied. The techniques are linear regression, stepwise linear regression, linear and quadratic discriminant analysis, Fisher discriminant analysis, boosting, decision trees, support vector machines and the Lars‐en algorithm. These techniques were used with different purposes. Support vector machine and the Lars‐en algorithm showed to obtain accurate results. This thesis also investigates the development of new discriminative predictors by analyzing the facial and corporal behavior of the examinee while performing some behavioral computerized tasks. This goal is achieved by combining pattern recognition and computerized psychometrical tests with computer vision techniques. Obtained results show that it is possible to find patterns related to corporal movement that can be used to improve the assessment of impulsivity. These findings open new future research lines that will explored in the following years.