Search

Antecedentes: Actualmente la clasificación de fenómenos se dificulta por la masiva existencia de casos donde algunas clases están muy poco representadas en comparación con otras, refiriéndonos así a datos multiclase desequilibrados que impiden un óptimo desempeño del clasificador. Los análisis de concordancia ya sea entre un gold estándar (patrón) y un clasificador o a su vez entre dos clasificadores utilizan el índice kappa como elemento de validación que permite realizar una comparación confiable basada en la relación entre la precisión observada y la esperada, demostrando gran sensibilidad para casos desbalanceados. Los métodos bayesianos han ganado terreno especialmente en el área de la salud en la mayoría de cálculos estadísticos, permitiendo a través del teorema de Bayes y la teoría de la decisión generar modelos que adicionen información del fenómeno en la distribución a priori transmitiéndola a la distribución a posteriori con la ayuda de métodos de simulación de cadenas de Markov Monte Carlo (MCMC). Objetivo: Ayudar a solucionar problemas de clasificación multiclase con categorías desequilibradas, los cuales son cada vez más comunes debido a la aparición de nuevos métodos procedentes del campo del aprendizaje automático, poniendo el enfoque en métodos de concordancia con la aplicación de la inferencia estadística. Obteniendo la estimación puntual del parámetro de interés a través de modelos que presenten robustez y exactitud en sucesos con probabilidades extremas, permitiendo la inserción de información en la distribución a priori en forma de probabilidad. Métodos: El trabajo se centra en el diseño de una librería para el lenguaje R llamada K_Freq_Bay, que posee funciones principales y secundarias que permite obtener el análisis frecuentista y bayesiano en problemas de clasificación categóricos multiclase. El enfoque bayesiano trabaja con tres modelos planteados: Dirichlet-Dirichlet, Dirichlet-Multinomial y Beta-Beta. La librería proporciona un informe con las estimaciones del índice kappa y estadísticas básicas en los dos métodos aplicados, gráficas de densidad kappa frecuentista y bayesiano, análisis de convergencia de Gelman Rubin, análisis de estacionariedad de Von Mises y análisis descriptivo de categorías. En la validación de la librería K_Freq_Bay se aplica los tres modelos planteados a simulaciones del gold estándar y tres observadores con cinco categorías y tamaños muestrales de 921 y 9000 con información a priori de prevalencias de clases equiprobables y probabilidades de 0.15,0.40,0.05,0.20,0.20 por clase. El grupo Cellsilab formado por investigadores del Laboratorio CORE del Centro de Diagnóstico Biomédico del Hospital Clínic de Barcelona y del Departamento de Matemáticas de la Universitat Politècnica de Catalunya trabajan en el proyecto de clasificación automática de imágenes digitales de sangre periférica para su aplicación al diagnóstico inicial de leucemias y linfomas. Se aplicó la librería K_Freq_Bay a la base de datos proporcionadas por Cellsilab de 4365 clasificaciones de células leucémicas con cuatro categorías: células reactivas (CLR), células leucémicas linfocíticas agudas (LAL), células leucémicas agudas mieloides (LAM-MIELOIDE) y células leucémicas agudas mieloides promielocítica (LAM-PROMIELOCÍTICA), utilizando algoritmos de aprendizaje supervisado como: Análisis Discriminante Lineal (LDA), Support Vector Machine (SVM) y Random Forest (RF). La información a priori utilizada en los modelos bayesianos fue la equiprobabilidad y la prevalencia de cada tipo de leucemia tanto en el Hospital Clínic como a nivel de España. Resultados y conclusiones: La utilización del índice Kappa para problemas de clasificación multiclase desequilibradas es óptima debido a su diferencia normalizada entre la tasa de acuerdo observada y la que se esperaría puramente por casualidad. Esto se debe a que la precisión esperada posee dependencia frente al número de categorías y su desequilibrio, ya que cuantas más categorías y mayor diferencia en la frecuencia entre clases exista se considera más difícil clasificar correctamente un evento que habitualmente implica valores más bajos de kappa. La aplicación de la libreria K_Freq_Bay a datos simulados y a la clasificación de células leucémicas permitió concluir que el mejor modelo que permite estimar con gran exactitud y robustez el índice kappa bayesiano con tasas de exactitud menores a 1.5% es la asignación de dos distribuciones a priori Dirichlet en casos en los que la información a priori es nula, regular o extrema. Mientras que los otros dos modelos presentan sensibilidad a la inclusión de información a priori extrema generando densidades kappa demasiado leptocúrticas y platicúrticas que demuestran precisión, pero no exactitud. Es importante recalcar que cuanto más específica y extrema fue la información a priori, los modelos mejoraron su exactitud. En el caso de la aplicación en células leucémicas, el análisis del índice kappa se basa en la tabla valorativa de la concordancia de Landis y Koch, mostrando un buen acuerdo entre el gold estándar y los clasificadores LDA y SVM. Por lo tanto, los algoritmos tanto balanceados como desequilibrados clasifican efectivamente las células leucémicas en base a la proximidad con la realidad. La librería diseñada K_Feq_Bay permite realizar pruebas educativas claras y eficaces, ya sea simplemente por simulación de datos o aplicados a una base específica, relacionadas al análisis de concordancia bayesiano y frecuentista para casos multiclase desequilibrados en donde es de gran importancia la interpretación del índice kappa.

[EN] Sentinel-2 (S2), a new ESA satellite for Earth observation, accounts with 13 bands which provide high-quality radiometric images with an excellent spatial resolution (10 and 20 m) ideal for classification purposes. In this paper, two objectives have been addressed: to determine the best classification method for S2, and to quantify its improve-ment with respect to the SPOT operational mission. To do so, four classifiers (LDA, RF, Decision Trees, K-NN) have been selected and applied to two different agricultural areas located in Valencia (Spain) and Buenos Aires (Argentina). All classifiers were tested using, on the one hand, all the S2 bands and, on the other hand, only selecting those bands from S2 closer to the four bands from SPOT. In all the cases, between 10%-50% of samples were used to train the classifier while remaining the rest for validation. As a result, a land use map was generated from the best classifier, according to the Kappa index, providing scientifically relevant information such as the area of each land use class., [ES] Sentinel-2 (S2) es un nuevo satélite de la ESA que cuenta con 13 bandas proporcionando imágenes de alta calidad radiométrica y excelente resolución espacial (10 y 20 m) ideal para trabajos de clasificación. En este trabajo se han abordado dos objetivos: determinar el mejor método de clasificación con S2, y cuantificar su mejora respecto a otras misiones operativas, como SPOT. Para ello se han seleccionado cuatro clasificadores (LDA, RF, Árboles de decisión, K-NN) que se han aplicado en dos zonas agrarias: una en la huerta de Valencia (España) y otra en la región de Buenos Aires (Argentina). Se han probado todos los clasificadores usando, por una parte, todas las bandas de S2, y por otra usando sólo las cuatro que coinciden con SPOT. En todos los casos se han aplicando porcentajes entre el 10 y el 50% de datos de entrenamiento y usado el resto de datos como validación. Como resultado se ha generado un mapa de usos del suelo a partir del mejor clasificador, basándose en el índice Kappa, proporcionando información científicamente relevante como es el área ocupada por cada una de las clases.

Existen diversos estudios que comparan la variabilidad entre diversos intérpretes del electroencefalograma (EEG), sin embargo, ningún trabajo ha evaluado la concordancia en la interpretación entre expertos y no expertos y esta información no está disponible en nuestro país. El objetivo de este trabajo es conocer esta variabilidad al comparar un experto y dos no expertos con entrenamiento básico en neurofisiología y definir si existen diferencias de acuerdo al tiempo de entrenamiento de los no expertos. Para ello cada uno de los intérpretes, con la misma información clínica y posibilidad de reformateo digital de los estudios, leyó 150 EEGs de rutina en mayores de 18 años y clasificó cada estudio en diez posibles categorías. Se encontró que existe un acuerdo moderado {κ 0.43} entre los tres observadores y una tendencia a mejorar la concordancia con el tiempo de entrenamiento en los evaluadores no expertos {κ 0.39, IC 95% 0.31-0.49, p ˂0.05 vs κ 0.51, IC 95% 0.43-0.6, p ˂0.05}. Sin embargo, para algunas categorías diagnósticas como la actividad epileptiforme focal, este grado de concordancia es pobre. A través de este trabajo se muestra que la variabilidad en algunas de las interpretaciones es alta por lo que se hace necesario buscar mecanismos que disminuyan el grado de error en la interpretación. Abstract Several papers have compared the inter rater reliability in the electroencephalogram (EEG) interpretation, however, none of those have acquainted the agreement between expert and non-expert readers. Our objective is to determine the inter rater reliability when comparing an expert and two non-experts readers who received basic training in neurophysiology, also we want to know if the training duration for non-experts influences on the percentage of agreement. In order to obtain that information, each of three raters got the same clinical information and could apply digital reformatting for 150 routine EEG’s done in people over 18 years of age and classified them in 10 possible diagnostic categories. A moderate agreement between raters was found {κ 0.43}, however, for certain diagnostic categories such as focal epileptiform activity that agreement was poor. Also, a better correlation with the expert was found, when comparing the non-expert rater that was trained during prolonged time versus the basically trained rater {κ 0.39, CI 95% 0.31-0.49, p ˂0.05 vs κ 0.51, CI 95% 0.43-0.6, p ˂0.05}. We demonstrated a high inter rater variability with moderate to poor agreements, so we propose the creation of mechanisms to decrease the errors in the interpretation of EEG’s. Otra

El objetivo de este trabajo es evaluar la factibilidad de realizar observaciones directas del consumo de tabaco y del uso del cinturón de seguridad y del teléfono móvil del conductor del vehículo en la ciudad de Barcelona, así como analizar el grado de concordancia entre dos observadores. Se realizaron 315 pares de observaciones. El porcentaje simple de concordancia interobservador de las variables consumo de tabaco del conductor y de los pasajeros fue del 100%, con un índice Kappa de 1,0. También se obtuvo la máxima concordancia interobservador en la medición del uso del teléfono móvil y del número de pasajeros menores de 14 años. La variable con menor concordancia fue la edad del conductor. En conclusión, los estudios mediante observación directa se muestran como un buen recurso para monitorizar el consumo de tabaco, el uso del cinturón de seguridad y el uso del teléfono móvil del conductor del vehículo. The aim of this study was to assess the feasibility of direct observations of smoking and use of seat belts and cell phones in drivers in the city of Barcelona, and to analyze the agreement between two observers. We performed 315 pairs of observations. The simple percentage inter-observer agreement between driver and passenger smoking was 100% with a Kappa coefficient=1.0. There was high inter-observer agreement in measurement of cell phone use and the number of passengers aged less than 14 years old. The variable with the lowest agreement was the driver's age. In conclusion, direct observation studies are a good resource for monitoring smoking and use of seat belts and cell phones in the drivers of motor vehicles.

Antecedentes: En Chile las malformaciones congénitas son la primera causa de mortalidad neonatal precoz, siendo las cardiopatías congénitas su principal factor. La incorporación de la ecocardiografía prenatal es de gran ayuda en su pesquisa precoz. Objetivos: Evaluar la ecocardiografía prenatal como prueba diagnóstica y su concordancia con la ecocardiografía posnatal. Métodos: Se analizaron embarazadas derivadas al Hospital de Niños Dr. Roberto del Río entre abril 2004 y abril 2008, por sospecha de cardiopatías congénitas con posterior control neonatal. Resultados: Se evaluaron 188 embarazadas tanto con diagnóstico de cardiopatía congénita como con ecocardiografía normal. La edad gestacional promedio de derivación fue de 32 semanas, siendo la principal causa la sospecha de cardiopatía congénita en el examen obstétrico de rutina. Como prueba diagnóstica se obtuvo una sensibilidad de 100% y especificidad de 40% con una moderada concordancia entre ésta y el examen postnatal. Como prueba diagnóstica la ecocardiografía prenatal, se obtuvo una sensibilidad de 100% y especificidad de 89% del examen, al ser evaluada como cardiopatías en general, con una muy buena concordancia entre ésta y el examen postnatal. Discusión: Existe una tardía derivación y diagnóstico prenatal de las cardiopatías congénitas a nivel nacional, siendo importante capacitar aún más a los obstetras que realizan este tamizaje. La ecocardiografía prenatal realizada en nuestro centro por cardiólogos es una confiable herramienta diagnóstica con una muy buena concordancia con la ecocardiografía posnatal. Background: In Chile, congenital malformations are the first cause of early neonatal mortality, the congenital heart defects its the main factor. The incorporation of antenatal echocardiography is very helpful in your research early. Objectives: To evalúate prenatal echocardiography as a diagnosis test and their concordance with postnatal echocardiography. Methods: We analyzed pregnancy who were derived to the Hospital de Niños Dr. Roberto del Rio, between April 2004 and April 2008, where studied because suspicion of having congenital heart defects with subsequent neonatal control. Results: 188 pregnancy were evaluated either with a diagnosis of congenital heart defect or with normal echocardiography. The mean gestational age of derivation was 32 weeks, the main causes the suspicion of congenital heart defect on routine obstetric examination. When being studied as diagnosis test it was obtained a sensitivity of 100% and a specificity of 40% with a modérate concordance between both echocardiographies. When analyzing with the diagnosis test prenatal echocardiography, it was obtained a sensitivity of 100% and a specificity of 89% of the review, when evaluated as general heart defect, with a very good concordance between it and the postnatal examination. Discussion: There is a late referral and prenatal diagnosis of congenital heart defect at national level, being important to train obstetricians who perform this screening. Prenatal echocardiography performed by cardiologists at our center is a reliable diagnosis tool with a very good concordance with postnatal echocardiography.

Justificación y objetivo: Analizar concordancia entre la prueba rápida Dengue Duo IgM & IgG® de la casa comercial PanBio®, aplicada en el nivel local de diferentes áreas del país y en el Centro Nacional de Referencia de Virología (CNRV), con resultados obtenidos por MACELISA del CNRV. Métodos: Resultados de 828 determinaciones de IgM dengue por Dengue Duo IgM & IgG® del nivel local y del CNRV se compararon por el índice kappa con los resultados del MAC-ELISA del CNRV. Para verificar el cumplimiento en procedimientos de la casa comercial, se realizó una visita de inspección a los laboratorios y se envió muestras incógnitas para evaluar el desempeño. Resultados: El índice kappa de la prueba rápida en el nivel local contra el MAC-ELISA fue 0,62 (IC 95% 0,55-0,69) y la concordancia de los positivos del 75% (IC 95% 71-79). El índice kappa de la prueba rápida en el CNRV fue 0,81 (IC 95% 0,88-1,74) y la concordancia de los positivos del 93% (IC 95% 90-95). El 100% de los laboratorios mostraron condiciones adecuadas para aplicar esta prueba; su personal fue capacitado, pero la atención de otros análisis dificultó la lectura en el tiempo establecido. La concordancia de las incógnitas fue del 100%. Conclusión: Se evidenció una diferencia significativa en el índice kappa y la concordancia de los positivos, al aplicar la prueba rápida en los laboratorios y en el CNRV, hallazgos que documentan que la descentralización de esta metodología requerirá un acompañamiento que identifique factores causales de discordancia para subsanarlos y promover la generación de resultados consistentes que orienten la toma de decisiones acertadas. Background and aim: To analyze concordance of results obtained using the Dengue Duo IgM &IgG® rapid test (Pan Bio®) applied at the local level in different areas across the country and the MAC ELISA used at National Reference Center for Virology (CNRV) Methodology: The results of 828 dengue tests carried out with the Duo IgM& IgG® (Pan Bio®) at local level and at the CNRV were compared by the kappa index with those obtained with a MAC ELISA test at the CNRV. An inspection visit to participating laboratories was made and unknown samples were sent to evaluate the performance of the participants and to check the fulfillment of the procedures used with the recommendations of the manufacturer. Results: The kappa index of the results of the rapid test used at local level in comparison with the MAC ELISA was 0.62 (CI 95% 90-95); the concordance of the positive samples was 75% (CI 95% 71-79). The kappa index of the rapid test used at the CNRV was 0.81 (CI 95% 0.88- 1.74) and the concordance of the positive samples was 93% (CI 95% 90-95). All laboratories showed ideal facilities to carry out the tests and the staff got the training required; however, the attention to other analyses affected the reading within the time recommended. The concordance of the unknown samples was 100%. Conclusion: A significant difference was demonstrated in the kappa index and the concordance of positive samples between the rapid tests carried out at the participant laboratories and at the CNRV. These results imply that decentralization of this methodology would require continuous support to identify correctable factors of disagreement and to promote the generation of consistent results to orient the decision-making process.

Este artículo valora las diferencias en la medición entre laboratorios de siete biomarcadores de un estudio poblacional de adultos mayores en Costa Rica, denominado CRELES. Usa los datos de ensayos replicados en varios laboratorios para la misma muestra biológica. Encuentra una alta estabilidad (medida por el coeficiente de correlación) para casi todas las pruebas, sin embargo se observan diferencias significativas en los promedios entre laboratorios, es decir existen sesgos en la medición de los biomarcadores. Los sesgos son especialmente grandes para creatinina y hemoglobina glicosilada. Las diferencias observadas entre los distintos laboratorios refuerzan el concepto de la variabilidad dependiente tanto del analito como del paciente y del método de análisis. Dadas las diferencias encontradas se definieron ecuaciones para ajustar los datos emitidos por dos laboratorios con el fin de que sean comparables con un tercer laboratorio usado como referencia. Las dicotomías en riesgo o no derivadas de los resultados de laboratorio luego del ajuste, no presentan diferencias entre laboratorios.

La enfermedad de Chagas constituye un problema de salud pública, particularmente en la región oriental de Colombia. Debido a la migración de la población de las áreas rurales hacia los centros urbanos, la transmisión transfusional se torna cada vez mayor. Sin embargo, esto puede prevenirse mediante pruebas serológicas de tamizaje adecuadas. Puesto que los bancos de sangre nacionales utilizan pruebas comerciales extranjeras, se decidió comparar, en un estudio preliminar, las pruebas de inmunofluorescencia indirecta (IFI) y ensayo inmunoenzimático (ELISA) que utilizan cepas colombianas como antígeno, con la prueba comercial Chagatek ®. Los sueros de los donantes se clasificaron en dos grupos, de acuerdo con el resultado de la prueba de IFI, así: grupo I, 15 pacientes positivos, y grupo II, 14 pacientes negativos. A los sueros de ambos grupos se les realizó tanto la prueba de ELISA como la prueba Chagatek ®; se encontró que la prueba de ELISA detectó como positivos el 100% de los pacientes del grupo I y el 7 % (1/14) del grupo II. Por su parte, la prueba de Chagatek ® detectó como positivos el 93% (14/15) de los pacientes del grupo I y el 50% (7/14) del grupo II. Adicionalmente, se encontró que el índice kappa de concordancia entre la prueba de ELISA y el IFI fue de 0,93 (IC95%: 0,8-1), mientras que para las pruebas de IFI y Chagatek ® fue de 0,43 (IC95%: 0,26-0,62) y para las pruebas de ELISA y Chagatek ® de 0,49 (IC95%: 0,31- 0,67). Dados estos resultados, se recomienda evaluar el uso de una prueba de tamizaje nacional que utilice antígenos colombianos. Chagas disease is a public health problem in Colombia, particularly in the eastern region. Because of human migration from rural areas to urban centers, the possibility of transfusional transmission becomes increasingly important. However the risk can be minimized by a careful screening of blood donors by means of serological tests. Colombian blood banks use comercial, foreign serological tests for screening for T. cruzi infection. The purpose of the current study was to compare the IFAT and ELISA tests (both use antigen obtained from Colombian strains) with the comercially available Chagatek® tests. Sera of blood donors were classified in two groups on the basis of the IFAT: group I, 15 positive patients and group II, 14 negative patients. Sera from each group were tested by the ELISA and Chagatek® tests. The ELISA test detected 100% of the patients as positive in group I and 7% (1/14) of patients as positive in group II. The Chagatek® test detected 93% (14/15) of the patients as positive in group I and 50% (7/14) in group II. The kappa index for concordance between the ELISA and IFAT tests was 0.93 (95% C.I.: 0.80-1.00); between IFAT and Chagatek® 0.43 (95% C.I.: 0.26- 0.62), and between ELISA and Chagatek® 0.49 (95% C.I.: 0.31-0.67). These results highlighted the importance of using autochtonous Colombian strains as antigens in screening tests for blood donors.