Comparison of COVID-19 and non-COVID-19 papers

Objective: The need to generate evidence related to COVID-19, the acceleration of publication and peer-review process and the competition between journals may have influenced the quality of COVID-19 papers. Our objective was to compare the characteristics of COVID-19 papers against those of non-COVID-19 papers and identify the variables in which they differ. Method: We conducted a journal-matched case-control study. Cases were COVID-19 papers and controls were non-COVID-19 papers published between March 2020 and January 2021. Journals belonging to five different Journal Citations Reports categories were selected. Within each selected journal, a COVID-19 paper (where there was one) and another non-COVID-19 paper were selected. Conditional logistic regression models were fitted. Results: We included 81 COVID-19 and 143 non-COVID-19 papers. Descriptive observational studies and analytical observational studies had, respectively, a 55-fold (odds ratio [OR]: 55.12; 95% confidence interval [95%CI]: 7.41-409.84) and 19-fold (OR: 19.28; 95%CI: 3.09-120.31) higher likelihood of being COVID-19 papers, respectively, and also a higher probability of having a smaller sample size (OR: 7.15; 95%CI: 2.33-21.94). COVID-19 papers had a higher probability of being cited since their publication (OR: 4.97; 95%CI: 1.63-15.10). Conclusions: The characteristics of COVID-19 papers differed from those of non-COVID-19 papers published in the first months of the pandemic. In order to ensure the publication of good scientific evidence the quality of COVID-19-papers should be preserved. Resumen: Objetivo: La necesidad de generar evidencia relacionada con la COVID-19, la aceleración del proceso de revisión por pares y publicación, y la competencia entre revistas, pueden haber influido en la calidad de los artículos sobre la COVID-19. El objetivo fue comparar las características de los artículos sobre la COVID-19 con las de los artículos no COVID-19 e identificar las variables en las que difieren. Método: Se realizó un estudio de casos y controles emparejados por revista. Los casos eran artículos COVID-19 y los controles eran artículos no COVID-19 publicados en el mismo periodo. Se seleccionaron revistas pertenecientes a cinco categorías diferentes del Journal Citations Reports. Dentro de cada revista seleccionada, se escogió un artículo COVID-19 (cuando había uno) y otro artículo no COVID-19. Se ajustaron modelos de regresión logística condicional. Resultados: Se incluyeron 81 artículos COVID-19 y 143 artículos no COVID-19. Los estudios observacionales descriptivos y los estudios observacionales analíticos tenían, respectivamente, una probabilidad 55 veces mayor (odds ratio [OR]: 55,12; intervalo de confianza del 95% [IC95%]: 7,41-409,84) y 19 veces mayor (OR: 19,28; IC95%: 3,09-120,31) de ser artículos COVID-19 y de tener un tamaño de muestra menor (OR: 7,15; IC95%: 2,33-21,94). Los artículos más citados desde su publicación tenían 5 veces más probabilidades de ser artículos COVID-19 (OR: 4,97; IC95%: 1,63-15,10). Conclusiones: Los artículos COVID-19 parecen tener mayor impacto bibliométrico, a pesar de tener menor calidad metodológica. Para asegurar la publicación de buena evidencia científica se debe preservar la calidad de los artículos relacionados con la COVID-19.