Search

En aquest article es presenta l'experiència pràctica de l'avaluació de la recerca en l'àmbit d'humanitats que fa l'Agència per a la Qualitat del Sistema Universitari de Catalunya de les persones candidates a ser professors universitaris que demanen una acreditació prèvia de la seva trajectòria acadèmica. L'objectiu de l'article és explicar les característiques d'aquests processos d'acreditació, amb un èmfasi especial en el cas concret de les disciplines de caràcter humanístic, en què s'observen elements singulars respecte d'altres àmbits científics que hi afegeixen una complexitat més gran. En aquest sentit, el fet que les avaluacions siguin indirectes, a partir dels indicis de qualitat de les publicacions científiques en què es publica la recerca, condiciona enormement els processos d'avaluació. Així, tenint present les recents aportacions metodològiques sobre l'avaluació de la recerca, com per exemple el Manifest de Leiden o la Declaració de San Francisco, es conclou la necessitat d'evitar aproximacions merament quantitatives, de forma que l'avaluació sigui respectuosa amb la comunitat d'investigadors d'humanitats, que, d'altra banda, debat la millor manera d'abordar l'avaluació de la seva activitat de recerca., This article describes the practical aspects of the evaluation undertaken by the Catalan University Quality Assurance Agency (Agència per a la Qualitat del Sistema Universitari de Catalunya, AQU Catalunya) of candidate university lecturers in humanities whose academic profile needs to be accredited. The article describes the features of the accreditation process in general and the evaluation of humanities research in particular, which is more complex than it is with other types of research because of certain aspects: for example, the fact that the evaluations are indirect and use the quality indicators of scientific journals that publish such research, which conditions the accreditation process in important ways. In consideration of the recent methodological contributions to evaluating research made by the Leiden Manifesto and the San Francisco Declaration, the article concludes that evaluators need to avoid exclusively quantitative approaches to their assessment of humanities research, which should be respectful of this research community, and that further debate is needed on the best approaches to the task at hand., En este artículo se presenta la experiencia práctica de evaluación de la investigación en el ámbito de humanidades que realiza la Agència per a la Qualitat del Sistema Universitari de Catalunya de las persones candidatas a ser profesores universitarios que solicitan una acreditación previa de su trayectoria académica. El objetivo del artículo es explicar las características de estos procesos de acreditación, haciendo énfasis especial en el caso concreto de las disciplinas de carácter humanístico, en las que se observan elementos singulares respecto otros ámbitos científicos que añaden una mayor complejidad. En este sentido, al ser las evaluaciones indirectas, a partir de los indicios de calidad de las publicaciones científicas donde se publica la investigación, esto condiciona enormemente los procesos de evaluación. Así, teniendo en cuenta las recientes aportaciones metodológicas sobre la evaluación de la investigación, como por ejemplo el Manifiesto de Leiden o la Declaración de San Francisco, se concluye la necesidad de evitar aproximaciones meramente cuantitativas, de forma que la evaluación sea respetuosa con la comunidad de investigadores en humanidades, que, por otro lado, debate la mejor manera de abordar la evaluación de su actividad de investigación.

En aquest monogràfic hem convidat contribucions per a reflexionar sobre els reptes plantejats en la comunicació científica en espais temàtics, geogràfics, socials o idiomàtics que són percebuts com a perifèrics en recerca, com ara el turisme, l'esport o les humanitats, o les llengües minoritàries. Els articles exploren els canvis en l'ús d'indicadors en avaluació, les transformacions vers la ciència oberta i la (re)valorització de la contribució social, la comunicació científica en aquests àmbits locals i professionals, i les inèrcies de marcs culturals i administratius davant aquests canvis., The articles in this monograph reflect on the challenges facing scientific communication when the subject in general or its particular geographic, social or language focus are perceived as peripheral in research, as is the case with tourism, sport, the humanities or minority languages. The articles explore the changes in the way indicators are being used to evaluate this research, the transition towards an open science system and the (re)valorisation of the social contribution, scientific communication in these local and professional areas and finally the ways that cultural and governmental infrastructures fail to respond to these changes., En este monográfico disponemos de contribuciones que sirven para reflexionar sobre los retos que se plantean en la comunicación científica en espacios temáticos, geográficos, sociales o idiomáticos que son percibidos como periféricos en investigación, como el turismo, el deporte o las humanidades, o las lenguas minoritarias. Los artículos exploran los cambios en el uso de indicadores en evaluación, las transformaciones hacia la ciencia abierta y la (re)valorización de la contribución social, la comunicación científica en estos ámbitos locales y profesionales, y las inercias de marcos culturales y administrativos ante estos cambios.

Objectius: saber l'opinió del personal docent i investigador de Ciències de l'Activitat Física i de l'Esport sobre: a) els criteris i productes d'avaluació d'articles científics més ben valorats, i b) les revistes nacionals i internacionals més prestigioses. Han format la mostra cent seixanta-tres professors universitaris que impartien classes en el grau de Ciències de l'Activitat Física i de l'Esport en el curs 2013–2014, dels quals vint-i-quatre són avaluadors d'alguna agència d'avaluació i cent trenta-nou no formen part de cap agència d'avaluació.Metodologia: l'instrument que s'ha utilitzat ha estat l'apartat d'articles i revistes del "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD).Resultats: destaca la importància que tenen els criteris i productes d'avaluació d'articles científics del Journal citation reports i de Scopus com els dos més importants, i de les revistes Apunts i Revista de psicología del deporte com a revistes espanyoles més importants. D'altra banda, com a revistes internacionals més importants, les més triades han estat Journal of sport science i Sport medicine. Aquests resultats poden tenir una gran importància en la valoració de les publicacions científiques. Es podran avaluar les sol·licituds per a les acreditacions tenint en compte les classificacions de les revistes específiques de ciències de l'esport., Objectives: To learn the opinion of university lecturers and researchers of physical activity and sport sciences on the subject of: a) the best criteria and products for evaluating scientific articles; and b) the best national and international scientific journals. The study used a sample of 163 lecturers teaching the Bachelor’s Degree in Physical Activity and Sport Sciences during the academic year 2013–2014. Twenty-four of the lecturers were evaluators working for an evaluation agency and 139 did not work for any agency.Methodology: The instrument used was the article and journal section of the Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte (Questionnaire on the quality evaluation criteria employed by university lecturers and researchers of the Bachelor’s Degree in Physical Activity and Sport Sciences, CPDI-CAFD).Results: The criteria and evaluation products offered by Journal Citation Reports and Scopus were considered to be particularly important. The most highly valued Spanish journals were Apunts and Revista de Psicología del Deporte, while the most highly valued international publications were Journal of Sports Science and Sports Medicine. These results can be especially important for evaluating scientific publications. The applications for accreditations can be evaluated taking into account the classifications of specific sport science journals., Objetivos: conocer la opinión del personal docente e investigador de Ciencias de la Actividad Física y del Deporte sobre: a) criterios y productos de evaluación de artículos científicos mejor valorados, y b) las revistas nacionales e internacionales más prestigiosas. La muestra estuvo formada por ciento sesenta y tres profesores universitarios que daban clase en el grado de Ciencias de la Actividad Física y del Deporte en el curso 2013–2014, de los cuales, veinticuatro son evaluadores de alguna agencia de evaluación y ciento treinta y nueve profesores no forman parte de ninguna agencia de evaluación.Metodología: el instrumento utilizado fue el apartado de artículos y revistas del "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD).Resultados: destaca la importancia de los criterios y productos de evaluación de artículos científicos del Journal citation reports y Scopus como los dos más importantes, y de las revistas Apunts y Revista de psicología del deporte como revistas españolas más importantes. Por otro lado, como revistas internacionales más importantes, las más elegidas fueron Journal of sport science y Sport medicine. Estos resultados pueden ser de gran importancia en la valoración de las publicaciones científicas. Se podrán evaluar las solicitudes para las distintas acreditaciones teniendo en cuenta las clasificaciones de las revistas específicas de ciencias del deporte.

Objectiu: Analitzar la influència dels criteris d'avaluació en el perfil de publicació dels investigadors de turisme.Metodologia: Anàlisi dels criteris d'avaluació de la producció científica de l’àrea d'administració, ciències comptables i turisme, dirigida per la CAPES, basant-se en els documents d'àrea i en la llista de revistes classificades, i del perfil de publicació, mitjançant els currículums Lattes dels investigadors dels programes de postgrau de l'àrea de turisme.Resultats: Els resultats indiquen que els criteris d'avaluació de revistes d'administració, ciències comptables i turisme es van tornar més dependents del factor d'impacte JCR entre els triennis analitzats. La determinació de criteris basats en aquest indicador reforça l'hegemonia de grans editorials comercials, a més de fer que les revistes d'administració predominin en els estrats més alts. El perfil de publicació dels investigadors de turisme va mostrar, en primer lloc, que el 61,2 % de la seva producció té lloc en revistes de la pròpia àrea, prop de 2/3 de la qual, en revistes nacionals; en segon, que es concentra entre els estrats A2 a B3, i, en tercer, que quan publiquen en revistes estrangeres opten per l'idioma espanyol, seguit del portuguès. Comencen a publicar en revistes d'administració i ciències comptables a partir del 2013, amb predomini de l'anglès; la primera publicació en l'estrat A1 té lloc en una revista de l'àrea d'administració, l'any 2014., Objective: To analyze the influence of the evaluation criteria in the publishing profile of the Tourism researchers.Methodology: Analysis of the journal evaluation criteria of Administration, Accounting and Tourism area, carried out by CAPES, based on the area documents and the list of classified journals; and of the publishing profile, through Lattes curricula of the researchers of the Tourism postgraduate programs.Results: The results show that the journal evaluation criteria applied by Administration, Accounting and Tourism increases its dependency of JCR Impact Factor between the triennia analyzed. The definition of criteria based in this indicator reinforces the hegemony of major for-profit publishers, besides making journals of Administration predominate in the higher strata. The publishing profile of Tourism researchers showed that: 61.2 % of their production occurs in periodicals of the area itself; being about 2/3 of this in domestic journals; besides being concentrated between strata A2 to B3; and when publishing in foreign journals the Spanish language is prevalent, followed by Portuguese. They begin to publish in Administration and Accounting periodicals from 2013, predominating the English language; a first publication in stratum A1 occurs in a journal of the Administration area, in the year 2014., Objetivo: Analizar la influencia de los criterios de evaluación en el perfil de publicación de los investigadores de turismo.Metodología: Análisis de los criterios de evaluación de la producción científica del área de administración, ciencias contables y turismo, dirigida por la CAPES, basándose en los documentos de área y en la lista de revistas clasificadas, y del perfil de publicación, mediante los currículos Lattes los investigadores de los programas de postgrado del área de turismo.Resultados: Los resultados indican que los criterios de evaluación de revistas de administración, ciencias contables y turismo se volvieron más dependientes del factor de impacto JCR entre los trienios analizados. La determinación de criterios basados ​​en este indicador refuerza la hegemonía de grandes editoriales comerciales, además de hacer que las revistas de administración predominen en los estratos más altos. El perfil de publicación de los investigadores de turismo mostró, en primer lugar, que el 61,2 % de su producción tiene lugar en revistas de la propia área, cerca de 2/3 de ésta en revistas nacionales; en segundo, que se concentra entre los estratos A2 a B3, y, en tercero, que cuando publican en revistas extranjeras optan por el idioma español, seguido del portugués. Empiezan a publicar en revistas de administración y ciencias contables a partir del 2013, con predominio del inglés; la primera publicación en el estrato A1 tiene lugar en una revista del área de administración, en el año 2014.

[EN]: The spread of bibliometric indicators in research evaluation and policy has been accompanied by an increasing realisation that indicators' use is often problematic and/or inappropriate. In this article, we propose a parsimonious framework to analyse the conditions under which the use of indicators become problematic. We propose that indicators' use in evaluation can breakdown for three reasons. First, because the parameters of the models linking properties and indicators are unstable and, as a consequence, indicators cannot be compared across spaces or time. Second, because the underlying models are incorrect. Third, because the property of the indicator is irrelevant for the issue examined. This framework can be particularly helpful in fostering an understanding of the problems of conventional indicators in "peripheral" spaces - i.e. in geographical, linguistic or disciplinary areas that are in the margins of the science system., [ES]: La generalización de los indicadores bibliométricos en la evaluación de la investigación y en el diseño de políticas ha ido acompañada de una percepción cada vez más generalizada según la cual el uso de estas herramientas a menudo es problemático o inapropiado. En este artículo presentamos un marco sencillo que permite analizar las condiciones en las que el uso de indicadores como método de evaluación puede fallar. Los motivos de estos errores pueden ser tres. En primer lugar, puede ocurrir que los parámetros de los modelos que relacionan las propiedades y los indicadores sean inestables y, por lo tanto, que los indicadores no sean comparables en el tiempo o en el espacio. En segundo lugar, puede pasar que los modelos empleados sean incorrectos. Finalmente, puede suceder que la propiedad del indicador sea irrelevante en relación con el objeto de estudio. Este marco que proponemos puede resultar especialmente útil para comprender los problemas que representa el uso de indicadores convencionales en espacios “periféricos”, es decir, en áreas geográficas, lenguas o disciplinas que se sitúan en los márgenes del sistema científico., [CAT]: La generalització dels indicadors bibliomètrics en l’avaluació de la recerca i en el disseny de polítiques ha anat acompanyada d’una percepció cada cop més estesa segons la qual l’ús d’aquestes eines sovint és problemàtic o inapropiat. En aquest article presentem un marc senzill que permet analitzar les condicions en què l’ús d’indicadors com a mètode d’avaluació pot fallar. Els motius d’aquests errors poden ser tres. En primer terme, pot ser que els paràmetres dels models que relacionen les propietats i els indicadors siguin inestables i, per tant, que els indicadors no siguin comparables en el temps o en l’espai. En segon lloc, pot ser que els models emprats siguin incorrectes. Finalment, pot ser que la propietat de l’indicador sigui irrellevant en relació amb l’objecte d’estudi. Aquest marc que proposem pot resultar especialment útil per a comprendre els problemes que representa l’ús d’indicadors convencionals en espais “perifèrics”, és a dir, en àrees geogràfiques, llengües o disciplines que se situen en els marges del sistema científic.

Balanced multilingualism in science In this paper, I propose balanced multilingualism as a useful concept for governing the tensions between strategies for internationalization and excellence in research on the one hand and strategies for promoting societal relevance, responsibility and impact of research on the other. I demonstrate that balanced multilingualism can be a dynamic and empirically based concept with which it will be possible to promote both types of strategies at the same time. The concept is first introduced in relation to some main research policies and instruments of the European Union (The European Research Area; The European Research Council; Responsible Research and Innovation; Open Science; Citizen Science) and to the situation in Morocco as it was mirrored and discussed at the international conference on Research Evaluation: Issues, methods and tools in Rabat in December 2017. Then follows two examples of how the concept of balanced bilingualism has already influenced policies for research funding and scholarly publishing in Norway. I conclude with a summary of the requirements for making use of the concept to align policies for international excellence and societal responsibility in research.

El present treball és una contribució a l'anàlisi de la producció científica en l'àmbit d'estudi de la literatura catalana, així com a l'ús científic que es realitza de tal producció. La primera part està dedicada a establir el marc teòric i els paràmetres en què s'ha de moure la bibliometria en l'àmbit d'humanitats i més concretament, dins de l'àrea de la filologia catalana. La fase d'aplicació pràctica es basa en la recollida de tres tipus de dades de fonts ben diferents. D'una banda, les referències que inclouen les publicacions científiques dins de la subàrea de literatura catalana. En segon terme, referències sobre treballs d'obres i autors literaris catalans que figuren en la base de dades internacional d'art i humanitats Arts and Humanities Citation Index de Thomson Scientific. Finalment, registres de les tesis doctorals i dels membres dels tribunals de lectura sobre literatura catalana segons la base de dades TESEO de dissertacions doctorals d'universitats espanyoles.Aquestes dades, convenientment sistematitzades, serveixen per fer-ne l'estudi bibliomètric i de xarxes socials a partir d'eines matemàtiques escaients; i extreure'n conclusions sobre el tipus de producció que es desenvolupa, l'ús que en fa la comunitat científica i algunes de les relacions que s'estableixen entre els seus membres., This work is focused on scientific output in Catalan literature as well as its consume into scholar scope. Firsts sections establish a general framework for bibliomètrics analysis in disciplines of humanities and, more specifically, in Catalan literary studies. The experimental phase acquires data from three different sources. First, references included in journals of Catalan literature. Another source are references from "Arts and Humanities Citation Index" about studies of writers and works. Finally, bibliographic records of doctoral dissertations from TESEO data base. These data sets enable to do bibliomètric and social network analysis.

Defensa dels mèrits d'Eugene Garfield en ocasió de l'atorgament del grau acadèmic de Doctor Honoris Causa per la Universitat de Barcelona pronunciat per Cristóbal Urbano, professor de la Facultat de Biblioteconomia i Documentació, en la cerimònia que va tenir lloc el 14 de juny de 2016 al paranimf de l'edifici històric d'aquesta universitat.