Search

Version française en fichier complémentaire.; Supplementary material for the paper "Bibliometric delineation of scientific fields" to be published in Springer Handbook of quantitative Science and Technology Research 2018 edition, Wolfgang Glänzel editor

Version française en fichier complémentaire.; Supplementary material for the paper "Bibliometric delineation of scientific fields" to be published in Springer Handbook of quantitative Science and Technology Research 2018 edition, Wolfgang Glänzel editor

Critique d'ouvrage : Les Dérives de l’Évaluation de la Recherche: du bon usage de la bibliométrie (The Excesses of Research Evaluation: The Proper Use of Bibliometrics). Yves Gingras. Paris: Raisons d’Agir Editions, 2014). (ISBN: 978-2-912107-75-6)

The volume of scientific literature increases by a few million articles each year. The “publish or perish” requirement or its “publish, be cited or perish”, variant accelerates the growth of this collective memory, available in condensed or complete form in specialized databases and web engines. The explicit or implicit networks revealed by articles’ data are exploited by social sciences – scientometrics, economics and sociology – and also instrumented in research evaluation. Scientometric indicators result from elaborations on these data, with various operations : counting options ; normalisation per/by field or type of research ; type of indicator ; economic valuing ; composite indicators schemes... Here we focus on a particular weighting of the citation network. Midway between the classical normalization techniques, and the recursive influence measures of Pagerank type, it introduces a new family of normalization and a general tool to measure citation exchanges, a proxy of knowledge flows., Le volume d’articles scientifiques publiés augmente de quelques millions par an. L’impératif « publier ou périr » – ou sa variante « publier, être cité ou périr » – accélère le rythme de croissance de cette mémoire collective, accessible sous une forme condensée ou in extenso dans les bases de données spécialisées ou les moteurs en ligne. Les réseaux explicitement ou implicitement révélés par les données d’articles sont exploités par les sciences sociales – scientométrie, économie et sociologie – mais aussi instrumentés par l’évaluation de la recherche. Les indicateurs scientométriques résultent d’élaborations de ces données de base, avec diverses opérations : sélection des données pertinentes, comptage selon diverses options, normalisation par champ ou type de recherche, type d’indicateur, valuation économique, schémas d’indicateurs composites... Nous nous concentrons ici sur une pondération particulière du réseau de citations. Entre les techniques classiques et les mesures récursives d’influence, elle introduit une nouvelle méthode de normalisation rendant comparables, dans un sens précis, les citations de différents champs scientifiques. Plus généralement, elle offre une mesure simple et performante des échanges de citations, indicatifs des flux de connaissance.

17 pages; National audience; Alors que les méthodes d'analyse multidimensionnelles habituelles considèrent les objets étudiés sous un seul point de vue, nous présentons ici une exploration méthodologique autour de la prise en compte de points de vue multiples, dans le prolongement d'une étude précédente de 4 années de nanosciences sur le WoS. Nous avons utilisé une méthode hybride entre clustering et décomposition matricielle pour comparer deux partitions des articles, l'une, lexicale, à partir de l'extraction de termes simples et composés, l'autre à partir des citations émises. Méthode qui nous a permis de placer les clusters des deux types dans un espace commun, et de conclure en présentant son apport par rapport à nos résultats antérieurs.

A new family of citation normalization methods appeared recently, in addition to the classical methods of ‘‘cited-side’’ normalization and the iterative measures of intellectual influence in the wake of Pinski and Narin influence weights. These methods have a quite global scope in citation analysis but were first applied to the journal impact, in the experimental Audience Factor (AF) and the Scopus Source-Normalized Impact per Paper (SNIP). Analyzing some properties of the Garfield’s Journal Impact Factor, this note highlights the rationale of citing-side (or source-level, fractional citation, ex ante) normalization.; Une nouvelle approche de la normalisation des citations par domaines scientifiques est apparue récemment, à côtés des méthodes classiques "côté cité" et des mesures itératives d'influence intellectuelle dans le sillage des "influence weights" de Pinski et Narin. La nouvelle famille de méthodes a un spectre d'application couvrant toute analyse de citation mais a d'abord été appliquée à l'impact des journaux, avec le "facteur d'audience" expérimental et le "Source-Normalized Impact per Paper" (SNIP) de Scopus. Analysant certaines propriétés du Facteur d'Impact de Garfield, cette étude met en lumière le contexte et le principe de la normalisation "côté citant" (ou niveau source, par citations fractionnées, ex ante).

Interest is rising for alterative impact measures derived from Garfield's Journal Impact Factor (JIF). Those new measures cope with the diversity of scientific practices across areas and/or with chains of knowledge circulation. In additional to classical ex-post normalization based on statistical standardization field by field, mostly on the basis of predefined fields such as Thomson Reuter's "subject categories", two alternative families of measures have appeared. The first family builds on the classical "journal influence weight" of Pinski &Narin (1976), one of the forerunners of Google algorithms which in turn triggered new approaches of influence chains. The principle is to weight iteratively emitted citations by the impact of the source. Bergström's Journal Eigenfactor (2007) based on Thomson data, challenged by Scimago (de Moya-Anegon) based on Scopus are the best known examples. Depending on the settings, those measures can address two issues simultaneously, the variability of citing practices across areas and the chains of prestige. The second family, citing-side normalization, appeared recently with the Audience factor (Zitt & Small, 2008; Zitt, 2010) and then the SNIP (Moed, 2009-2010). They only aim only at correcting the measures of impact for the variability of citing practices typically with a choice of classification-free measure.

International audience; Les partitions d'ensembles de textes peuvent être d'origine endogène - provenir d'une classification non supervisée - ou exogène, par catégorisation a priori des textes par des experts. Dans les deux cas se pose la question du caractère généralisable des catégories qu'elles expriment. Dans le cadre de la recherche d'une meilleure catégorisation des domaines scientifiques, et à partir d'un extrait significatif de la base de référence Web of Science, nous avons appliqué la méthodologie classique de l'apprentissage automatique (sous-corpus distincts: apprentissage, ajustement, test) à une partition non supervisée du domaine de la génomique. Les résultats sur cet ensemble de 120 000 résumés d'articles font la preuve d'une qualité et d'une robustesse accrues quand on caractérise chaque partition, plutôt que par de simples termes, par des motifs de termes. Ces motifs spécifiques de chaque catégorie sont extraits par notre méthode Midova de sélection et détermination de liaisons complexes entre variables booléennes par "pulvérisation" des effectifs impliqués dans chaque relation n-aire.

We present two families of indicators based on measures of actors' activity in classes of citation scores, namely quantile classes or ranks of citations defined by a global reference - by default, the world. Those "activity index in citation classes" (direct: AIC; cumulative: AICC) are versatile indicators which can emulate relative citation measures (structural vs. normalized indexes, levels of normalization). Analytical scrutiny of the profile at any level (nations, institutions) confirms the necessity of discarding the low-cited tail for evaluative indicators. Global profile characterization may use parametric or non-parametric techniques. Our focus here is on the average position in highly cited classes, and on scores reflecting the over-rankings comparisons between actors in the upper part of the profile. Examples are given at the national and institutional level, primarily on "performance indicators" based on AICC, akin to relative impact, and also including an extension to a "power indicator" (size-depending): the "market share" of citations., Cette communication présente deux familles d'indicateurs fondés sur la mesure de l'activité des acteurs dans des classes de citations, en l'occurrence des quantiles ou rangs définis par rapport à une référence globale : par défaut le monde. Ces "indices d'activité dans les classes de citation" (directs: AIC; cumulés: AICC) sont des indicateurs flexibles qui peuvent émuler diverses mesures de citation (index structurels ou normalisés par champ, avec divers niveaux de définition des champs). L'observation visuelle des profils à tous niveaux (pays, institutions) confirme la nécessité de tronquer la queue de distribution pour les indicateurs d'évaluation. La caractérisation du profil peut se faire sur des techniques paramétriques ou non paramétriques. On se concentre ici sur la position moyenne dans les classes les plus citées et sur scores basés sur la comparaison deux à deux des acteurs dans la partie utile du profil. Des exemples sont données au niveau national et institutionnel, en privilégiant les "indicateurs de performance" dérivés de l'AICC, proches des mesures d'"impact relatif", avec une extension possible aux "indicateurs de puissance" (dépendant de la taille), comme les parts de marché de citations.

Mapping of scientific areas for monitoring purposes is an active subfield of bibliometrics. Basic tools go back to the sixties and seventies. In recent years, visualization techniques and hybrid approaches associating especially lexical and citation-based analysis have been developed. Hybrid mapping comparing and combining these techniques is applied here on a field of science, the nanosciences. Results show a pretty good convergence between the two methods, a strong argument in favor of the robustness of scientometric mapping. However, the two approahces are not substitutable, informetric properties and network logics remaining different., La cartographie des domaines scientifiques pour l'analyse stratégique est un champ très actif en bibliométrie. Les outils classiques remontent aux années soixante et soixante-dix. Dans la période récente des techniques de visualisation et des approches hybrides ont été développées, en particulier l' association d'analyses lexicologiques et citationnistes. Une méthode hybride comparant et combinant ces approches est présentée avec une application au domaine des nanosciences. Les résultats montrent une convergence notable des deux approches, un argument fort en faveur de la robustesse des cartographies scientifiques fondées sur les deux types de réseau, sans toutefois conclure à leur substituabilité, les propriétés infométriques et la logique des deux réseaux restant différentes.

International audience; Introduction: hybrid word-citation mapping. Methods along two tracks : 1) citation clustering, word clustering, 2) seriation/ matrix reordering. Results on nanosciences data.

A particular feature of impact factor is it sensitivity to the field effects. The level of impact factor in a closed field is dependent on the citing behavior in the field (average number of references, immediacy of referencing) and growth rate. If the field exchanges citations with other fields, which is the rule in practice, the impact factor is modulated by the import-export of citations. The usual means to equalize conditions amongst fields is the radical ex-post normalization, using either the cardinal way (e.g. centered to the mean) or the ordinal way. This normalization is efficient but of course does not account for import/export of citation, and is moreover dependent on the field breakdown. New proposals for impact measures, address the issue of referencing practices but may introduce, at least in the typical implementations, a Matthew effect enhancement already present in above-mentioned "influence" weights. In our proposal, the "audience factor", we explore a modified version of the standard impact factor which corrects for the variations of citing behavior and immediacy amongst fields, while fully reflecting the imports/exports of knowledge as far as they are mirrored by exchanges of citations. No enhancement of Matthew effect is introduced., Une des caractéristiques du "facteur d'impact" est sa sensibilité aux effets de champs disciplinaires. Le niveau du facteur d'impact dans un champ scientifique fermé dépend du comportement de citations dans ce champ (nombre moyen de références citées, immediateté de ces références) et du taux de croissance. Si le champ échange des citations avec d'autres champs, ce qui est en pratique le cas, le facteur d'impact est modulé par l'import-export de citations. La solution habituelle pour corriger ces différences entre champs est la normalisation ex-post, par une méthode cardinale (par exemple centrage sur la moyenne) ou ordinale. Cette normalisation est efficace mais ne rend pas compte des échanges de citations entre champs, et dépend de la nomenclature utilisée pour les champs disciplinaires. De nouvelles mesures d'impact ont été récemment proposées. Elles traitent le problème des pratiques de référencement, mais peuvent introduire, au moins dans leurs implémentations typiques, un renforcement de "l'effet St Matthieu" déjà présent dans le "facteur d'influence" (influence weight). Dans notre expérimentation, nous explorons une version modifiée du facteur d'impact standard, le "facteur d'audience". Il redresse les variations inter-champs du comportement de citation et d'immédiateté, tout en reflétant les imports/exports de connaissance, dans la mesure où ceux-ci se traduisent par des échanges de citations. La méthode ne renforce pas "l'effet St Matthieu".

In advanced methods of delineation/ mapping, hybrid methods appear as a promising path to capitalize the advantages of approaches based on either words or citations. A way to validate perspectives opened by hybrid approaches for delineation and mapping is co-working with experts in particular fields. We report here an experiment in the field of genomics. The corpus of scientific publications is built for the needs of economists wishing to test hypotheses on science networks and science-technology relationships. We applied a hybrid method of delineation, followed by a clustering stage to identify research themes. Experts from the field were associated in the various stages of the process: lexical queries for the first seed, citation expansion aiming at reducing silence, final clustering to identify noise and discuss border areas. The analysis of experts' advices show a high level of validation of the citation extension method., Parmi les méthodes de délimitation/cartographie des champs scientifiques, les méthodes hybrides constituent une voie prometteuse pour capitaliser les avantages des approches lexicologiques et citationnistes. Pour valider ces perspectives, le recours à des experts du domaine est une voie utile. La communication présente une expérimentation dans le champ de la génomique. Le corpus de publications scientifiques est constitué pour les besoins d'économistes travaillant sur les réseaux scientifiques et les relations science-technologie. On applique une méthode hybride de délimitation, suivie par une étape de classification pour identifier les thèmes de recherche. Les experts du champ ont été associés aux différents stades du procesus ; requêtes lexicales pour le noyau initial, extension par les citations pour réduire le "silence", clustering final pour identifier le "bruit" et examiner les zones frontières. L'analyse des avis d'experts conclut à la validation de la méthode d"extension citationniste testée.

Quantitative approaches of science and technology outputs and networks, scientometrics and bibliometrics, are confronted at the same time to a strong development of the demand for indicators (in evaluation of research, economics of sciences and innovation) and to new forms of supply (sources and statistics on the scientific publications; Internet developments and on-line tools). This situation opens contrasted prospects, on the one hand spectacular "hit-parades" and a certain frenzy of figures, on the other hand elaborate and careful systems of evaluation, anchored in a better understanding of the scientific system diversity and dynamics. This article outlines some of the challenges met by the scientometric indicators: data demining, knowledge flow measurement and diversity issues. However, the caution in the design of indicators does not prevent misuses., La scientométrie et la bibliométrie sont confrontées à la fois à un fort développement de la demande d'indicateurs (en évaluation de la recherche, en économie des sciences et de l'innovation) et à l'apparition de nouvelles formes d'offre (sources et statistiques sur les publications scientifiques ; développements Internet et outils en ligne). Cette situation ouvre des perspectives contrastées, d'un côté les "hit-parades" spectaculaires et une certaine frénésie du chiffre, de l'autre des systèmes d'évaluation élaborés et prudents, ancrés dans une meilleure compréhension de la diversité et de la dynamique des systèmes scientifiques. Cet article esquisse quelques-uns des défis rencontrés par les indicateurs scientométriques : déminage des données, mesure des flux de connaissance, questions de diversité. La réponse à ces défis conditionne la mise au point d'indicateurs fiables. Elle ne prémunit pas, toutefois, contre les dérives dans leur utilisation.

This communication presents some aspects of an on-going research on a class of indicators of scientific visibility. Relying on a new usage of classic citation distribution studies, the "activity index in citation classes" (AIC) describes the "relative citation profile" or distribution of actors' articles among quantile classes of citations defined by the world reference. AIC exists in multiple variants reproducing various types of field-normalization, as well as direct or cumulative (AICC) presentation. The profiles of AIC can be summarized by empirical indexes, or parameters of simple laws, which are good candidates for indicators of overall citation performance. As profile performance indicators derived from AICC and classical "relative impact" (RI) indicators basically reflect the same information, their comparison is appealing. Empirical profiles obtained for national or institutional actors also raise the question of homogeneity of scientific literature: the high tail (excellence) and especially the low tail of the profile can show large deviations to the medium range of profile reflecting the general performance., Cette communication presente quelques aspects d'une recherche en cours sur une classe d'indicateurs de visibilité scientifique reposant sur un usage nouveau des études de distributions de citations. L'"indice d'activité par classes de citation" (AIC) décrit le "profil de citation relatif" ou répartition des articles d'un acteur dans les quantiles de citations définis sur la référence mondiale. L'AIC existe en de multiple variantes reproduisant divers types de normalisation par champ, avec une présentation directe ou cumulée (AICC). Les profils d'AIC peuvent être résumés dans des indices empiriques, ou par les paramètres de lois simples, qui sont de bons candidats pour construire des indicateurs de la performance globale de citation. Les indicateurs sur profils de performance derivés des formes cumulatives (AICC) reflètent fondamentalement la même information que les classiques indicateurs d"'impact relatif" (RI), leur comparison est donc prometteuse. Les profils empiriques obtenus pour les acteurs nationaux ou institutionnels posent aussi la question de l'homogenéité de la littérature scientifique: la tête de distribution (excellence) et surtout les quantiles de queue du profil peuvent dévier amplement de la zone médiane du profil qui reflète la performance générale.

National audience; Relevance of bibliometric indicators on scientific areas critically depends on the quality of their delineation. Macro-level studies, often based on a selection of list of journals, accept a high degree of fuzziness. Micro-level studies rely on sets of individual articles in order to reduce noise and enhance precision of retrieval. The most usual information retrieval process is based on lexical queries with various levels of sophistication. In the experiment on Nano-sciences reported here, this process was used in a first step, to delineate a 'seed' of literature. It has strong limitations, especially for emerging or transversal fields. In a second step, the alternative way of citation linkages, was used to expand the bibliography starting from lexical seed. The third step is a structuration of the field by factorial methods to allow expert decision on final delineation. First results on citations are shown.

Rather perhaps than a revolution, scientometrics and bibliometrics are encountering a strong development in demand (research assesment practices; economics of S&T and innovation... ) and new forms of supply (availability of publication sources and statistics; Internet developments; on line tools etc.). This situation results in contrasting perspectives: on the one hand, it can favour spectacular "hit-parades" and some frenzy of numbers; on the other hand, it paves the way for more cautious and sophisticated evaluation systems, rooted in a better understanding of the dynamics of science. This paper sketches a few of the challenges that bibliometric indicators are facing: some are classic issues, while others are more related to the new context of science. 1) "data mine-clearing". Bibliometrics mainly works with empirical models and data, and should not overlook where data come from. The challenge for bibliometrics is to contribute in the selection and control of the data and to resist, in some cases, the whirlpools of data-mining. 2) measurement of knowledge flows. Positioning indicators stressing the position of actors in strategic networks, have in the last decades, challenged the traditional input-output rationale Approaching knowledge circulation by each of these networks (collaboration, mobility, citations, thematic groups..) may lead to quite different estimates. Moreover, even within a single network such as citations, the results are highly sensitive to the weighting and counting options. 3) diversity. In sociological terms, and even when adopting the Mertonian views, it is clear that within a common system of publication and communication norms, scientific communities exhibit quite different behaviours depending on the type of research, the degree of application and the nature of the field. A practical challenge in evaluation-oriented scientometrics is to cope with the heterogeneity of areas to avoid mixing apples and oranges (appropriate reference sets, size independent indicators, measures of multidisciplinarity ...). The conclusion points out the necessity to develop muti-criteria indicators either to feed models of scientific dynamics or to give fair assessments of actors strategies in their multiple dimensions., Plus qu'à une révolution, la bibliométrie et la scientométrie sont confrontées à un fort développement de la demande (évaluation de la recherche; économie de la science, de la technologie et de l'innovation ...) et à de nouvelles formes d'offres (données de plus en plus accessibles; développements Internet; outils d'analyse en ligne ...). Cette situation peut favoriser les "hit-parades" spectaculaires et l'avalanche de chiffres, mais ouvre aussi la voie pour des des systèmes d'évaluation sophistiqués, ancrés dans une meilleure compréhension de la dynamique scientifique. La communication présente quelques défis pour les indicateurs bibliométriques, qu'il s'agisse de problèmes classiques ou plus liés aux nouveaux contextes de l'activité scientifique. 1) les pièges des données. La bibliométrie opère principalement sur des données et modèles empiriques et ne saurait s'affranchir de l'examen des sources. Elle doit contribuer à la sélection et au contrôle des données et, le cas échéant, résister au vertige de la fouille de données. 2) la mesure des flux de connaissance. Les indicateurs de positionnement caractérisant la place des acteurs dans des réseaux stratégiques se sont imposés ces dernières années à côté des indicateurs classiques d'input-output. Chacun de ces réseaux (collaboration, mobilité, citations, groupes thématiques...) peut fournir des estimations très différentes de la circulation des connaissances. De plus, pour un même réseau, par exemple celui des citations, les résultats sont très sensibles aux modes de comptage et aux pondérations. 3) la diversité. En termes sociologiques, et même en adoptant le point de vue de Merton, il est clair qu'au sein d'un système commun de normes de publication et de communication, les communautés scientifiques présentent des comportements très différents selon le type de recherche, le degré d'application et la nature du champ. Le défi concret, pour la scientométrie appliquée à l'évaluation, est de prendre en compte l'hétérogénéité des domaines ( référentiels appropriés, indicateurs sans effet de taille, mesures de multidisciplinarité .... La conclusion insiste sur la nécessité de développer des indicateurs multicritères aussi bien pour la modélisation de la dynamique scientifique que pour l'évaluation des stratégies d'acteurs dans leurs multiples dimensions.

Bibliometric indicators are increasingly used in evaluation of universities and Public Research Organisations. In this communication, we will focus on one type of "pure performance" indicators, the bibliometric impact., Les indicateurs bibliomètriques sont de plus en plus utilisés dans l'évaluation des universités et des organismes publics de recherche. Cette communication porte sur un type d'indicateur de "performance pure", l'impact bibliomètrique.