Bibliométrie en SHS: questions de logique et d’éthique

Union académique internationale Bruxelles, Palais des Académies

26 juin 2015

Manuel DURAND-BARTHEZ, URFIST de ParisÉcole nationale des Chartes

Αίθο

υσα

Συνε

δριά

σεω

ν Ακ

αδημ

ίας

Αθην

ών

Dim

itris

Gra

ffin

31/1

0/14

CC

BY

Jalons d’une réflexion

• SHS vs. STM : le poids des préjugés• Articles vs. Ouvrages : l’effet d’une dichotomie• Indicateurs de périodiques : perseverare

diabolicum...• Esquisse de solutions : “L’homme et l’oeuvre”• Conclusion : l’évaluation en SHS, vaste

chantier fondé sur le volontarisme des acteurs

STM vs. SHS: clichés et malentendus

• En France, un colloque fondamental: Evaluation des productions scientifiques : des innovations en SHSÀ l’initiative de l’Institut national SHS du CNRS, 9-10 juin 2011

• Prémisse : le modèle ISI Web of Science est inadapté aux SHS mais la prééminence socio-économique du domaine STM (Science, Technologie, Médecine) contamine la pratique SHS de l’évaluation

SHS : quelle identité ?

• Question épistémologique de base posée par J.Dubucs, Dir. Rech. CNRS, responsable du Service Stratégie de la recherche et de l’innovation, Secteur SHS au Min. de l'Enseignement supérieur et de la Recherche

• La spécificité « Homme et Société » est-elle fondée ? Il évoque un Credo entendu souvent et source de malentendus :

Quelques idées reçues

Credo• Les SHS sont spécifiquement spécifiques • Les SHS diffèrent des autres sciences plus que les autres

sciences ne diffèrent entre elles• Les SHS ne sont pas une espèce du genre « science »• « Science » figure dans « Sciences de l'Homme et de la

Société » comme « chat » dans « achat » : en vertu d'unsimple accident orthographique

• Conséquence : la recherche d'indicateurs SHScomparables aux indicateurs qui ont cours dans les autressecteurs scientifiques est futile

(Fin de citation)

Un isolationnisme périlleux

• Dans un tel contexte, on court le risque de « hiéronymiser » les SHS. Le syndrome de Saint-Jérôme, seul dans sa grotte avec son crâne

• C’est l’impasse à laquelle conduit l’hyperspécificité

Le chercheur hiéronymite folklorise sa communauté et l’asphyxie

San

Giro

lam

o sc

riven

te –

Car

avag

gio

– 16

06 -

Gal

leria

Bor

ghes

e –

Lic.

PD

-Art

Concaténation ? Contamination?

• Or, anthropisation croissante des Sciences de la Nature. Exemple: questions fondamentales sur l’Environnement, l’Écologie, la Santé publique

• Impact sociétal des SHS ; concaténation et non séparation vs. STM

• Approche contrefactualiste : Que se serait-il passé si l’on avait suivi telle ou telle préconisation qui n’a pas eu de publicité « parce qu’elle n’était qu’SHS » ?

Mainstream ou réflexion

• Selon J. Dubucs, il s’agirait, par le biais d’une évaluation rationnelle, d’abaisser l’indice de viscosité du flux SHS en France, « proche de la glycérine ». Manque de mobilité, manque d’ouverture au monde contemporain, parfois complexe d’infériorité, marginalisation, défense passéiste de la langue française (Alliance Athéna)

• Quelles sont les conséquences de ce type d’orientation institutionnelle et politique, que génère concrètement cet angle de vue ?

Prestige spécieux de l’Article ?

• Les indicateurs sont indispensables mais la duplication du modèle STM est inadéquate

• Support privilégié STM = l’article de périodique : concision tant analytique que synthétiquesuivi « périodique » de l’évolution technologique langue unique (anglais) immatriculation sérielle ISSN propice à l’insertion

dans des matrices d’évaluation statistique globales

Handicap supposé du Livre• En SHS, prééminence (en France) du Livre :

chronophage en écriture « lourd » coûteux à faible diffusion immatriculation atomisée ISBN, impossible à intégrer dans des matrices

globales variété des langues nationales citations drainées sur le (très) long terme

• En 2011, Pierre Glaudes, représentant l’Agence d’Évaluation de l’Enseignement supérieur et de la Recherche (AERES) au colloque précité, reconnaît l’importance des Ouvrages et de leurs Chapitres, mais minimalise très nettement leur impact en regard des Périodiques

Les Périodiques ont la cote

• Une préoccupation essentielle de l’AERES semble avoir été longtemps la « cotation » des périodiques en SHS

• Pas de calcul de type ISI d’un facteur d’impact, simple labellisation alphabétique décroissante

• Référence: des listes établies par la European Science Foundation.

• 3 grades : International majeur, International secondaire, National ou bien A,B,C….

Liste des revues SHS référencées pour la vague D (2010-2013) publiée par l’AERES en juillet 2008

L’enquête de 2004 : un tsunami…

• En 2004, enquête CNRS sur l’impact international des périodiques qu’il subventionne ; c’est le but officiel

• But officieux : arrêt des subventions ou restriction à une version électronique pour les revues n’atteignant pas un seuil minimal de citations situé à 15 ou 20 en fonction des disciplines

• 18 disciplines, échantillon de test : 125 revues mi-françaises mi-anglo-saxonnes, dix ans (1992-2001)

• Source : essentiellement l’ESF qui va générer l’ERIH (European Reference Index for the Humanities)

La cote en question

• Jusqu’en 2011, accent mis par l’AERES sur la cotation des Périodiques en A,B,C

• Le 12 décembre 2011, la Conférence des Publications de Psychologie en Langue française accuse l’AERES de contrevenir à l’article 114 3 1 du Code de la Recherche et ‐ ‐d’abuser de ses pouvoirs en attribuant une cote aux titres de périodiques

• Recours judiciaire envisagé, l’Agence se rétracte

Ersätze ou neutralité

• Anciennes et nouvelles listes, cotées ou non, se côtoient indûment sur le site de l’Agence pendant quelques mois.

• Certaines Disciplines adoptent simplement l’ordre alphabétique brut des titres listés

• D’autres substituent des chiffres aux lettres ou des expressions de type : Excellent, Bien, Passable…. Attitude « inqualifiable » ?

Harmonisation et exceptions

• Entre 2011 et 2014, la situation se stabilise progressivement : 12 disciplines sur 15 adoptent le classement alphabétique brut des titres

• Économie & Gestion conçoivent l’A, B, C à partir d’une nomenclature interne autre que celle initialement adoptée par l’AERES

• Activités physiques et sportives numérotent 1, 2, 3

Introduction des BD spécialiséesdans les Labels

• La Psychologie adopte en 2011 la mention des bases de données dans lesquelles sont indexées les revues : PsycINFO, Ergonomics Abstracts, SCImago , ERIH , Journal Citation Reports de Thomson Reuters, PubMed, Eth = liste revues d’éthologie dite « constituée par des pairs »

• Question : la « valeur » ou la « cote » des bases sont-elles indifférentes ?

Une base internationale des titres de périodiques SHS : JournalBase

• En 2008, l’Institut national SHS du CNRS conçoit le répertoire JournalBase

• Liste alphabétique brute et pluridisciplinaire de titres de périodiques dans le champ SHS

• Mention des bases de données dans lesquelles sont indexées les revues : JCR, Scopus, ERIH et AERES pour les années 2011 à 2013

L’ERIH abandonne les labels

• En janvier 2014, l’ESF transfère aux Norwegian Social Science Data Services (NSD) la gestion de l’ex-ERIH

• Le fichier devient « alphabétique brut », abandonnant les labels INT et NAT

• Critères classiques d’insertion dans cette liste: Revue par les pairs, périodicité régulière, comité de lecture dont

l’activité académique est reconnue, références bibliographiques complètes, adresses des auteurs très explicites

Hors le Périodique, salut ?

• En termes de support, risque de monopolisation SHS en faveur des Périodiques. Quel contre-pouvoir ? Contamination STM ?

• La concaténation STM / SHS, initialement évoquée, ne favorise-t-elle pas un primat du Périodique sur toute autre forme d’expression de la recherche SHS ?

• Le Livre est d’ailleurs loin d’être l’unique alternative au Périodique

Le référentiel AERES Nov. 2014 :les faits observables

• Ce référentiel envisage les autres productions scientifiques propres au domaine : rapports scientifiques ou techniques (rapports de fouille, par exemple), catalogues d’exposition, atlas, corpus, tests psychométriques, démonstrateurs, logiciels, prototypes, productions audio-visuelles à caractère scientifique, créations artistiques théorisées, etc. ;

• la production d’instruments, de ressources, de méthodologie : éditions critiques, glossaires, bases de données, collections, cohortes, observatoires, plateformes technologiques, etc.

Le référentiel RIBAC du CNRS (2009)

• Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en SHS

• Description individuelle détaillée des activités et des compétences : on retrouve les « faits observables » ultérieurement définis par l’AERES

• Le but n’est pas de juger mais de caractériser• Se démarquant de la bibliométrie, l’IN-SHS

prône la notion plus consensuelle de caractérisation

Conclusion : un vaste chantier

• L’édifice de l’Évaluation en SHS fait songer à la Sagrada Familia de Gaudi à Barcelone. Son inachèvement est peut-être salutaire

• L’optimisation du concept est le propre de la communauté des chercheurs, de leur volontarisme, de leur capacité à se mobiliser pour que l’éthique l’emporte sur une logique arithmétique souvent primaire

Aequitas ('bargeinio teg') neu Moneta (y bathdy) [Antoninus Pius], Amgueddfa Cymru – Nat. Mus. Wales CC BY NC

La Sagrada FamiliaBarcelonaCa. 1915

Construcción del Templo Expiatorio de la Sagrada Familia en 1915.Recuerdos de Pandora ; FlickR Commons, lic. CC By