L’ANCMSP a recensé une partie des réactions aux classements de revues SHS réalisés par l’AERES. Le sommaire et l’introduction de ce dossier sont reproduits ci-dessous.
Le bureau de l’ANCMSP souhaite profiter de cette occasion pour inviter au débat autour de ces classements.
* Télécharger le dossier ANCMSP.
* MISE À JOUR : l’ANCMSP a également produit un nouveau dossier sur ces classements en décembre 2008.
* Un article de comparaison des classements en sociologie et en science politique et rédigé par l’un des membres du bureau, a été publié par le Bulletin de méthodologie sociologique.
Comparaison à consulter sur le site du BMS.
SOMMAIRE
Premières réactions
1. Il faut refuser le classement des revues
par Sabine Rommevaux
2. Refuser le classement des revues
par Sylvain Piron
3. Journals under Threat
A Joint Response from HSTM Editors
4. Une comparaison : les classements de l’AERES et de Philippe Jeannin
par Philippe Cibois
5. “The State We’re In” : le classement des revues par l’AERES
par Christophe Bouillaud
Documents AERES
6. Note sur le classement des revues de science politique
7. Classement des revues « Sociologie–Démographie »
8. Critères d’identification des chercheurs et enseignants-chercheurs « publiants »
Ouverture du débat
9. Vos papiers ! La science à l’aune de la raison comptable
par Georges Debrégeas et Fabien Jobard
10. Évaluation de classement et évaluation de jugement
par Philippe Büttgen
11. Pour le retrait des listes de l’AERES
par Sylvain Piron
INTRODUCTION
Par le bureau de l’ANCMSP
Créée en 1996, l’Association Nationale des Candidats aux Métiers de la Science Politique (ANCMSP) représente une communauté de doctorants et de jeunes chercheurs, en science politique et dans des disciplines voisines. Cette communauté est particulièrement sensible aux débats portant sur la publication scientifique, dans la mesure où les jeunes chercheurs se destinent à passer devant des comités de spécialistes et/ou des jurys dont ils souhaitent que ces derniers évaluent leurs publications sur des critères d’excellence scientifique aussi objectifs que possible et connus à l’avance.
Le bureau de l’association suit avec intérêt le développement de classements des revues francophones et internationales en sciences humaines et sociales par l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES), ainsi que les réactions de la communauté scientifique à ces classements depuis leur publication le 28 juillet 2008. Dans le prolongement de la démarche initiée par un membre de la mailing-list de l’ANCMSP, nous reproduisons dans ce premier dossier les principales réactions exprimées au 24 septembre 2008, suivi d’une documentation AERES et de textes permettant d’aborder une réflexion plus large sur les enjeux de ces classements : l’évaluation de la recherche scientifique et ses modalités.
Ces premières réactions révèlent de très nombreuses failles dans la méthodologie employée par l’AERES dans l’élaboration de ses classements. À partir des textes publiés et des discussions menées par les membres du bureau de l’ANCMSP entre eux et avec les auteurs des textes reproduits, on peut établir au moins trois niveaux de « doute » concernant les travaux publiés jusqu’à présent :
1. D’une part, la filiation revendiquée avec les travaux de l’European Science Foundation (ESF), ou même au classement établi par le département SHS du CNRS en 2004, n’est pas évidente. Ces classements ont par ailleurs suscité de très nombreuses critiques et réserves, comme l’atteste par exemple le communiqué « Journals Under Threat » reproduit dans ce dossier.
2. D’autre part, l’homogénéité des classements n’est pas évidente non plus : aucune consigne ne semble avoir assuré l’utilisation d’une méthode de travail commune au sein de chaque groupe de travail ; les divergences semblent flagrantes, même sur certains critères a minima – l’existence d’une catégorie C, par exemple. De plus, la composition de ces groupes reste très opaque pour une agence dont la mission requiert pourtant une transparence totale.
3. Enfin, une dernière ambiguïté concerne le fonctionnement de l’AERES elle-même. La communauté scientifique a dû se contenter jusqu’à présent du texte de Jean-Louis Briquet (reproduit dans ce dossier), qui ne lève pas totalement le voile sur le fonctionnement interne de son groupe d’étude (Science politique), ou de la section « Unités de recherche » à l’AERES.
À partir de ces trois points critiques, et en l’état actuel des choses, on peut écrire sans hésitation qu’aucune revue de rang A, B ou C n’aurait publié un texte appliquant une méthode de classement aussi fragile et opaque que celle employée par l’AERES. Les remarques ci-dessus incitent au scepticisme circonstancié, dans l’attente d’un protocole de fonctionnement et de critères de classement clairement établis.
Le bureau de l’ANCMSP a également suivi les réactions « locales », sur les sites universitaires auxquels appartiennent ses membres. Deux observations liées émergent des débats menés en interne. Tout d’abord, les classements donnent lieu à des évaluations locales, où l’on mesure leur impact contre la base de publications des laboratoires de recherche : de ce point de vue, les classements ont activé un « réflexe d’audit » caractéristique de la démarche évaluative. Cependant, les réunions et discussions auxquelles ont pu participer les membres du bureau de l’ANCMSP montrent aussi que ces classements « ne tiennent pas la route » pour certains chercheurs et enseignants-chercheurs, que leur légitimité n’est pas établie et que leur méthodologie est, de toute évidence, sous-documentée et, à défaut d’en apprendre plus sur ce sujet, peu robuste.
Enfin, une partie des membres du bureau de l’ANCMSP réside de manière permanente ou semi-permanente dans des pays étrangers. Or les premières réactions recueillies à l’étranger concernant la section internationale du classement « Sociologie–Démographie » sont peu encourageantes. Certaines revues européennes discrètes sur le plan international semblent avoir été rajoutées de manière post hoc, afin d’ « internationaliser » le classement de force. En revanche, des revues centrales au développement de certains courants sociologiques (les science studies par exemple) ont été classées de manière défavorable. Enfin, certaines incohérences laissent songeur, comme la présence en catégorie B d’une revue annuelle de science politique indisponible en France et presque indisponible en Grande-Bretagne. Les nombreuses critiques recueillies de première main par les membres du bureau de l’ANCMSP incitent donc à se poser sérieusement la question de la dimension internationale du travail de l’AERES.
D’autres réactions aux classements de l’AERES sont à l’étude, et la publication définitive du classement « Science politique » (dont on ne connaît pas à ce jour l’agenda précis) ne manquera pas de faire réagir plus avant les chercheurs de la discipline. D’autres dossiers de suivi devraient donc voir le jour à la suite de celui-ci, mais l’on peut raisonnablement émettre l’hypothèse que l’absence de transparence méthodologique et l’inertie liée au premier classement – l’effet d’hystérèse évoqué par Christophe Bouillaud – resteront au cœur des priorités.
D’autres questions se posent, notamment sur l’actualisation et la révision des classements, ainsi que sur la structure institutionnelle précise de l’AERES. Outre les questions de méthodologie stricto sensu, comment se trouvent constitués ses groupes de travail ? Quels types de comptes-rendus intermédiaires produisent-ils ? Quelles sont les possibilités de révision des classements, et à quelle fréquence ? Quel est l’agenda institutionnel suivi par l’AERES ?
Les réactions regroupées dans ce dossier dénoncent collectivement le cloisonnement des procédures ayant servi à développer un composant essentiel de l’évaluation du travail de recherche. De manière générale, le bureau de l’ANCMSP souhaiterait encourager l’AERES à faire preuve de transparence et de rigueur dans le développement futur de cette ressource, par ailleurs utile et sollicitée, que constituent les classements de revues.
Le bureau de l’ANCMSP