Tous les articles par cbarats

Les rapports de l’AERES : dire et faire l’évaluation

Table ronde animée par Pascal Roquet

Christine Barats, Université Paris Descartes et Céditec, Université Paris Est Créteil
Emilie Née, Céditec, Université Paris Est Créteil

 

La multiplication de dispositifs et de pratiques d’évaluation dans l’enseignement supérieur et la recherche (ESR), comme par exemple les classements académiques, les labels ou les rapports d’évaluation de l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur) invite à examiner les discours qui les portent, tout autant que les mécanismes de leur déploiement et de leur institutionnalisation (Paradeise, 2012 ; Mignot-Gérard, Sarfati, 2015). Il est important de rappeler que les pratiques d’évaluation dans l’ESR sont anciennes et variées (Gingras, 2014), que ce soit du point de vue de leurs modalités de mise en œuvre ou des situations dans lesquelles elles s’inscrivent (habilitation de formations, évaluation d’unités de recherche, de projets de recherche, etc.). Le CNE (Comité national d’évaluation), première instance ad hoc en charge de l’évaluation, a ainsi été créé en 1984. Les pratiques d’évaluation se sont cependant intensifiées au cours des années 2000 avec la création, en 2005, de l’ANR (Agence Nationale pour la Recherche) pour le financement et l’évaluation de projets de recherche, puis la création en 2006 de l’AERES pour l’évaluation des formations et des équipes de recherche, devenue HCERES (Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur) en 2013.

Christine Musselin note ainsi une agencification de l’ESR, avec la création d’instances d’évaluation, symboliquement désignées par le terme « d’agence », dans des systèmes où ce type d’instance n’existait pas (Musselin, 2017 : 107). Ces transformations se traduisent par une  séparation stratégique entre l’autorité de tutelle et les agences en charge de l’opérationnel, ces dernières exerçant un micro-management basé sur la compétition et la sélection.

Dans le prolongement de travaux en science politique (Gozlan, 2016) et en sociologie (Pontille, Torny, 2010, 2012 ; Agulhon, 2013), les rapports rédigés par les comités d’experts de l’AERES et adressés aux laboratoires de recherche après expertise constituent un matériel d’investigation pour examiner comment se dit et se pratique l’évaluation. Ces rapports sont en effet à la fois le produit et le résultat d’un processus qui s’inscrit dans la durée et qui se caractérise par la production de nombreux documents en amont et en aval de la visite effectuée par le comité d’experts. Ce processus long s’accompagne de moments clefs où interagissent les acteurs (réunions, séminaires) que ce soit au niveau de l’AERES ou au niveau des entités évaluées qui préparent les documents nécessaires à l’évaluation. Tout au long du processus circulent différents types d’écrits (textes de cadrage, documents transmis par les entités évaluées…) qui disent et font l’évaluation. C’est également un instrument d’imposition -ou non-, d’indicateurs (rythme de publication, type de publication etc.) et de pratiques qui sont valorisés par l’AERES, devenue HCERES. Comme outil d’évaluation normalisé et normalisant, le rapport AERES découle d’une grille de lecture préétablie ainsi que d’une conception de la recherche qui se matérialise et s’observe dans le plan adopté pour rédiger les rapports, la thématisation de certains aspects (nombre de publications, par exemple) et le choix d’un lexique spécifique adossé à des indicateurs (« publiants », « rayonnement »).

A partir d’un corpus de rapports, nous menons une étude socio-discursive afin d’examiner l’évolution dans le temps de ces descriptions-prescriptions en confrontant différentes vagues d’évaluation, celles de 2008-2010 et celles de 2012-2014. L’accent porte sur les régularités et les variations discursives qui caractérisent l’évaluation dans ce type de rapport. Il s’agit de mettre au jour leurs caractéristiques tout en tenant compte du profil des acteurs qui les rédigent. L’étude proposée tient également compte du poids des disciplines et de leurs logiques internes (Gozlan, 2016). Il s’agit aussi d’observer d’éventuelles variations ou discordances. Catherine Agulhon a ainsi noté dans le cas de l’évaluation de formations « des appréciations contradictoires pour des situations semblables : ici on reprochera un manque d’intervenants professionnels, là on trouvera qu’il y en a trop. Ici on trouvera que la formation est trop pragmatique, trop spécialisée, là au contraire qu’elle est trop générale, que ses objectifs ne sont pas assez ciblés. Ces discordances démontrent le manque de précisions des objectifs. On constate ainsi une certaine labilité de l’évaluation, mais aussi des jugements qui se basent sur des a priori temporaires et implicites. » (Agulhon, 2013 : 141).

C’est pourquoi, nous appréhendons les rapports comme le résultat d’un processus de dialogue et de négociation inscrit dans la durée, et également comme le fruit d’un rituel engageant les évaluateurs (i.e. le « comité d’experts ») et les évalués.

Références bibliographiques

AGULHON Catherine, « La mesure en éducation, un outil au service du politique », L’orientation scolaire et professionnelle, N°35/3, 2006, pp. 315-366.

AGULHON Catherine, « Accréditation-habilitation dans l’enseignement supérieur : de la distinction à la sanction », Carrefours de l’éducation, 2013/2, N°36, pp. 131-148.

BARATS Christine,  « Textes numériques ou sur le numérique : rhétorique de l’internationalisation et « attractivité » des universités parisiennes », In Acteurs et contextes des discours universitaires, Tome 2, L’Harmattan, 2009, pp. 209-225.

GLAUDES Pierre, « L’évaluation de la production scientifique en France par l’Agence d’évaluation de la recherche et de l’enseignement supérieur », Mélanges de la Casa de Velázquez, N°44-2, 2014, mis en ligne le 15 novembre 2014, URL : http://mcv.revues.org/5858

MUSSELIN Christine, La longue marche des universités françaises, Paris, PUF, 2001.

OGER Claire et OLLIVIER-YANIV Caroline, « Conjurer le désordre discursif. Les procédés de « lissage » dans la fabrication du discours institutionnel », Mots. Les langages du politique N°81, 2006, pp. 63-77.

DARDY Claudine, DUCARD Dominique, MAINGUENEAU Dominique, Un genre universitaire. Le rapport de soutenance de thèse, Presses universitaires du Septentrion, 2002.

ESPELAND Wendy & SAUDER Michael, « Rankings and Reactivity: How Public Measures Recreate Social Worlds », American Journal of Sociology, nº 1, vol. 113, 2007, pp. 1-40.

GOZLAN Clémentine, « Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique. Enquête sur les pratiques de jugement dans une agence française », Sociologie, Vol 7, 2016/3, pp. 261-280.

MIGNOT-GERARD Stéphanie, SARFATI François, « Dispositif de jugement sur la qualité ou instrument de construction de la réputation ? Le cas d’un classement universitaire », Terrains et travaux, nº 26, 2015, pp. 167-195.

MUSSELIN Christine, La longue marche des universités françaises, Paris, PUF, 2001.

NEE Emilie, OGER Claire, SITRI Frédérique (sous presse), « Le rapport : opérativité d’un genre hétérogène », in NEE E., OGER C., SITRI F. (coord.), Le rapport, entre description et prescription, Mots, n°114, parution prévue en juillet 2017.

NEE Emilie, SITRI Frédérique, VENIARD Marie, FLEURY Serge (sous presse), « Routines discursives et séquentialité dans des écrits professionnels : la mise au jour d’une séquence évaluative ? », Corpus, n°15 – « Segments et séquences textuelles : méthodologie et caractérisation », M. Bendinelli éd.

OGER Claire et OLLIVIER-YANIV Caroline, « Conjurer le désordre discursif. Les procédés de « lissage » dans la fabrication du discours institutionnel », Mots. Les langages du politique N°81, 2006, pp. 63-77.

PARADEISE Catherine, « Universités. Un marché mondial de la connaissance », Cahiers français, N°367, 2012, pp. 57-64.

PONTILLE David, TORNY Didier, 2015, «From Manuscript Evaluation to Article Valuation: The Changing Technologies of Journal Peer Review», Human Studies, 38, pp.57-79.

PONTILLE David, TORNY Didier, «Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES», Quaderni, 2012, pp.11-24

STAVROU Sofia, « Des discours politiques au discours de l’évaluation. Autour de la réforme des formations universitaires », Mots. Les langages du politique, n°102, juillet 2013, ENS Editions, pp. 85-102.

STAVROU Sofia, « La « professionnalisation » comme catégorie de réforme à l’université en France », Cahiers de la recherche sur l’éducation et les savoirs, Hors-série n° 3, 2011, pp.93-109.

VATIN François, (2013). « Évaluer et valoriser », in Vatin F. (dir.), Évaluer et valoriser, Toulouse, Presses universitaires du Mirail, pp. 17-37.

Les classements académiques dans l’enseignement supérieur et la recherche : le tournant des années 2000

Christine Barats, Céditec (EA 3119), Université Paris Est Créteil, Université Paris Descartes
Julie Bouchard, Labsic (EA 1803), Université Paris 13

Que ce soit à l’échelle nationale ou à l’échelle européenne, les classements académiques se sont multipliés dans les années 2000, dans un contexte marqué par des réformes portant sur l’enseignement supérieur et la recherche (ESR) (Musselin, 2009, 2017 ; Garcia, 2009 ; Vilkas, 2009 ; Ravinet, 1998, 2011). Si les recherches se sont centrées sur les méthodologies des classements, plus rares en revanche sont les travaux attachés aux conditions de production, de diffusion et de mise en débat des classements académiques.

Les principaux travaux ont porté sur les pays anglo-saxons et en particulier, sur des expériences en lien avec les statistiques d’Etat ou les logiques de presse. Jamil Salmi et Alenoush Saroyan indiquent ainsi que dans le domaine de l’enseignement, c’est aux États-Unis, puis en Grande-Bretagne qu’ont émergé les premiers classements qui étaient nationaux. La Commission fédérale américaine du Bureau de l’Education (Commission of the US Bureau of Education) a publié pour la première fois en 1870 un rapport annuel de données statistiques qui comprenait un classement d’établissements (Salmi, Saroyan, 2007). Les premiers classements nord-américains, réalisés par des universitaires et des structures en charge de l’éducation faisaient donc appel aux premières données statistiques sur l’enseignement. À partir des années 1980, et du classement de l’US News and World Report (USN) de 1983, ils se sont multipliés et ils ont été produits par des entreprises de presse (Espeland, 2015 : 28) : l’hebdomadaire américain, Business Week, proposa un classement des MBA, au Canada, McClean’s publia un classement des universités, en Grande-Bretagne ce sera le Times Educational Supplement, et en Italie, la Republicca… Leur méthodologie reposait sur des enquêtes d’opinion menées auprès de responsables de formation, puis d’autres indicateurs furent intégrés afin de combiner l’évaluation par les pairs avec des statistiques transmises par les établissements.

En France, c’est autour des années 1970-1980 que des magazines, comme par exemple le mensuel Le Monde de l’Education ou le magazine L’Etudiant vont produire et diffuser des classements nationaux (Bouchard, 2013), reposant sur des enquêtes d’opinion et/ou des statistiques transmises par les établissements et/ou le Ministère de l’Education Nationale. Pour schématiser et situer l’émergence des classements académiques, trois principales conditions socio-historiques se sont avérées déterminantes pour leur production.

A la fin du 19ème siècle, la mise en œuvre d’une statistique d’État (Desrosières, 2008) va contribuer à la compilation de données et à la production de classements qui ne portaient cependant pas sur les établissements d’enseignement supérieur mais sur l’enseignement primaire (Matasci, 2014). À partir des années 1970-1980, des entreprises de presse vont produire des classements nationaux et les publiciser, dans une stratégie éditoriale d’informations dites utiles pour les étudiants et leur famille, en ayant recours au jugement des pairs et à des données statistiques.

Dans les années 2000, la multiplication des classements académiques, en particulier internationaux, est liée à une diversification des acteurs-producteurs de classement (organisations internationales, entreprises de presse, sociétés de conseil…), ainsi qu’à la place de certaines données, comme les données bibliométriques, accessibles via des bases de données en ligne, ce qui contribue à imposer ce standard dans les pratiques d’évaluation de l’ESR (Gingras, 2014). Si la diffusion des bases de données en ligne contribue à l’essor des indicateurs bibliométriques, le coût d’accès à ces bases, de même que la technicité nécessaire à leur exploitation confirment la mise en invisibilité des moyens et du travail liés à leur production. Wendy Espeland rappelle ainsi que les classements sont des technologies de simplification qui exigent cependant en amont, un important travail de collecte et de traitement des données, ce qui implique des infrastructures et des ressources en vue de leur production (Espeland, 2015 : 29).

Le travail d’historicisation de la forme « classement » ne peut pas être dissocié de l’action de classer et de la diffusion d’outils de comparaison comme le benchmark (Bruno, 2008) qui tendent à remettre en question les formes de jugement de la qualité académique, majoritairement qualitatives, c’est-à-dire situées et ancrées dans les normes endogènes de la profession universitaire (Mignot-Gérard, Sarfati, 2015 ; Gozlan, 2016) au profit d’indicateurs quantifiés qui auraient vocation à une certaine universalité. Si plusieurs travaux ont montré la diversité des modalités d’appropriation de ces outils de jugement, comme les indicateurs bibliométriques ou les classements (Pontille, Torny, 2010, 2012 ; Mignot-Gérard, Sarfati, 2015 ; Gozlan, 2016), ils attestent cependant de leur conformité axiologique avec le déploiement de discours sur l’évaluation et sur la performance académique qui favorisent une logique de name and shame (nommer pour blâmer) (Barats, In Bouchard et al., 2015).

La multiplication de dispositifs de jugement (classements, rapports d’évaluation de l’Agence d’évaluation de la recherche et de l’enseignement supérieur, label EQUIS…) invite à examiner les mécanismes de leur déploiement et de leur institutionnalisation (Paradeise, 2012 ; Mignot-Gérard, Sarfati, 2015). Il est important de rappeler que les pratiques d’évaluation dans l’ESR sont anciennes et variées, que ce soit du point de vue de leurs modalités de mise en œuvre ou des situations dans lesquelles elles s’inscrivent (habilitation de formations, évaluation d’unités de recherche, de projets de recherche, etc.). Elles se sont intensifiées au cours des années 2000 avec la création, en 2005, de l’ANR (Agence Nationale pour la Recherche) pour le financement et l’évaluation de projets de recherche, la création en 2006 pour l’évaluation des formations et des équipes de recherche de l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur), devenue HCERES (Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur) en 2013. Dans ce contexte, les classements, comme instruments de production de valeurs et de jugements (Vatin, 2013) sont à la fois le résultat et l’opérateur de normes sociales de pensée et d’action : les entités classées tendant à se conformer aux critères du classement (Espeland, Sauder, 2007).

Ces instruments, s’ils font événement du point de vue des logiques de presse (Barats, 2013 ; Bouchard, 2015), fonctionnent dans les discours comme des instruments de mesure du prestige académique et ils peuvent être appréhendés comme conformes aux discours sur l’impératif d’évaluation ainsi qu’à certains « instruments de gouvernement » (Lascoumes, Le Galès, 2004), en particulier aux indicateurs dits de résultat, car ils contribuent d’une part à façonner les représentations sociales du prestige académique et que, d’autre part, ils se caractérisent par leur dimension normative et prescriptive. Wendy Espeland et Michael Sauder (2007) analysant les réactions au classement de l’US News and World reports dans le cas des écoles de droit nord-américaines ont ainsi observé la dimension prescriptive de ces outils : les écoles de droit tendent en effet à se conformer aux critères mis en avant dans les classements afin d’obtenir de meilleures places (Espeland et Sauder, 2007 ; Espeland, 2015). L’expression « instruments de gouvernement », proposée par Pierre Lascoumes et Patrick Le Galès pour l’analyse des politiques publiques prolonge le travail d’Alain Desrosières sur « l’instrumentation statistique » (1993 : 401).

Son emploi en dehors du contexte de l’analyse de l’action publique vise à souligner la dimension normative et prescriptive de ces outils de jugement et à rappeler leurs liens avec l’élaboration d’instruments statistiques étatiques (Matasci, 2014), tout autant qu’avec les débats publics et les réformes menées dans l’ESR. Dans la perspective retenue par Pierre Lascoumes et Patrick Le Galès, il s’agit d’instruments qui orientent et façonnent les pratiques sociales dans le cadre de politiques publiques. Cette expression met en exergue le fait que certains outils ou techniques ainsi que leurs discours contribuent directement à l’instrumentation de l’action publique, en l’occurrence à un gouvernement « par les instruments ». Dans le cas des classements académiques, ces instruments de jugement contribuent à la production d’un ordre du discours, « d’une soft law », c’est-à-dire « des dispositifs de mesure diffusant largement par imitation » (Paradeise, Thoenig, 2011).

L’enquête menée en 2006 au niveau international par Ellen Hazelkorn auprès de dirigeants d’établissements « sur l’impact du classement des établissements sur la prise de décision dans l’ESR » souligne l’intérêt accordé par ces acteurs aux classements dans leur planification stratégique et la contradiction apparente entre cet intérêt déclaré et les critiques émises par rapport aux méthodologies retenues. L’enquête indique en effet que la majorité des responsables d’établissement s’inquiète de l’influence négative des classements, que ce soit du point des entités classées ou des choix de réforme dans l’ESR (Hazelkorn, 2007).

Références bibliographiques

BARATS Christine, LEBLANC Jean-Marc, « Généalogie de la co-construction médiatique du « classement de Shanghai » en France. Corpus de presse et usages sociodiscursifs », In Mots. Les langages du politique, 102, juillet 2013, pp.67-83.

BOUCHARD Julie, « Les classements d’établissements d’enseignement supérieur et de recherche : des miroirs déformants aux instruments de régulation », Questions de communication, nº 23, 2013, pp. 175-196.

BOUCHARD Julie et al. (éds.), La médiatisation de l’évaluation, Evaluation in the Media, Peter Lang, 2015.

BRUNO Isabelle, A vos marques, prêts, partez…, Editions du Croquant, 2008.

DESROSIERES Alain, La politique des grands nombres. Histoire de la raison statistique, Paris, La Découverte, 1993.

DESROSIERES Alain, Pour une sociologie historique de la quantification, Paris, Les presses Mines ParisTech, coll. « Sciences sociales », 2008.

ESPELAND Wendy & SAUDER Michael, « Rankings and Reactivity : How Public Measures Recreate Social Worlds », American Journal of Sociology, nº 1, vol. 113, 2007, pp. 1-40.

ESPELAND Wendy, « Rankled by rankings : How media rankings redefined higher education », In BOUCHARD Julie, CANDEL Etienne, CARDY Hélène, GOMEZ-MEJIA Gustavo (éds.), La médiatisation de l’évaluation-Evaluation in the Media, Peter Lang, 2015, pp. 25-37.

GARCIA Sandrine, « Réforme de Bologne et économicisation de l’enseignement supérieur », Revue du mauss, n°39, 2009, pp. 154 -172.GINGRAS Yves, Les dérives de l’évaluation de la recherche, du bon usage de la bibliométrie, Raisons d’agir, 2014.

GINGRAS Yves, Les dérives de l’évaluation de la recherche, du bon usage de la bibliométrie, Raisons d’agir, 2014.

GOZLAN Clémentine, « Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique. Enquête sur les pratiques de jugement dans une agence française », Sociologie, Vol 7, 2016/3, pp. 261-280.

HAZELKORN Ellen, « L’impact du classement des établissements sur la prise de décision dans l’enseignement supérieur », Politiques et gestion de l’enseignement supérieur, 2007/2, n° 19, pp. 95-122.

HAZELKORN Ellen, Rankings and the Reshaping of Higher Education: the Battle for World-Class Excellence, Palgrave Macmillan, 2011.

HAZELKORN Ellen, Rankings and the Reshaping of Higher Education. The Battle for World -Class Excellence, Palgrave McMillan, New York, second edition, 2015.

LASCOUMES Pierre et Le GALES Patrick (dir.), Gouverner par les instruments, Paris, Les presses de sciences po, coll. « Nouveaux débats », 2005.

MATASCI Damiano, « Aux origines des rankings. Le système scolaire français face à la comparaison internationale (1870-1900) », Histoire & mesure, Vol. XXIX-1, 2014, pp. 91-117.

MIGNOT-GERARD Stéphanie, SARFATI François, « Dispositif de jugement sur la qualité ou instrument de construction de la réputation ? Le cas d’un classement universitaire », Terrains et travaux, nº 26, 2015, pp. 167-195.

MOEGLIN Pierre, « Quand éduquer devient une industrie », Projet, 2015/2, N°345, pp. 62-71.

MUSSELIN Christine, « Les réformes des universités en Europe : des orientations comparables, mais des déclinaisons nationales », revue du MAUSS, N°33, 2009/1, pp. 69-91.

MUSSELIN Christine, La Grande course des universités, Presses de Sciences Po, 2017.

PARADEISE Catherine, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ? How Much is Enough? Does Indicator-Based Management Guarantee Effectiveness? », Revue d’économie du développement, Vol. 20, 2012/4, pp. 67-94.

PONS Xavier, « La médiatisation de PISA en France : travail journalistique et action publique », In Bouchard, Julie et al. 2015, La médiatisation de l’évaluation, Evaluation in the média, Peter Lang, pp. 193-214.

PONTILLE David, TORNY Didier, « Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion », Revue de la régulation, N°8, 2e semestre, Autumn 2010, en ligne URL : http://regulation.revues.org/8881

PONTILLE David, TORNY Didier, « Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES », Quaderni, N°77, 2012, pp.11-24.

RAVINET Pauline, « Comment le processus de Bologne a-t-il commencé ? La formulation de la vision de l’Espace Européen d’Enseignement Supérieur en 1998 », Education et sociétés, 2009/2, n° 24, pp. 29-44.

RAVINET Pauline, « La coordination européenne « à la bolognaise ». Réflexions sur l’instrumentation de l’espace européen d’enseignement supérieur », Revue française de science politique, 2011/1, Vol. 61, pp. 23-49.

SALMI Jamil & SAROYAN Alenoush, « Les palmarès d’universités comme moyen d’action : usages et abus », Politiques et gestion de l’enseignement supérieur, vol. 2, nº 19, 2007, pp. 33-74.

VATIN François, (2013). « Évaluer et valoriser », in Vatin F. (dir.), Évaluer et valoriser, Toulouse, Presses universitaires du Mirail, pp. 17-37.

VILKAS Catherine, 2009, « Des pairs aux experts : l’émergence d’un « nouveau management » de la recherche scientifique ? », Cahiers internationaux de sociologie, vol. 126, n° 1, pp. 61-79.