6.1.2 Evaluer la feuille de route nationale des infrastructures de recherche

← 6.1.1 Evaluer la Stratégie Nationale de Recherche

↑ 6.1 Evaluer les politiques de recherche

6.1.3 Evaluer les autres politiques de recherche →

---

Les éléments ci-dessous proviennent de documents de travail préparatoires, et peuvent servir de guide pour la construction, le pilotage et l'autoévaluation d'une infrastructure de recherche par le ou les organismes de recherche qui la portent.

Toutefois aucune méthode n'a été officialisée à ce jour pour évaluer les infrastructures de recherche ni par le ministère chargé de la recherche ni par le HCERES. Des évaluations ponctuelles de certaines infrastructures de recherche ont été faites à leur demande par le HCERES.

Objectif

Evaluer la feuille de route nationale des infrastructures de recherche

Périmètre

Infrastructures de recherche nationales de la feuille de route. Evaluation est à la fois scientifique et budgétaire.

Description du processus

La feuille de route nationale des infrastructures de recherche (2012/2020) établit une liste des infrastructures prioritaires, existantes ou en projet, dans tous les domaines de recherche, qu'il s'agisse d'OI, de TGIRCf. Très grandes infrastructures de recherche., d'IR nationales ou de participations aux infrastructures européennes ESFRICf. European Strategy Forum on Research Infrastructures. (ou autres) et/ou aux grands programmes.

L'évaluation, sous l'égide du Comité-Directeur des TGIRCf. Très grandes infrastructures de recherche., présidé par le DGRICf. Direction générale de la recherche et de l'innovation. (MENESRCf. Ministère de l'Education Nationale, de l'Enseignement supérieur et de la Recherche.), consiste :

• D'une part, à mesurer périodiquement le niveau de réalisation de cette feuille de route, sur le plan financier (engagé vs budget, engagé et reste à engager versus budget à terminaison) et sur le plan technique (planning / jalons d'avancement) ;
• D'autre part à mesurer l'impact de la mise en place des TGIRCf. Très grandes infrastructures de recherche. prévues dans la feuille de route sur la production scientifique, sur l'environnement pédagogique (thèses, doctorants), sur le contexte économico-industriel, et sur l'environnement économique.

Objets métiers

Les indicateurs d'évaluation de la performance et de mesure d'impacts des infrastructures de recherche répertoriés

Ils peuvent être classés dans les grands groupes suivants :

• Définition / classification des infrastructures :
• Coûts de construction, d'investissement et de fonctionnement
• Effectifs, qualifications, types d'activités (opération, recherche, support)
• Taux d'occupation
• Ratio Fonctionnement/Investissement
• Ratio activité de service vs activité de recherche propre / activité d'entretien et de maintenance des performances
• Spectre d'utilisation/diversité des communautés d'utilisateurs : Cet indicateur peut être important pour définir la pluralité ou la polyvalence de certaines infrastructures de recherche. Plus le spectre d'utilisateurs est large, plus l'infrastructure est considérée comme un outil. Un exemple adapté à cette notion d'ouverture est par exemple une source de rayonnement synchrotron qui est utile pour les études de sciences de la matière, de la biologie structurale ou même pour des disciplines aussi éloignées des celles-ci comme l'archéologie, l'art ou la préservation du patrimoine culturel. Il en va de même avec les super-ordinateurs ou les grilles de calcul et de données, qui ont vocation à servir toutes les disciplines scientifiques
• Spectre de « clients » de l'infrastructure de recherche (en montant et en en nombre) de la sphère publique et de la sphère privée.
• Taux d'ouverture à la communauté nationale/internationale (en montant, en nombre de contrats, en nombre de pays / partenaires) ;
• Partenariats avec d'autres TGI, fonctionnement en réseau : part relative des ressources allouées au fonctionnement distribué ;
• Accès à la recherche privée (en montant et en nombre de contrats)

Mesure de la dimension scientifique des infrastructures

• Réponse aux besoins de la communauté (à définir)
• Production scientifique : volume réalisé avec l'aide d'une infrastructure de recherche : La production scientifique liée à l'utilisation d'une infrastructure (ou rendue possible par cette infrastructure). Cette production est un indicateur de la qualité scientifique du travail qui est effectué sur les TGI, mais c'est aussi un outil d'appréciation du caractère multidisciplinaire des usages et des coopérations entre équipes de recherche. L'indicateur reprendra donc les indicateurs relatifs aux publications, brevets, co-publications et co-brevets.
• Mesures de l'impact pédagogique des infrastructures : Les coûts de ces infrastructures sont relativement importants et justifient donc d'être inscrits dans une programmation qui se décline en années et même en dizaines d'années. En même temps qu'on planifie la construction d'un grand équipement sur dix ou vingt ans ou plus, il est indispensable de s'assurer que lorsque l'instrument sera prêt à être exploité, les compétences humaines nécessaires existeront. La prise en compte de la dimension « formation » est donc de première importance pour accompagner une politique de grands équipements.
  • Nombre de doctorants et post-doctorants accueillis
  • Niveau de support à l'enseignement universitaire : Taux d'utilisation consacré à l'enseignement supérieur.
  • Formation des opérateurs

Mesures de transferts technologiques

Ce groupe d'indicateurs permet d'inscrire l'infrastructure dans le contexte économico-industriel, en mettant en avant l'impact sur l'industrie et les transferts technologiques

• Partenariats industriels (en montants et en nombre de contrats) ;
• Dépôts de brevets par des équipes propres de la TGIRCf. Très grandes infrastructures de recherche., soit en collaboration avec des entreprises partenaires pour la construction et l'exploitation des équipements.

Mesures économiques

Ce groupe d'indicateurs permet de mesurer l'impact sur l'environnement économique, la construction et l'exploitation du TGIRCf. Très grandes infrastructures de recherche. injectant dans l'économie locale ou nationale des montants conséquents:

• Créations d'emplois liés à la construction ou l'exploitation des TGIRCf. Très grandes infrastructures de recherche.
• Créations d'entreprises liées à la construction ou l'exploitation des TGIRCf. Très grandes infrastructures de recherche.
• Retombées sur les entreprises locales : Volume des achats effectués avec des entreprises locales : investissements (infrastructures, bâtiments, machines) et services nécessaires au fonctionnement, que ce soient des services spécifiques à l'infrastructure, comme les services de base (eau, électricité, nettoyage, maintenance, prestations hôtelières, etc...).

Services attendus des systèmes d'information

Ces mesures doivent être produites automatiquement à partir des systèmes d'information opérationnels

Au niveau d'une infrastructure de recherche

Les indicateurs ci-dessus, doivent pouvoir être produits de manière automatique, à partir de données d'activité, financières, contractuelles gérées par le système d'information de gestion d'une infrastructure de recherche.

• Intégration du référentiel national des infrastructures de recherche et données associées (cf. Processus 1.5.1 et volet Référentiels et nomenclatures du cadre de cohérence) ;
• Gestion financière et comptable de l'infrastructure (coûts de construction, d'investissement et de fonctionnement, ratio Fonctionnement/Investissement) ;
• Gestion des ressources humaines de l'infrastructure de recherche (Effectifs, qualifications)
• Gestion de l'activité de l'infrastructure de recherche (opération, recherche, support)
• Gestion du plan de charge de l'infrastructure de recherche (taux d'occupation)
• Gestion de la maintenance de l'infrastructure de recherche
• Gestion contractuelle de l'infrastructure de recherche.

Les indicateurs ci-dessus, doivent pouvoir être produits de manière automatique, à partir de données liées aux activités de valorisation d'une infrastructure :

• Gestion contractuelle (prestations facturées à des tiers).
• Gestion des brevets déposés par les équipes propres de l'infrastructure de recherche.

Au niveau de l'école doctorale

• Relier l'utilisation d'une infrastructure de recherche à un projet de recherche et donc à sa production (publications) ou au doctorant

Au niveau de la structure de recherche

• Relier l'utilisation d'une infrastructure de recherche à un projet de recherche et donc à sa production (publications)
• Gérer l'activité et le plan de charge de l'infrastructure de recherche et catégoriser son catalogue de services, à minima en trois groupes :
  • Services dédiés à l'enseignement supérieur
  • Services dédiés à la recherche publique
  • Services facturés à des tiers.