A la découverte de la recherche - mode de fonctionnement du programme-cadre - 2ème partie
Une fois que la politique, le champ d'application et les domaines spécifiques de recherche ont été définis, le rôle de la Commission se poursuit. Il lui faut désormais programmer les appels et commencer à évaluer les propositions qui lui parviennent. "Les programmes de travail sont remis à jour tous les ans. Nous commençons par préparer des descriptions détaillées dans certains domaines, mais pas forcément dans tous - les appels sont étalés dans le temps. Les programmes sont associés à des objectifs clairs. Nous sommes tenus de couvrir tous les objectifs de recherche. Nous disposons d'un budget annuel limité, par conséquent certains domaines doivent être laissés pour d'autres années", explique Graham Stroud, chef de l'unité en charge du support à la mise en oeuvre des programmes de recherche. Toutes les propositions éligibles doivent être évaluées, ce qui influence le moment où les appels peuvent être émis pour des raisons pratiques. "Nous avons un bâtiment qui est exclusivement dédié à l'évaluation des propositions car nous en recevons plus de 16.000 par an en moyenne. Chacune d'entre elles est évaluée par au moins trois experts externes", commente-t-il. Les appels de grande envergure nécessitent parfois de charger 600 experts voire plus de l'évaluation des propositions. "Même le système de soumission électronique comporte un élément physique et nous ne pouvons pas prendre le risque de malmener le système en clôturant trop d'appels en même temps. Evidemment, tout le monde remet toujours sa proposition au même moment, même si le système permet des soumissions répétées de nouvelles versions d'une même proposition", déclare-t-il. M. Stroud estime que les soumissions électroniques ont permis une hausse considérable de l'efficacité et qu'elles sont populaires, sachant qu'il n'y en avait pratiquement pas voilà trois ans et demi, alors qu'aujourd'hui, pratiquement 100 pour cent des propositions sont des soumissions électroniques. Seuls quelques appels plus anciens continuent d'autoriser les soumissions sur papier, mais le Septième programme-cadre (7e PC) reposera uniquement sur le système électronique. "Les soumissions électroniques améliorent le processus à deux titres: premièrement, nous pouvons appliquer un contrôle qualité - les soumissions doivent être accompagnées de tableaux financiers, et le système impose le remplissage de certains champs obligatoires. Mais l'erreur humaine génère toujours des irrégularités. Deuxièmement, le processus électronique ne s'appuie pas sur des facteurs aléatoires tels que les services postaux ou de livraison. "Avant les soumissions électroniques, il fallait qu'une personne tamponne chaque dossier individuel pour indiquer l'heure de réception, donnée par une horloge atomique, pour éviter toute contestation possible relative à l'arrivée des soumissions dans les temps. A leur réception, les propositions font l'objet d'un examen pour vérifier leur éligibilité. "C'est simple - elles doivent avoir une partie A et une partie B (A pour l'administration, B pour le contenu scientifique), arriver dans les délais prévus et se composer au moins du nombre de participants éligibles", précise-t-il. Environ 20 pour cent seulement des dossiers éligibles recevront un financement. Au moins trois experts issus de la base de données d'experts de la Commission sont choisis pour évaluer chaque proposition. La Commission essaie en permanence d'améliorer et d'élargir sa base de données d'experts. Il est possible de demander à figurer sur cette liste, et des appels sont lancés pour attirer des experts. Les organisations de recherche sont encouragées à proposer des noms. La base de données répertorie actuellement 50.000 individus, et tous les Etats membres peuvent y accéder. "L'évaluation des propositions est une démarche sérieuse", affirme M. Stroud. "Nous devons choisir les meilleurs individus. Nous avons des quotas à respecter en matière d'experts - par exemple 40 pour cent de femmes, mais c'est difficile à réaliser dans quelques domaines clés tels que la recherche nucléaire ou l'ingénierie. Le problème est que les chercheurs féminins de qualité sont déjà très sollicités car la plupart des agences de financement ont des quotas à respecter en matière d'experts féminins." Les experts, eux aussi, doivent répondre à certains critères: expertise, expérience, aucun conflit d'intérêt, et profil adéquat. "Certains programmes recourent à des outils informatiques pour mettre en évidence les conflits d'intérêt", explique M. Stroud. "Mais c'est un aspect compliqué et qui exige, d'une part, d'importantes vérifications de la part de la Commission et, d'autre part, de l'honnêteté de la part des experts. Les experts doivent signer une déclaration de conflit d'intérêt qui fait partie de leur contrat. Ils n'ont pas le droit de travailler sans." Chaque proposition est évaluée selon ses propres mérites et reçoit une note allant de un à cinq d'après une série de critères. Pour pouvoir passer à l'étape suivante, les propositions doivent obtenir une note minimale pour chaque critère, généralement au moins 3 sur 5, sauf dans la catégorie "qualité technique", pour laquelle une note d'au moins 4 sur 5 s'impose. Les propositions sont notées sur les points suivants: - pertinence par rapport au programme de travail; - qualité de la science - le critère le plus important de tous; - impact probable du projet; - gestion du projet - tout particulièrement important étant donné la composante communautaire - les projets réunissent en moyenne 10 partenaires de sept Etats, ce qui exige une gestion active; - ressources - sont-elles adéquates/raisonnables? Cela peut également influencer le financement. Le rôle de la Commission repose sur une neutralité informée, en cela qu'elle est chargée de la médiation et de l'animation des discussions, mais sans faire part de son avis. "Nous essayons d'aider les experts à parvenir à un consensus", affirme M. Stroud. "La plupart sont capables d'y parvenir. Si les commentaires et les notes sont similaires, aucune discussion complémentaire n'est nécessaire. En revanche, si les experts n'arrivent pas à se mettre d'accord, il faut désigner des experts supplémentaires. Si l'on n'arrive toujours pas à dégager un avis commun, les opinions minoritaires sont enregistrées", explique-t-il. Ensuite, des panels de 10 évaluateurs ou plus réalisent un contrôle qualité et classent les propositions. Le panel doit également départager les propositions qui ont reçu la même note et les classer par ordre de préférence. Les panels examinent scrupuleusement le travail des groupes de consensus. Par exemple, un groupe particulier donne-t-il de mauvaises notes parce que son style de notation est sévère ou parce que les propositions qu'il a évaluées sont d'une qualité inférieure? Les personnes qui déposent des propositions de grande envergure, par exemple dans le cadre d'un projet intégré ou d'un réseau d'excellence, sont souvent invitées à une "audience". Des questions sont envoyées aux soumissionnaires, auxquelles ils peuvent répondre par écrit, mais la plupart d'entre eux préfèrent se déplacer pour y répondre en personne. Ceux qui font l'objet d'une audience sont souvent impressionnés par la procédure. "Naturellement, les candidats dont la requête n'aboutit pas se plaignent des résultats de l'évaluation, tandis que ceux qui se rendent à une audience ne se plaignent pratiquement jamais, même si la proposition n'est finalement pas acceptée", commente M. Stroud. "Un rapport d'évaluation est finalement dressé par les experts à l'attention de la Commission, contenant une liste de propositions dans l'ordre prioritaire suggéré par les experts", déclare M. Stroud. "Un rapport d'évaluation sommaire est préparé pour chaque proposition. Il comporte des commentaires techniques, des critiques et des suggestions pour améliorer le projet; ce rapport est renvoyé aux soumissionnaires avant que toute décision soit prise, que la proposition remporte un financement ou non, et il ne constitue ni une offre, ni un refus." Les rapports d'évaluation sommaires de chaque proposition, accompagnés des notes et des commentaires, sont remis à la Commission, classés par ordre préférentiel. Il incombe alors à la Commission de partir des recommandations des évaluateurs pour dresser une liste définitive de propositions approuvées. Cependant, il est très rare que la Commission aille à l'encontre des conseils des experts - elle suit ces conseils dans "probablement 99 pour cent des cas". Le seul cas où la Commission ne suit peut-être pas la liste dressée par les experts est lorsqu'il existe des grappes de propositions couvrant un même domaine et qui ont toutes reçu une note très élevée, où lorsque des projets similaires reçoivent déjà un financement. Naturellement, les évaluations sont elles-mêmes évaluées, et les experts chargés de cette étape doivent faire part de leurs commentaires. "Nous désignons des observateurs indépendants qui sont présents lors des sessions d'évaluation et rendent compte du déroulement de cette étape. Il ne s'agit pas forcément d'individus spécialisés dans l'appel en question - nous voulons connaître leur avis sur le processus, pas sur les propositions", commente M. Stroud. Selon certaines critiques, la procédure d'évaluation est exécutée par un trop grand nombre d'évaluateurs issus du monde universitaire, et d'un nombre insuffisant d'acteurs du secteur industriel, dont l'opinion serait davantage orientée marché. "Les industriels devraient proposer leurs services ou ceux d'autres industriels en tant qu'experts des évaluations. Nous manquons toujours d'experts industriels (et de femmes)", déclare M. Stroud. Les évaluations sont présentées devant le comité de programme, accompagnées des rapports des observateurs et de la décomposition des statistiques. Deux listes sont remises: projets approuvés classés par ordre préférentiel; et projets refusés, soit parce qu'ils étaient inéligibles, soit parce qu'ils n'atteignaient pas les seuils minimaux. "Si la Commission va à l'encontre des conseils des évaluateurs, ses raisons sont passées au crible par le comité de programme", explique M. Stroud. La Commission ouvre ensuite les négociations avec les projets les plus aptes, "et se sert des commentaires des évaluateurs pour essayer d'améliorer les projets lors de la négociation", précise M. Stroud. Lorsque la Commission est prête à signer, les résultats de ces négociations sont présentés devant le comité de programme, qui rend alors son opinion formelle. "Il est faux de penser que des négociations se déroulent lors de l'étape de sélection des projets car ni le comité ni la Commission (dans l'ensemble) n'est en mesure de remettre en question les avis des experts sur les propositions. Par ailleurs, si chaque Etat membre est susceptible d'avoir ses propres intérêts à défendre, chaque projet implique plusieurs Etats membres et Etats associés", explique-t-il. Une fois les contrats signés, les projets font généralement l'objet d'un bilan annuel, composé d'un rapport de projet et de rapports financiers. "A la fin du projet, les derniers paiements sont retenus jusqu'à l'approbation du rapport final. Celle-ci est nécessaire et doit être accompagnée d'analyses destinées à la publication, même si les résultats sont sensibles sur un plan commercial. Nous n'insistons pas sur la publication des résultats confidentiels, mais tenons à la publication des analyses non sensibles d'un point de vue commercial", ajoute le chef de l'unité. M. Stroud insiste sur le fait que la recherche existe pour le bien de tout un chacun, et que les résultats devraient être utilisés. "Nous voulons que les résultats soient exploités", dit-il. "Les soumissionnaires se doivent de les exploiter eux-mêmes ou de les diffuser pour que d'autres puissent en profiter."