Ce mois-ci, j’aimerais discuter des préoccupations qui touchent de nombreux membres de notre communauté et qui concernent la manière dont la qualité de la recherche est évaluée.
Comme je l’ai mentionné dans mon dernier message, pour les entreprises, une telle évaluation est relativement facile – il suffit d’examiner la colonne des profits et pertes. Dans la recherche académique, les mesures de succès sont plus complexes ; rendre justice à la science demande une analyse multidimensionnelle. Malheureusement, ceux qui décident ultimement du financement de la recherche ne sont pas nécessairement des spécialistes – et trop souvent, ils se concentrent principalement sur la bibliométrie, telle que le nombre de citations que la publication d’un(e) scientiste a attiré, leur h-index, et ainsi de suite.
Bien que le nombre de citations ait potentiellement une signification en tant qu’indicateur de l’influence d’un article ou d’un(e) scientiste dans un domaine donné, l’évaluation est plus difficile pour les articles très récents qui n’ont pas eu le temps d’attirer des citations. Dans ce cas, une habitude courante est d’examiner les citations qu’un journal particulier a attirées par le passé, en utilisant une mesure telle que le Journal Impact Factor de la société d’analyse Clarivate. Cependant, la relation entre la qualité d’un article de recherche et la performance à long terme du journal dans lequel il est publié est extrêmement indirecte, pour le moins que l’on puisse dire. Néanmoins, certaines agences de financement exigent que les résultats d’un projet soient publiés uniquement dans un journal figurant dans le quartile supérieur en fonction du facteur d’impact. Ce n’est pas un bon développement.
Il y a onze ans, un groupe d’éditeurs et de responsables éditoriaux a formulé des recommandations à l’intention des agences de financement, des institutions académiques, des revues, des organisations fournissant des métriques et des chercheurs individuels. Ces recommandations ont été consignées dans la Déclaration de San Francisco sur l’Évaluation de la Recherche (DORA ; sfdora.org). Plus de 24 000 individus et organisations (y compris Optica) dans 165 pays ont signé la déclaration au cours de la dernière décennie. En décembre 2023, l’une des signataires, l’Université Sorbonne à Paris, a même mis fin à son abonnement aux outils bibliométriques (y compris Web of Science) proposés par Clarivate. Cependant, certaines personnes continuent de rechercher des indicateurs de qualité simplistes – et le Journal Impact Factor, un critère de qualité douteux pour un article singulier, continue d’être utilisé.
Nous pouvons tous convenir que tout article scientifique mérite d’être examiné minutieusement. Pour la plupart des articles, cela se produit à plusieurs reprises et de manière indépendante – par la revue lors du processus d’évaluation par les pairs ; par une ou plusieurs agences de financement ; par des comités de recherche ; voire par d’autres instances. Cette répétition ne semble pas très efficace. Compte tenu du désir apparent et continu d’une marque de qualité facile à utiliser, il serait souhaitable d’introduire davantage d’efficacité – par exemple, en utilisant le résultat du processus initial d’évaluation par les pairs. Un certain nombre de revues, y compris certaines publications d’Optica, proposent déjà une évaluation transparente par les pairs, dans laquelle les auteurs et les examinateurs peuvent convenir de rendre l’ensemble de la correspondance d’évaluation par les pairs disponible en tant que partie intégrante de l’article publié. Bien que constituant une avancée dans la bonne direction, cela ne fournit pas une marque de qualité facilement utilisable par des non-spécialistes.
Comment cette situation peut être améliorée devrait être un sujet d’intérêt pour tous au sein de la communauté de recherche scientifique.
Gerd Leuchs,
Président d’Optica