Une étude espagnole met en doute des statistiques de la recherche
Les scientifiques et les rédacteurs des journaux scientifiques sont instamment priés d'accorder une attention particulière à la qualité des statistiques utilisées dans les documents de recherche, après qu'une nouvelle étude a révélé la présence massive d'erreurs mathématiques dans deux publications scientifiques de premier plan. Emili García-Berthou et Carles Alcaraz, deux biostatisticiens de l'université de Girona en Espagne, ont cherché à examiner l'ampleur des erreurs statistiques décelées dans quatre éditions de Nature et deux volumes du British Medical Journal (BMJ) de 2001. Les deux scientifiques ont décidé de recalculer les " valeurs P " relatives aux résultats publiés sélectionnés. La valeur P est le moyen par lequel les chercheurs estiment si leurs résultats ont une signification statistique. En règle générale, une valeur P inférieure à 0,05 est jugée significative et peu susceptible d'être due au hasard. Des progiciels mathématiques ont servi à recalculer les valeurs P fondées sur des chiffres importants figurant dans les documents de recherche. Les deux scientifiques ont découvert que leurs résultats différaient de la valeur P publiée dans 11% des cas et que des erreurs mineures, notamment des erreurs d'arrondissement, étaient présentes dans 38% des publications de Nature et 25% de celles du BMJ. Sur les 27 erreurs de valeur P décelées par les chercheurs, seule une concernait un résultat significatif devenu un résultat non significatif. Pourtant, même si bon nombre des erreurs étaient trop insignifiantes pour avoir un impact notable sur le résultat global de la recherche, certains estiment que c'est le signe d'une négligence généralisée vis-à-vis des statistiques scientifiques. Philip Campbell, rédacteur en chef de Nature, a affirmé que le journal analyserait de plus près les chiffres de cette étude critique avant de décider des mesures à prendre. Entre-temps, Richard Smith, rédacteur en chef du BJM, a proposé que les chercheurs ou les journaux publient davantage de données brutes sur Internet, où d'autres pourraient les vérifier.