La valeur p, ou probabilité critique, est fréquemment mal utilisées ou mal interprétée.
L'erreur la plus documentée consiste à la lire comme la probabilité que l'hypothèse nulle soit vraie, alors qu'elle mesure la probabilité des données observées sous cette hypothèse.
Lire (1 − p) comme la probabilité de répliquer le résultat, ou la significativité statistique comme une indication de l'importance de l'effet, sont d'autres erreurs répandues.
Des enquêtes empiriques montrent l'ampleur du phénomène : 97 % des psychologues académiques interrogés par M. Oakes en 1986 validaient au moins une interprétation erronée, de même en 2002 que la totalité des étudiants, 90 % des chercheurs et 80 % des enseignants de méthodologie interrogés par H. Haller et S. Krauss. Une revue systématique publiée en 2026, couvrant 55 études de 1963 à 2024, conclut que ces erreurs sont persistantes dans toutes les populations étudiées, y compris chez les personnes les plus formées.
La liste suivante clarifie certains points souvent mal compris concernant les valeurs p,, :
La valeur-p est parfois lue comme une mesure de la réplicabilité d'un résultat, 1 − p étant compris comme la probabilité qu'une répétition de l'expérience produise de nouveau un résultat significatif : « p = 0,03 » est lu comme « 97 % de chances de retrouver un résultat significatif ». Cette lecture est erronée : la probabilité qu'une répétition produise un résultat significatif dépend de la puissance statistique de cette répétition et de la taille réelle de l'effet, et non de la valeur-p observée. Dans une enquête menée auprès de 70 psychologues académiques, 42 croyaient qu'un résultat obtenu avec t = 2,7 (p = 0,01) serait de nouveau significatif dans 99 % des répétitions de l'expérience ; à la puissance usuelle de 0,50, la probabilité que trois réplications indépendantes soient toutes significatives est d'environ une sur huit. Cette interprétation figure parmi les plus fréquentes mesurées par les enquêtes empiriques : 60 % des psychologues académiques interrogés par M. Oakes la validaient, ainsi que 41 % des étudiants, 49 % des chercheurs et 37 % des enseignants de méthodologie interrogés par H. Haller et S. Krauss.
G. Gigerenzer nomme « mythe de la réplication » (replication delusion) la croyance qu'un résultat jugé significatif par le « rituel statistique », le test mécanique de l'hypothèse nulle contre le seuil de 0,05, établit un résultat qui se répliquera, et voit dans ce rituel l'une des causes de la crise de la réplication. Selon son hypothèse du rituel statistique, la pression pour obtenir des résultats significatifs encourage des pratiques de recherche discutables : dans une enquête anonyme auprès de plus de 2 000 psychologues, 94,0 % des répondants dans la condition incitant à la sincérité, et 91,4 % dans la condition contrôle, admettent au moins une pratique de ce type parmi les dix proposées, par exemple ne rapporter que les mesures donnant p < 0,05. Cette enquête mesure des pratiques déclarées et non la compréhension de la valeur-p ; le lien entre le rituel et ces pratiques reste, chez Gigerenzer, une hypothèse explicative.
La confusion entre significativité statistique et réplicabilité s'inscrit dans le contexte plus large de la crise de la reproductibilité, dénoncée dès 2005 par J. P. A. Ioannidis et documentée à partir de 2015 par des projets de réplication à grande échelle : la réplication coordonnée de 100 études expérimentales et corrélationnelles publiées dans trois revues de psychologie n'obtient un résultat statistiquement significatif que dans 36 % des cas. Dans ce contexte, la Société américaine de statistique rappelle en 2016 que la valeur-p ne mesure ni la probabilité que l'hypothèse testée soit vraie, ni la taille d'un effet, ni l'importance d'un résultat, et une tribune publiée dans Nature en 2019 et signée par plus de 800 chercheurs demande de renoncer à la classification des résultats en « statistiquement significatifs » ou non.
Le p-hacking désigne les pratiques consistant à collecter ou sélectionner des données ou des analyses statistiques jusqu'à ce qu'un résultat non significatif devienne significatif. La valeur-p n'étant pas une propriété des données seules, mais des données vues à travers un modèle, des choix d'analyse effectués après l'inspection des données, tels que la sélection des variables, des critères d'exclusion ou du critère de jugement, font que la valeur-p rapportée ne correspond plus à un test bien défini, mais à une série de comparaisons implicites dont le risque d'erreur n'est plus celui du seuil affiché.
Le p-hacking est cité parmi les facteurs de la crise de la reproductibilité. La Société américaine de statistique recommande en retour un rapport complet et transparent des résultats, sans se limiter aux résultats statistiquement significatifs.