P値

Zスコアを偶然の確率に変換する

P値とは、実際には本物の効果がない場合に、観測された結果と少なくとも同じくらい極端な結果が純粋に偶然で観測される確率です。 Zスコアを入力し検定タイプを選ぶと、この計算機はそれをP値に変換します — これは結果が統計的に有意かどうかを判断するために使われる標準的な数値です。すでに計算されたZスコアではなく生の標本データがある場合は、まずZスコア計算機で求めてください。

P値が小さいほど、観測された結果が偶然だけで起こる可能性が低いことを意味し、これは何も本物のことが起きていないという想定(「帰無仮説」)に対するより強い証拠になります。ほとんどの分野の長年の慣習では、P値が0.05未満の場合、一般的に統計的に有意とみなされます — しかしそのしきい値は自然の法則ではなく慣習であり、何が「十分に有意」とみなされるかは分野や誤った結論のコストによって異なることがあります。

計算式

左側検定(結果は異常に低いか？)の場合:

$$p = \Phi(\vA{z})$$

右側検定(結果は異常に高いか？)の場合:

$$p = 1 - \Phi(\vA{z})$$

両側検定(結果はどちらの方向でも異常か？)の場合:

$$p = 2 \times \left(1 - \Phi(|\vA{z}|)\right)$$

ここで$\vA{z}$はZスコア、$\Phi$は標準正規分布の累積分布関数です — その分布からランダムに抽出された値が特定の点以下になる確率であり、ここでは誤差関数のよく確立された多項式近似を使って計算されます。

計算例

1. Zスコア1.96は、慣習的な95%信頼度での両側検定の教科書的な基準点です: $p = 2 \times (1 - \Phi(1.96)) \approx 2 \times (1 - 0.975) \approx 0.0500$。2. 約0.05のP値は慣習的な有意基準のちょうど境界にあります。3. より大きいZスコア2.576(99%信頼度の両側検定の基準点)は、より小さくより有意な約0.0100のP値を与えます。

考慮すべき重要なポイント

• P値は帰無仮説が真である確率を示すものではありません。 これは統計学において最もよくある誤解の一つです — P値0.03は、帰無仮説が真であった場合にこれほど極端な(またはそれ以上に極端な)結果が観測される確率が3%であることを意味し、帰無仮説自体が実際に正しい確率が3%であることを意味するわけではありません。
• 同じZスコアに対する片側検定と両側検定は異なるP値を与え、誤った方を選ぶと誤解を招く可能性があります。 片側検定は特定の1つの方向にのみ効果があるかどうかを確認するのに対し、両側検定はどちらの方向にも効果があるかどうかを確認します — この選択は、より有利に見えるP値を得るために後から選ぶのではなく、データを見る前に実際の研究課題に基づいて決定すべきです。
• 統計的有意性と実質的な有意性は別のものです。 十分に大きなサンプルサイズがあれば、実際にはごくわずかで実質的に意味のない効果でも非常に小さいP値を生み出すことがあります — 統計的に有意な結果が自動的に重要または大きな現実世界の効果を意味するわけではなく、P値と合わせて効果量も考慮すべきです。
• 慣習的な0.05というしきい値は広く使われている慣習であり、普遍的な科学法則ではありません。 一部の分野(素粒子物理学など)では発見を宣言する前にはるかに厳しいしきい値を要求しますが、他の分野では0.05を妥当な基準として扱います — 何が「十分に有意」とみなされるかは、その分野と誤りのコストによって決まります。

よくある間違い

• 結果を見た後で検定タイプを決めてしまう。 片側検定と両側検定のどちらを使うかは、データを手にする前に実際の研究課題に基づいて決めるべきです — 後からより小さいP値を出す方の検定に切り替えるのは、たとえ意図的でなくても一種のデータ操作です。
• 効果量の指標を示さずにP値だけを報告してしまう。 P値は帰無仮説の下である結果がどれほど起こりにくいかしか示しません — その結果が実際にどれほど大きい、あるいは意味があるかについては何も語らないため、P値は通常、単独ではなく信頼区間や効果量とあわせて報告されます。
• p = 0.049とp = 0.051を根本的に異なる結果として扱ってしまう。 0.05という境界線は慣習であり、自然界の明確な一線ではありません — これほど近い2つの結果は、一方が技術的にしきい値をクリアし、もう一方がクリアしなくても、証拠の強さとしては実質的に同じです。
• 多くの検定を行い、有意になったものだけを報告してしまう。 十分な数の比較を検定すれば、いずれは純粋な偶然だけで「有意な」結果が出てきます — P値の意味は、単一の、事前に計画された検定を前提としており、多数の中から選び取った最良の結果を前提としていません。

知っておくと役立つこと

• 既知のZスコアではなく、生の標本データから始めますか？Zスコア計算機は、既知の平均と標準偏差に対する生の値を、この計算機が必要とするZスコアに変換します。
• 単一の有意性の判定ではなく、妥当な値の範囲が欲しいですか？信頼区間計算機は不確実性を区間として表現するもので、P値の代わりというより、その一般的な相棒です。
• まず生の数値リストから平均、標準偏差、分散などの要約統計量が必要ですか？統計計算機はそれらをデータから直接計算します。