P값

Z-점수를 우연의 확률로 변환하기

P값은 실제로는 아무런 효과가 없다고 가정할 때, 관찰된 것만큼 극단적인 결과가 순전히 우연으로 나타날 확률입니다. Z-점수를 입력하고 검정 유형을 선택하면 이 계산기가 이를 P값으로 변환합니다 — 결과가 통계적으로 유의미한지 판단하는 데 쓰이는 표준적인 수치입니다. 이미 계산된 Z-점수 대신 원시 표본 데이터를 가지고 있다면 먼저 Z-점수 계산기로 구하세요.

P값이 작을수록 관찰된 결과가 순전히 우연으로 발생했을 가능성이 낮다는 뜻이며, 이는 아무 실제 효과가 없다는 가정(“귀무가설”)에 반하는 더 강력한 증거가 됩니다. 오랫동안 여러 분야에서 관례적으로 P값이 0.05 미만이면 일반적으로 통계적으로 유의미하다고 간주해 왔습니다 — 그러나 이 기준은 자연의 법칙이 아니라 관례이며, 무엇이 “충분히 유의미한지”는 분야와 잘못된 결론의 대가에 따라 달라질 수 있습니다.

계산식

좌측검정(결과가 비정상적으로 낮은가?)의 경우:

$$p = \Phi(\vA{z})$$

우측검정(결과가 비정상적으로 높은가?)의 경우:

$$p = 1 - \Phi(\vA{z})$$

양측검정(결과가 어느 방향으로든 비정상적인가?)의 경우:

$$p = 2 \times \left(1 - \Phi(|\vA{z}|)\right)$$

여기서 $\vA{z}$는 Z-점수이고 $\Phi$는 표준정규분포의 누적분포함수입니다 — 그 분포에서 무작위로 뽑은 값이 주어진 지점 이하일 확률이며, 여기서는 잘 알려진 오차함수의 다항 근사식을 통해 계산됩니다.

계산 예시

1. Z-점수 1.96은 관례적인 95% 신뢰수준에서 양측검정의 교과서적인 기준점입니다: $p = 2 \times (1 - \Phi(1.96)) \approx 2 \times (1 - 0.975) \approx 0.0500$. 2. 약 0.05의 P값은 관례적인 유의성 기준선에 정확히 위치합니다. 3. 더 큰 Z-점수 2.576(99% 신뢰수준에 대한 양측검정 기준점)은 더 작고 더 유의미한 약 0.0100의 P값을 줍니다.

고려해야 할 주요 요소

• P값은 귀무가설이 참일 확률을 알려주지 않습니다. 이는 통계학에서 가장 흔한 오해 중 하나입니다 — 0.03의 P값은 귀무가설이 실제로 참이라고 가정했을 때 이만큼(또는 더) 극단적인 결과가 나타날 확률이 3%라는 의미이지, 귀무가설이 실제로 옳을 확률이 3%라는 의미가 아닙니다.
• 같은 Z-점수라도 단측검정과 양측검정은 서로 다른 P값을 주며, 잘못된 것을 선택하면 오해를 부를 수 있습니다. 단측검정은 한 특정 방향의 효과만 확인하는 반면, 양측검정은 어느 방향으로든 효과를 확인합니다 — 이 선택은 데이터를 보기 전에 실제 연구 질문에 따라 결정되어야 하며, 더 유리해 보이는 P값을 얻기 위해 나중에 선택해서는 안 됩니다.
• 통계적 유의성과 실질적 유의성은 서로 다른 것입니다. 표본 크기가 충분히 크면, 실질적으로 거의 무의미한 작은 효과라도 매우 작은 P값을 낼 수 있습니다 — 통계적으로 유의미한 결과가 자동으로 중요하거나 큰 실제 효과인 것은 아니며, P값과 함께 효과 크기도 고려해야 합니다.
• 관례적인 0.05 기준은 널리 쓰이는 관례일 뿐, 보편적인 과학 법칙이 아닙니다. 입자물리학 같은 일부 분야는 발견을 선언하기 전에 훨씬 더 엄격한 기준을 요구하는 반면, 다른 분야는 0.05를 합리적인 기준으로 취급합니다 — 무엇이 “충분히 유의미한지”는 분야와 잘못될 경우의 대가에 따라 달라집니다.

흔한 실수

• 결과를 본 뒤에 검정 유형을 결정하는 것. 단측검정과 양측검정 중 어떤 것을 사용할지는 데이터를 손에 넣기 전에 실제 연구 질문에 따라 결정되어야 합니다 — 나중에 더 작은 P값을 내는 검정으로 바꾸는 것은 의도하지 않았더라도 데이터 조작의 한 형태입니다.
• 효과 크기에 대한 어떤 척도도 없이 P값만 보고하는 것. P값은 귀무가설 하에서 결과가 얼마나 있을 법하지 않은지만을 말해줄 뿐입니다 — 그 결과가 실제로 얼마나 크거나 의미 있는지는 전혀 알려주지 않으며, 그래서 P값은 보통 단독이 아니라 신뢰구간이나 효과 크기와 함께 보고됩니다.
• p = 0.049와 p = 0.051을 근본적으로 다른 결과로 취급하는 것. 0.05라는 기준선은 관례일 뿐, 자연에 존재하는 명확한 경계선이 아닙니다 — 이렇게 가까운 두 결과는 하나가 기술적으로 기준을 넘고 다른 하나는 넘지 못하더라도 증거의 힘에서는 사실상 동일합니다.
• 많은 검정을 수행하고 유의미하게 나온 것만 보고하는 것. 충분히 많은 비교를 검정하다 보면 결국 순전히 우연으로도 “유의미한” 결과가 나오기 마련입니다 — P값의 의미는 사전에 계획된 단일 검정을 전제로 하며, 여러 결과 중 골라낸 최선의 결과를 전제로 하지 않습니다.

알아두면 유용한 정보

• 이미 알려진 Z-점수가 아니라 원시 표본 데이터에서 시작하시나요? Z-점수 계산기는 알려진 평균과 표준편차에 대한 원시 값을 이 계산기가 필요로 하는 Z-점수로 변환해 줍니다.
• 단일한 유의성 판정 대신 그럴듯한 값의 범위를 원하시나요? 신뢰구간 계산기는 불확실성을 구간으로 표현하며, P값을 대체하기보다는 흔히 함께 쓰이는 도구입니다.
• 먼저 원시 숫자 목록에서 평균, 표준편차, 분산 같은 요약 통계가 필요하신가요? 통계 계산기는 데이터에서 직접 이를 계산해 줍니다.