어디에도 유도되어 있지 않다
논문에서 p < 0.05가 나오면 발표되고, 0.06이 나오면 서랍에 들어간다. 이 선은 어디서 왔는가.
찾아보면 유도한 사람이 없다. 확률론의 어떤 정리도 0.05를 내놓지 않는다.
1925년 피셔는 『연구자를 위한 통계적 방법』에서 이렇게 썼다. 표준편차 두 배를 벗어나는 편차는 유의하다고 보는 것이 편리하다고. 정규분포에서 2σ 바깥은 약 5%다. 그리고 그는 덧붙였다 — **"편리하다"**고.
이유는 실무적이었다. 컴퓨터가 없던 시절, 임계값 표를 인쇄해 배포해야 했다. 표에 실을 문턱을 몇 개 골라야 했고, 5%와 1%가 적당했다.
무엇을 뜻하는지도 자주 틀린다
p값은 가설이 참일 확률이 아니다. 귀무가설이 참이라고 가정했을 때, 관찰된 것만큼 극단적인 결과가 나올 확률이다.
p = 0.03은 "이 효과가 진짜일 확률이 97%"라는 뜻이 아니다. "효과가 없다면 이런 자료가 나올 확률이 3%"라는 뜻이다. 두 문장은 전혀 다르다.
혼동은 두 학파를 섞어 쓰는 데서 온다. 피셔의 p값은 증거의 세기를 재는 연속적인 눈금이었다. 네이만·피어슨의 가설검정은 오류율을 미리 정하고 결정을 내리는 규칙이었다. 오늘날의 관행은 둘을 섞어, 연속적인 눈금을 이분법적 판정에 쓴다.
문턱이 있으면 문턱을 향해 움직인다
문제는 개념이 아니라 유인이다. 발표가 문턱에 걸리면, 연구는 문턱을 넘기 위해 움직인다.
변수를 몇 개 더 넣어보고, 이상치를 빼보고, 표본을 조금 더 모아보고, 하위 집단으로 쪼개본다. 각 단계는 그 자체로 부정이 아니지만, 유의해질 때까지 반복하면 우연히 5%를 넘길 확률이 급격히 올라간다.
발표된 논문의 p값 분포를 모아보면 0.05 바로 아래가 부자연스럽게 불룩하다. 자연이 그렇게 생겼을 리 없다. 선 앞에서 멈춘 연구는 서랍에 들어가고, 선을 넘은 연구만 세상에 나온 것이다.
청구서가 돌아왔다
2015년, 심리학 논문 100편을 다시 실험했다. 통계적으로 유의한 결과가 재현된 것은 36편이었다. 재현성 위기라 불린 이 사건은 암 생물학·경제학에서도 비슷한 비율로 확인됐다.
원인은 조작이 아니었다. 대부분은 성실한 연구자들이 관행대로 한 결과였다. 기준이 느슨하면 무엇이 참인지가 아니라 무엇이 발표되는지가 결정된다.
무엇이 바뀌었나
대응은 문턱을 옮기는 쪽이 아니라 절차를 고치는 쪽으로 갔다.
사전등록 — 자료를 보기 전에 분석 계획을 공개한다. 나중에 분석을 고쳐 쓸 여지를 없앤다. 무작위 대조 시험에서 이미 하던 것을 다른 분야로 넓힌 것이다.
효과크기와 신뢰구간 병기 — 유의한가만 묻지 말고 얼마나 큰가를 함께 보고한다. 표준편차 대비 얼마인지가 p값보다 많은 것을 말한다.
음성 결과도 발표 — 효과가 없었다는 것도 정보다.
남은 것
0.05는 자연의 상수가 아니라 인쇄 편의에서 나온 관습이다. 그런데 100년 동안 과학 전체가 그 위에서 참·거짓을 갈랐다.
피셔의 실험계획이 통계를 자료의 요약에서 자료의 설계로 옮겼다면, 재현성 위기는 그 설계에 판정 기준까지 포함되어야 한다는 것을 뒤늦게 가르쳤다. 어디에 선을 긋느냐가 무엇이 참이 되는지를 바꾼다.