통계적 검정은 어떻게 하는가?

Table of Contents

• Introduction

• 통계적 가설(Statistical Hypothesis)이란?

• 검정통계량(Test Statistic)이란?

• 오류(Error)와 유의수준(Significance level)이란?

• Reference

 

Introduction

 현대의 통계학과 다르게 대푯값을 집계만 해도 괜찮았던 시기가 있었다. 평균을 구하거나 백분률을 계산하는 방식의 고전적인 통계는 19세기 초에 세계적으로 널리 확산됐다. 간호사로 알려져 있는 나이팅게일(Florence Nightingale, 1820 ~ 1910)도 이러한 방법을 사용해서 참전했던 군인들의 현황을 집계하여, 전시에 사망한 군인보다 야전 병원에서 병균으로 전염된 환자의 수가 많다는 것을 알 수 있었다. 이를 바탕으로 전장 물자 만큼 야전 병원의 중요성을 일깨웠으며, 이는 집계의 힘을 보여주고 있다.

 

 이후 통계학의 발전이 무섭게 이루어 졌으나, 병원을 청결하게 하면 정말 사망자가 줄어들지는 알 수 없다. 이러한 질문은 20세기에 발전한 통계학을 이해해야만 한다. 20세기 윌리엄 실리 고셋(William Sealy Gosset, 1876 ~ 1937)의 스튜던트 t 분포, 로널드 피셔(Ronald Fisher, 1890 ~ 1962)의 F분포 및 분산분석(Analysis of Variance), 칼 피어슨(Karl Pearson, 1857 ~ 1936)의 상관계수 등의 업적으로 더욱 발전하게 되었다. 

 

윌리엄 실리 고셋(왼), 로널드 피셔(가운데), 칼 피어슨(오)

 

통계적 가설(Statistical Hypothesis)이란?

 한 제약회사에서 코로나 바이러스 진단 키트를 개발하였는데 기존에 개발 했던 진단 키트는 평균 1일의 시간이 걸린다. 이 보다 진단하는 속도가 훨씬 단축되었다고 사내 연구원들이 주장하고 있다. 이러한 주장을 통계적 가설(Statistical Hypothesis)라고 한다.

 

 특히, 우리가 입증을 해내고자 하는 주장을 대립가설(H1 : Alternative Hypothesis)이라고 하며, 이와 반대되는 말을 귀무가설(H0 : Null Hypothesis)이라고 한다. 사내 연구원들은 새롭게 개발된 코로나 바이러스 진단 키트 진단 속도가 기존에 개발한 진단 키트의 진단 속도보다 앞당겼다고 주장한다. 이들의 주장을 수식으로 표현하면, μ < 1일 이라고 표현 할 수 있다.  이때의 귀무가설과 대립가설은 다음과 같다. 

 

귀무가설(H0) : μ ≥ 1

대립가설(H1) : μ < 1

 

검정통계량(Test Statistic)이란?

 통계적 가설을 채택하기 위해서 사용하는 통계량을 우리는 검점통계량(Test Statistic)이라고 한다. 우리는 검정통계량을 관측하여 대립가설 H1을 채택할 경우 "귀무가설 H0를 기각한다"고 하거나 "귀무가설 H0를 기각할 수 없다"고 표현한다.

 

 검정통계량의 관측값이 특정 영역에 존재할 경우 우리는 귀무가설 H0를 기각한다고 하는데, 이 영역을 기각역(Rejection region)이라고 부른다. 일반적으로 우리는 기각역을 표기할 때 상수 c로 표현하며, 앞선 제약회사에서 신규 진단 키트를 개발 했을 때 진단하는데 걸리는 시간이 평균 1시간이었다면, 우리는

형태로 사용한다.

 

오류(Error)와 유의수준(Significance level)이란?

 검정통계량의 관측값에 의해 두 가지의 통계적 가설(귀무가설과 대립가설) 중 어느 것이 옳은지는 증명할 수 없다. 따라서 우리는 검정 결과에 따라 결정했을 경우 두 가지의 오류를 발생할 수 있다.

현상	귀무가설(H0)의 주장이 맞다.	대립가설(H1)의 주장이 맞다.
검정 결과
H0 채택	정상적인 결정	제 2종 오류
H0 기각(H1 채택)	제 1종 오류	정상적인 결정

 아쉽게도 두 가지의 오류를 최소화 하는 방법은 없으나 우리가 주장하는 것을 틀리는 오류의 확률을 미리 지정해서 검정하는 방식이 전통적인 방식의 검정 방법이다. 즉, 기존에 가지고 있던 코로나 바이러스 진단 키트보다 새로 개발한 진단 키트의 진단 속도가 빠르다라는 주장과 다르게 샘플 데이터 중에서 기존 진단 키트가 진단 속도가 빠른 경우가 존재 할 수 있다. 이러한 경우 제 1종 오류에 빠질 수 있으며, 제 1종 오류가 발생 할 수 있는 확률의 최대 허용치를 유의수준(Significance level)이라고 하며, 보통 α = 0.01, α = 0.05, α = 0.1(최근에 사용 안함)과 같이 사용한다.

 

Reference

김우철 외, "현대통계학 4th"

위키피디아, "윌리엄 실리 고셀", https://en.wikipedia.org/wiki/William_Sealy_Gosset

위키피디아, "로날드 피셔", https://en.wikipedia.org/wiki/Ronald_fisher

위키피디아, "칼 피어슨", https://en.wikipedia.org/wiki/Karl_Pearson