통계 - 가설검정

통계적 가설 검정(Statistical hypothesis Test)과 p-value

 

표본에서 표본에서 얻은 사실을 근거로 하여 모집단에 모집단에 대한 가설이 가설이 맞는지 맞는지 통계적으로 통계적으로 검정하는 분석방법 (귀무가설과 귀무가설과 대립가설을 대립가설을 통해 통계적 가설검정 가설검정 수행 )

 

[귀무가설] - 직접 검정 대상이 대상이 되는 가설 (귀무가설은 기각이 기각이 목표 )

1) True 가능성이 적어 버릴 것이 예상되는 예상되는 가설

2) 귀무가설은 옳다는 가정하에 가정하에 시작

 

[대립가설] - 귀무가설에 대립되는 대립되는 가설 (대립가설은 채택이 채택이 목표 )

1) 귀무가설이 기각될 때 받아들여지는 받아들여지는 가설

2) 새로운 주장 또는 실제로 입증하고픈 가설

 

[통계적 가설 검정의 절차]

1단계: (통계)가설 H1과 H0의 설정

2단계: 통계분석방법 및 검정통계량 선택

3단계: 통계적 유의 수준(α)결정

4단계: 통계분석(검정통계량 계산)

5단계: 계산된 감정통계량의 p값을 유의 수준(α)과 비교

6단계: H0의 기각 혹은 수용 결정

 

[용어]

Ho : 귀무가설 /영가설 (예. 교육자소득 ≤ 비교육자소득)

H₁: 대립가설 /연구가설 (예. 교육자소득 > 비교육자소득 )

 

통계분석방법: 표본통계량의 표본분포 , 검정통계량 계산 등 고려한 방법

검정통계량: 표본통계량이 Ho 에서 모수 (parameter)에 대해 예측하는 수준에 얼마나 근접했는지 판단하게 판단하게 해주는 해주는 수치

유의수준(α, 알파값 ): Ho (귀무가설 )이 참이라는 전제하에 표본에서 계산된 검정통계량값이 표본분포에서 관찰될 확률

 

[임계치] - 가설기각과 비기각 (수용 )지역을 구분하는 검정통계량 값 기각 /수용

- Ho 기각 : p: p-value ≤ 유의수준 or 검정통계량 값 ≥ 임계치 임계치

- Ho 수용 : p: p-value ≥ 유의수준 or 검정통계량 값 ≤ 임계치 임계치

- 연구자는 p-value 수준이 본인이 설정한 유의도(알파값)보다 작으면 Ho 기각하고, H₁ 채택

 

 

통계적 유의성검정의 위기

 

통계적 가설검정은 두 개의 가설인 귀무가설과 대립가설을 상정하고, 자료에 기반해 두 개의 가설 중 하나를 선택하는 통계적 방법론을 말한다. 유의성검정은 가설검정 방법의 하나로 주로 p 값을 계산해서 수행한다. 미리 정해진 유의수준 값보다 p 값이 작으면 귀무가설을 기각하고, 크면 귀무가설을 채택한다. p 값은 귀무가설이 참일 때 관측된 자료보다 더 혹은 같은 수준으로 대립가설을 지지할 관측치를 얻을 확률이다.

 

유의성검정이 비판을 받게 된 이유는 무엇인가?

 

첫째로 p 값의 오용이다.

p 값을 대중화시키는 데 기여한 피셔는 p 값을 증거가 없는 가설을 걸러내기 위해 사용할 것을 제안했었다. 하지만 현재는 대립가설의 확증으로 쓰이고 있다. 이는 p 값에 대한 사용자들의 오해에서 비롯된 바가 큰데, 많은 사람들이 p 값을 귀무가설이 참일 확률로 이해하기 때문이다. p 값은 귀무가설이 참일 확률이 아닐 뿐더러 그 확률 값과의 차이도 크다는 것이 알려져 있다.

 

둘째는 p 값의 성질에서 기인한다.

대립가설에서 증명하고자 하는 효과의 크기가 의미 없을 정도로 작아도 관측치의 개수가 충분히 크면, p 값은 0에 가깝게 작게 되고 귀무가설을 기각할 수 있다. 사용자들은 p 값이 작으면 작을수록 효과의 크기가 커진다고 오해한다. p 값은 효과의 크기가 커도 작아지지만 관측치의 개수가 많아도 작아진다. 작은 p 값이 반드시 효과의 크기가 크다는 것을 의미하지는 않는다.

 

셋째는 p 값의 추적이라고 불리는 문제다.

많은 경우 연구자는 하나의 자료에서 통상적인 유의수준보다 작은 p 값을 갖는 가설이 나타날 때까지 무수히 많은 가설을 만든다. 이 중 유의한 가설을 보고할 때는 마치 처음부터 이 가설만 검정한 것처럼 보고한다. 문제는 많은 가설을 만들다 보면 p 값이 작은 가설을 만들어 낼 수 있다는 것이다. 유의수준 5%일 때 효과가 없는 가설을 20개를 만들어 내면 그 중 하나 정도는 효과가 있다고 귀무가설을 기각하게 된다. 미국통계학회는 2016년 발표한 정책 성명에서 유의한 p 값만을 선택적으로 보고하지 말고 자료수집과정과 수행된 모든 통계분석을 함께 보고하라고 추천했다.