일원 분산 분석
일원 분산 분석(ANOVA)이란 무엇인가요?
일원 분산 분석(ANOVA)은 3개 이상 그룹의 평균 차이를 검정하는 통계적 방법입니다.
일원 분산 분석은 어떻게 사용되나요?
일원 분산 분석은 일반적으로 하나의 독립 변수 또는 요인이 있는 경우 사용되며, 목표는 변형 또는 여러 수준의 해당 요인이 종속 변수에 대해 측정 가능한 영향이 있는지 조사하는 것입니다.
고려해야 하는 제한 사항은 무엇인가요?
일원 분산 분석은 단일 요인 및 단일 종속 변수를 조사할 경우에만 사용할 수 있습니다. 3개 이상 그룹의 평균을 비교하는 경우에는 1개 이상의 평균 쌍이 유의하게 다른지 알 수 있지만 어떤 쌍인지는 알 수 없습니다. 또한 종속 변수는 각 그룹에서 정규 분포를 이뤄야 하며 그룹 내 변동은 그룹 전반에서 유사해야 합니다.
일원 분산 분석은 그룹 평균의 차이에 대한 검정입니다.
일원 분산 분석은 3개 이상 모집단 평균이 동일하다는 귀무가설(H0) 및 1개 이상 평균이 서로 다르다는 대립가설(Ha)을 검정하는 통계적 방법입니다. k 평균에 관한 통계적 가설의 공식 표기법을 사용하여 다음을 작성합니다.
$ H_0:\mu_1=\mu_2=\cdots=\mu_k $
$ H_a:\mathrm{not\mathrm{\ }all\ means\ are\ equal} $
여기서 요인에 대한 $\mu_i$는 i번째 수준의 평균입니다.
그렇다면 어떤 상황에서 여러 모집단의 평균이 동일하거나 서로 다른지 여부를 판단해야 할까요? 일반적인 사례는 특정 독립 프로세스 변수가 해당 프로세스에 대한 중요한 결과의 동인이라고 의심하는 경우입니다. 예를 들어 생산 로트, 운영자 또는 원자재 배치가 생산 프로세스의 결과물에 얼마나 다른 영향을 주는지(품질 측정)에 의문을 가질 수 있습니다.
이러한 의문을 검정하기 위해 이 독립 변수(요인)의 3개 이상 변동(수준)을 사용하여 프로세스를 실행한 다음, 각 실행의 결과에서 관측치 표본을 선택할 수 있습니다. 분산 분석을 사용하여 각 관측치 그룹의 평균을 비교할 때 차이를 찾는 경우(모든 것을 정확하게 수행했다고 가정) 해당 의문이 정확했다는 근거가 있습니다. 조사한 요인이 결과에서 일정 역할을 하는 것 같습니다!
일원 분산 분석 예제
일원 분산 분석 예제를 자세히 살펴보겠습니다. 작은 병에 담아 판매되는 접착 젤을 제조하는 회사에서 근무한다고 가정해 보겠습니다. 젤의 점착력은 중요합니다. 너무 진하면 바르기가 어렵고, 너무 연하면 착력이 떨어집니다. 최근에 귀사 접착제의 점착력 품질이 예전 만큼 일관되지 않다고 불평하는 몇몇 고객의 피드백을 받았습니다. 상사가 이를 조사해 보라고 요청했습니다.
가장 최근 생산한 로트 5개의 평균 점착력을 검사해보기로 결정했습니다. 로트 간 차이를 찾는 경우 이 차이는 실제로 문제가 있음을 확인하는 것 같습니다. 또한 로트 간 일관성이 없는 상태를 초래할 수 있는 요인에 관한 가설 수립을 시작하는 데 도움이 됩니다.
접착제 병에 담긴 스핀들을 회전하는 기기를 이용하여 점착력을 측정합니다. 이 검정에서는 토크 저항이라는 측정치가 생성됩니다. 가장 최근의 5개의 로트에서 무작위로 선택된 병 5개를 검정합니다. 각 병의 토크 저항 측정치를 구하고 데이터를 도표로 그립니다.
데이터 도표에서 로트 3 병의 토크 측정치가 다른 로트에서 가져온 표본의 토크 측정치보다 낮은 경향이 있는 것으로 나타납니다. 모든 측정치의 평균을 계산하면 로트 3의 평균 토크는 26.77이며, 이는 다른 각 로트 4개의 평균인 30 정도보다 훨씬 낮은 것으로 확인됩니다.
테이블 1: 접착제 로트 5개에 대한 검정의 평균 토크 측정치
| 로트 번호 | N | Mean |
|---|---|---|
| 1 | 5 | 29.65 |
| 2 | 5 | 30.43 |
| 3 | 5 | 26.77 |
| 4 | 5 | 30.42 |
| 5 | 5 | 29.37 |
분산 분석 테이블
분산 분석 결과는 일반적으로 분산 분석 테이블에 표시됩니다. 분산 분석 테이블에는 다음이 포함됩니다.
- 소스: 검사되는 요인(이 경우 로트), 오차 및 합계를 포함한 변동 요인입니다.
- DF: 각 변동 요인에 대한 자유도입니다.
- 제곱합: 모든 소스의 총계와 함께 각 변동 요인의 SS(제곱합)입니다.
- 평균 제곱: 제곱합을 관련 자유도로 나눈 값입니다.
- F 비율: 요인(로트)의 평균 제곱을 오차의 평균 제곱으로 나눈 값입니다.
- Prob > F: p 값입니다.
테이블 2: 토크 측정치의 결과가 포함된 분산 분석 테이블
| 소스 | DF | 제곱합 | 평균 제곱 | F 비 | Prob > F |
|---|---|---|---|---|---|
| 로트 | 4 | 45.25 | 11.31 | 6.90 | 0.0012 |
| 오차 | 20 | 32.80 | 1.64 | ||
| 합계 | 24 | 78.05 |
아래에서 이 테이블의 성분이 어떻게 도출되는지 설명하겠습니다. 이 테이블에서 주목해야 할 한가지 주요 요소는 p 값입니다. p 값은 모든 평균이 동일하다는 귀무가설의 타당성을 평가하는 데 사용됩니다. 이 예제에서 p 값 (Prob > F) 은 0.0012입니다. 값이 작은 p 값은 평균이 일부 동일하지 않다는 근거로 사용될 수 있습니다. 이 표본은 로트 5개 중 1개 이상 로트 간에 평균 토크 저항 값에 차이가 있다는 근거를 제시합니다.
p-값이란 무엇인가요?
p-값은 가설 검정에 사용되는 확률 측도입니다. 가설 검정의 목표는 데이터에 관한 특정 가설을 지지할 충분한 근거가 있는지 확인하는 것입니다. 분산 분석과 관련해서 모든 평균이 동일하다는 귀무가설과 평균이 모두 동일하지 않다는 대립가설인 두 가지 가설을 세웁니다.
전체 모집단에서 가져온 데이터의 무작위 표본만 검사하고 있기 때문에 표본의 평균이 전체 모집단의 평균을 대표하지 않는다는 위험이 있습니다. p-값을 사용하여 이 위험을 수량화할 수 있습니다. 이는 표본 데이터 평균의 변동이 우연의 결과일 확률입니다. 더 구체적으로는 적어도 귀무가설이 실제로 참(전체 모집단 평균이 실제로 같음)인 경우 측정한 것만큼 큰 표본 평균에서 분산을 관측할 확률입니다.
p-값이 작으면 귀무가설이 기각됩니다. 귀무가설 기각의 일반적인 임계치는 0.05입니다. 즉, p-값이 0.05보다 작으면 1개 이상의 평균이 나머지와 다르다는 대립가설을 찬성하여 귀무가설을 기각합니다.
이 결과를 기반으로 추가적인 검정을 위해 로트 3을 유지하기로 결정합니다. 보고서에서 다음과 같이 기록합니다. 제품 병 5개의 토크는 가장 최근 5개의 각 생산 로트에서 측정되었습니다. 분산 분석(ANOVA)에 따르면 관측치는 로트 간 평균 토크의 차이를 지원합니다(p = 0.0012). 데이터 도표에는 로트 3의 평균(26.77) 토크가 다른 4개 로트에 비해 더 낮은 것으로 표시됩니다. 추가 평가를 위해 로트 3을 유지하겠습니다.
분산 분석 검정으로는 어떤 평균이 다른 평균과 다른지 알 수 없으며, (이 예제와 달리) 데이터 도표에서 이런 차이점이 항상 분명하게 나오지 않다는 점에 유의하십시오. 특정 유형의 차이에 관한 질문에 응답하는 한 가지 방법은 다중 비교 검정을 사용하는 것입니다. 예를 들어 그룹 평균을 전체 평균에 비교하는 데는 평균 분석(ANOM)을 사용할 수 있습니다. 개별 평균 쌍을 비교하는 데는 Tukey-Kramer 다중 비교 검정을 사용할 수 있습니다.
일원 분산 분석 계산
이제 토크 측정 예제를 자세히 살펴보겠습니다. 앞에서 살펴본 대로 5개의 재료 로트가 있었습니다. 각 로트에서 검정용 병 5개를 무작위로 선택했습니다. 이를 단일 요인 설계라고 합니다. 하나의 요인인 로트에는 5개 수준이 있습니다. 각 수준은 5회 반복(검정됨)됩니다. 아래에 검정 결과가 나와 있습니다.
테이블 3: 로트별 토크 측정치
| 로트 1 | 로트 2 | 로트 3 | 로트 4 | 로트 5 | |
|---|---|---|---|---|---|
| 병 1 | 29.39 | 30.63 | 27.16 | 31.03 | 29.67 |
| 병 2 | 31.51 | 32.10 | 26.63 | 30.98 | 29.32 |
| 병 3 | 30.88 | 30.11 | 25.31 | 28.95 | 26.87 |
| 병 4 | 27.63 | 29.63 | 27.66 | 31.45 | 31.59 |
| 병 5 | 28.85 | 29.68 | 27.10 | 29.70 | 29.41 |
| Mean | 29.65 | 30.43 | 26.77 | 30.42 | 29.37 |
위의 분산 분석 테이블(테이블 2)에서 도출된 계산을 살펴보기 위해 먼저 다음 정의를 설정하겠습니다.
$n_i$ = 처리 $i$(이 예제에서는 로트 $i$)에 대한 관측치 수
$N$ = 총 관측치 수
$Y_{ij}$ = i번째 처리의 j번째 관측치
$\overline{Y}_i$ = i번째 처리의 표본 평균
$\overline{\overline{Y}}$ = 모든 관측치의 평균(총 평균)
제곱합
이 정의를 고려하여 분산 분석 테이블의 제곱합 열을 살펴보겠습니다. 제곱합을 사용하여 각 데이터 점과 데이터 집합에 있는 모든 데이터 점의 평균 간 차이에 초점을 맞추면 해당 데이터 집합의 변동을 수량화할 수 있습니다. 아래 계산식은 전체 변동을 모델 또는 요인 수준으로 인한 변동 및 무작위 오차로 인한 변동, 두 가지로 나눕니다.
$$ \sum_{i=1}^{a}\sum_{j=1}^{n_i}(Y_{ij}-\overline{\overline{Y}})^2\;=\;\sum_{i=1}^{a}n_i(\overline{Y}_i-\overline{\overline{Y}})^2+\sum_{i=1}^{a}\sum_{j=1}^{n_i}(Y_{ij}-\overline{Y}_i)^2 $$
$$ SS(Total)\; = \;SS(Factor)\; + \;SS(Error) $$
해당 방정식은 복잡해 보이지만 각 요소에 초점을 맞추면 개별적으로 훨씬 더 쉽게 파악할 수 있습니다. 아래 테이블 4에는 계산식의 각 구성 요소가 나와 있고 해당 성분이 제곱합을 구성하는 제곱 항으로 구성됩니다. 데이터($Y_{ij}$)의 첫 번째 열에는 위 테이블 3에서 수집한 토크 측정치가 포함되어 있습니다.
변동 요인을 확인하는 또 다른 방법: 그룹 간 변동 및 그룹 내 변동
앞에서 살펴본 대로, 위 분산 분석 테이블(테이블 2)에서 소스 열에는 두 가지 변동 원인인 요인(이 예제에서는 로트) 및 오차가 나와 있습니다. 이 두 가지 소스를 고려하는 또 다른 방법은 그룹 간 변동(요인 또는 처리로 인한 변동에 해당함) 및 그룹 내 변동(기회 또는 오차로 인한 변동에 해당함)입니다. 따라서 해당 용어를 사용하면 제곱합 계산식은 기본적으로 그룹 간 차이로 인한 변동(처리 효과) 및 각 그룹 내 차이로 인한 변동(기회로 인한 설명되지 않는 차이)의 합계를 계산합니다.
테이블 4: 제곱합 계산
| 로트 | $Y_{ij} $ | $\overline{Y}_i $ | $\overline{\overline{Y}}$ | $\overline{Y}_i-\overline{\overline{Y}}$ | $Y_{ij}-\overline{\overline{Y}}$ | $Y_{ij}-\overline{Y}_i $ | $(\overline{Y}_i-\overline{\overline{Y}})^2 $ | $(Y_{ij}-\overline{Y}_i)^2 $ | $(Y_{ij}-\overline{\overline{Y}})^2 $ |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 29.39 | 29.65 | 29.33 | 0.32 | 0.06 | -0.26 | 0.10 | 0.07 | 0.00 |
| 1 | 31.51 | 29.65 | 29.33 | 0.32 | 2.18 | 1.86 | 0.10 | 3.46 | 4.75 |
| 1 | 30.88 | 29.65 | 29.33 | 0.32 | 1.55 | 1.23 | 0.10 | 1.51 | 2.40 |
| 1 | 27.63 | 29.65 | 29.33 | 0.32 | -1.70 | -2.02 | 0.10 | 4.08 | 2.89 |
| 1 | 28.85 | 29.65 | 29.33 | 0.32 | -0.48 | -0.80 | 0.10 | 0.64 | 0.23 |
| 2 | 30.63 | 30.43 | 29.33 | 1.10 | 1.30 | 0.20 | 1.21 | 0.04 | 1.69 |
| 2 | 32.10 | 30.43 | 29.33 | 1.10 | 2.77 | 1.67 | 1.21 | 2.79 | 7.68 |
| 2 | 30.11 | 30.43 | 29.33 | 1.10 | 0.78 | -0.32 | 1.21 | 0.10 | 0.61 |
| 2 | 29.63 | 30.43 | 29.33 | 1.10 | 0.30 | -0.80 | 1.21 | 0.64 | 0.09 |
| 2 | 29.68 | 30.43 | 29.33 | 1.10 | 0.35 | -0.75 | 1.21 | 0.56 | 0.12 |
| 3 | 27.16 | 26.77 | 29.33 | -2.56 | -2.17 | 0.39 | 6.55 | 0.15 | 4.71 |
| 3 | 26.63 | 26.77 | 29.33 | -2.56 | -2.70 | -0.14 | 6.55 | 0.02 | 7.29 |
| 3 | 25.31 | 26.77 | 29.33 | -2.56 | -4.02 | -1.46 | 6.55 | 2.14 | 16.16 |
| 3 | 27.66 | 26.77 | 29.33 | -2.56 | -1.67 | 0.89 | 6.55 | 0.79 | 2.79 |
| 3 | 27.10 | 26.77 | 29.33 | -2.56 | -2.23 | 0.33 | 6.55 | 0.11 | 4.97 |
| 4 | 31.03 | 30.42 | 29.33 | 1.09 | 1.70 | 0.61 | 1.19 | 0.37 | 2.89 |
| 4 | 30.98 | 30.42 | 29.33 | 1.09 | 1.65 | 0.56 | 1.19 | 0.31 | 2.72 |
| 4 | 28.95 | 30.42 | 29.33 | 1.09 | -0.38 | -1.47 | 1.19 | 2.16 | 0.14 |
| 4 | 31.45 | 30.42 | 29.33 | 1.09 | 2.12 | 1.03 | 1.19 | 1.06 | 4.49 |
| 4 | 29.70 | 30.42 | 29.33 | 1.09 | 0.37 | -0.72 | 1.19 | 0.52 | 0.14 |
| 5 | 29.67 | 29.37 | 29.33 | 0.04 | 0.34 | 0.30 | 0.00 | 0.09 | 0.12 |
| 5 | 29.32 | 29.37 | 29.33 | 0.04 | -0.01 | -0.05 | 0.00 | 0.00 | 0.00 |
| 5 | 26.87 | 29.37 | 29.33 | 0.04 | -2.46 | -2.50 | 0.00 | 6.26 | 6.05 |
| 5 | 31.59 | 29.37 | 29.33 | 0.04 | 2.26 | 2.22 | 0.00 | 4.93 | 5.11 |
| 5 | 29.41 | 29.37 | 29.33 | 0.04 | 0.08 | 0.04 | 0.00 | 0.00 | 0.01 |
| 제곱합 | SS (요인) = 45.25 | SS (오차) = 32.80 | SS (합계) = 78.05 |
자유도(Degrees of Freedom, DF)
자유도는 수량은 각 제곱합과 관련이 있습니다. 자유도는 각 제곱합을 계산하는데 사용되는 독립 요소의 수를 나타냅니다. k 수준의 요인이 있는 단일 요인 설계(이 예제에서는 로트 5개) 및 N 관측치 합계(총 25개의 로트당 병 5개)의 경우 자유도는 다음과 같습니다.
표 5: 자유도 판별
| 자유도 계산식 | 계산된 자유도 | |
|---|---|---|
| SS (요인) | k - 1 | 5 - 1 = 4 |
| SS (오차) | N - k | 25 - 5 = 20 |
| SS (합계) | N - 1 | 25 - 1 = 24 |
평균 제곱(Mean Squares, MS) 및 F 비율
각 제곱합을 해당하는 자유도로 나누어 평균 제곱을 구합니다. 귀무가설이 참인 경우(즉, 평균이 같음) MS(요인) 및 MS(오차)는 둘 다 오차 분산의 추정치이며 거의 동일한 크기입니다. 해당 비율 또는 F-값은 1에 가깝습니다. 귀무가설이 참이 아닌 경우 MS(요인)는 MS(오차)보다 크며 해당 비율은 1보다 큽니다. 접착제 검정 예제에서 계산된 F-값인 6.90은 평균이 동일하다는 귀무가설에 대한 충분한 근거를 제공합니다.
표 6: 평균 제곱 및 F-값 계산
| 제곱합(SS) | 자유도(Degrees of Freedom, DF) | 평균 제곱 | F 비 | |
|---|---|---|---|---|
| SS (요인) | 45.25 | 4 | 45.25/4 = 11.31 | 11.31/1.64 = 6.90 |
| SS (오차) | 32.80 | 20 | 32.80/20 = 1.64 |
MS(오차)에 대한 MS(요인) 비율인 F-값에는 F 분포가 있습니다. F 분포는 귀무가설이 참(즉, 평균이 동일함)일 때 관측될 것으로 예상하는 F-값의 분포입니다. F 분포의 형태는 분자 및 분모 자유도라는 두 가지 모수에 따라 다른 형태를 갖습니다. 분산 분석 검정의 경우 분자는 MS(요인)이므로 자유도는 MS(요인)와 관련있는 자유도입니다. 분모는 MS(오차)이므로 분모 자유도는 MS(오차)와 연결된 자유도입니다.
계산된 F-값이 해당 F 분포의 기대값을 초과하는 경우에는 충분히 작은 p-값을 가정하여 평균이 동일하다는 귀무가설을 기각합니다. 이 경우 p-값은 실제로 귀무가설이 참인 경우 F 분포의 F-값보다 큰 값을 관측하는 확률입니다.
