データの行が増えると（nが大きくなると）、検定の計算で使われる標準誤差は小さくなっていきます。その結果、統計的には有意であっても、実際に観測された差がとても小さくて、実質的には意味がない場合があります。そこで、「応答のスクリーニング」では、「差がある」と判断する差の大きさを指定して、それに基づく検定を行えます。固有技術や実用において意味がある差は、実質的な差（practical difference）と呼ばれます。実質的な差に関する検定では、差がゼロかどうかではなく、実質的な大きさを差が上回っているかどうかが検定されます。そのため、実質的に意味がある結論だけを取り出し、「差がゼロである」という帰無仮説に対する検定では有意だけれども無意味な結果を調べる手間が省けます。
平均の比較に関するデータテーブルには、実質的な差に対する検定と、実質的な同等性に対する検定の結果が含まれています。各行の結果は、カテゴリカルな因子の水準の各ペアにおいて応答を比較したものです。結果は色分けされており、有意性が分かりやすくなっています。実質的な差の指定方法については、第 “Practical Difference”を参照してください。例については、第 “実質的な差や実質的な同等性に対する検定の例”を参照してください。
図18.9 平均の比較に関するデータテーブル
ペアごとの比較を行う、Studentのt検定における通常のp値。［ロバスト］オプションが選択されている場合は、ロバスト推定に基づくt検定が行われます。有意水準5%で有意なものが強調表示されます。
で求められます。そして、実質的な差は、
に「実質的な差の割合」を掛けたものとされます。「実質的な差の割合」が指定されていない場合、
に0.10を掛けたものとされます。LeveliとLeveljとの間における平均の差が、「Practical Difference」（実質的な差）を超えているかどうかの検定のp値。p値が小さい場合は、差の絶対値が、実質的な差を上回っていることを示唆します。この場合、LeveliとLeveljとの間には、実質的に意味のある差以上の違いがあると結論できます。
TOST法（Two One-Sided Tests; 片側検定を2回行う方法）を使って、平均の実質的な同等性が検定されます（Schuirmann, 1987）。「Practical Difference」（実質的な差）が、実質的に同等とみなす差の最大値を意味します。「真の差は、実質的な差を上回る」と、「真の差は、実質的な差の符号を逆にしたものを下回る」という帰無仮説に対して、それぞれ片側t検定が実行されます。これら2つの片側検定が両方とも棄却されたら、平均の差の絶対値が、実質的な差の範囲内に収まっていることを意味します。したがって、その場合、それら2群は実質的に同等とみなされます。
「Practical Equiv PValue」（実質的同等性のp値）は、2つの片側t検定のp値の大きい方の値です。「Practical Equiv PValue」が小さい場合、LeveliとLeveljの平均は実質的に同等であることを示唆します。