简单 Kappa 系数是一个用于测量评级员之间一致性的测度。
其中:
并且:
若将两个响应变量视为 n 个部件的两个独立评级,则当评级员之间完全一致时,Kappa 系数等于 +1。当观测到的一致性超过机会一致性时,Kappa 系数为正,其量值反映了一致性的强度。当观测到的一致性小于机会一致性时,Kappa 系数为负,尽管这在实际中并不常见。Kappa 的最小值介于 -1 到 0 之间,具体取决于边缘比例。
使用以下等式估计简单 Kappa 系数的渐近方差:
其中:
并且:
将会标绘 Kappa 系数,同时给出标准误差。
注意:即便变量水平不平衡,也会在“计数图”平台中显示 Kappa 统计量。
“类别间的一致性”报表中提供分类 Kappa 统计量 (Fleiss 1981)。
假设如下:
• n = 部件(分组变量)的数目
• m = 评级员数
• k = 水平数
• ri = 部件 i (i = 1,...,n) 的重复次数
• Ni = m x ri。针对部件 i (i = 1, 2,...,n) 的评级数。其中包含所有评级员的响应,以及针对某部件的重复评级次数。例如,若 2 个评级员每人给部件 i 测量了 3 次,则 Ni 为 3 x 2 = 6。
• xij = 针对部件 i (i = 1, 2,...,n) 的水平 j (j=1, 2,...,k) 的评级数。各类别的 Kappa 如下:
总 Kappa 如下:
和 的方差如下:
仅当每个部件的评级数相等时才会显示 和 的标准误差(例如,对于所有 i=1,…,n,Ni = N)。