一致性與 kappa

這一頁補的是一個全站的缺口

診斷準確度研究要求報判讀者間的一致性，系統性回顧要求報兩位篩選者的一致性，兩邊都只用一句話帶過「要報 kappa」。這一頁是那個 kappa 的完整說明。

會落到這一頁的最常見情境有兩個。一是你在讀論文的 Methods，看到 “inter-rater agreement was substantial (κ = 0.72)“，想知道那個數字在防什麼。二是你自己的第一個研究就是這件事：兩個人各看一遍片子／各讀一遍病歷／各篩一遍摘要，然後要報一個一致性指標。第二種情境更需要這一頁，因為 kappa 有幾個地方會安靜地給你一個看起來很正常、但意思完全不同的數字。

讀完之後你應該有能力問四件事：這個量表有沒有順序（決定該不該加權）、判讀者是兩位還是更多（決定用 Cohen 還是 Fleiss）、目標事件的盛行率是多少（決定 kappa 會不會被壓垮）、以及那個信賴區間是誰算的。

觀察到的一致率，要扣掉亂猜也會猜對的那一份

本頁的第一份資料是 irr::diagnoses：30 位病人，6 位判讀者，每一位病人都被六位全部看過一次。五個診斷類別依序是 Depression（憂鬱症）、Personality Disorder（人格疾患）、Schizophrenia（思覺失調症）、Neurosis（精神官能症）、Other（其他）。

先只看其中兩位（rater1 與 rater2）。他們的交叉表是這樣：

對角線加起來是 22，所以觀察到的一致率是 22／30 = 73.3%。這個數字本身沒有用，理由很簡單：如果兩個人都閉著眼睛按同一份比例亂填，他們照樣會有一部分格子對上。 這裡兩位判讀者的邊際分布相乘之後，光靠機率就能對上 23.6%。

kappa 做的事就是把這一份先扣掉，再看剩下的空間被填滿了多少：

分母 $1 - p_e$ 是「機率解釋不掉、留給真本事的空間」，這裡是 76.4%；分子 $p_o - p_e$ 是「真的多對上的部分」，這裡是 49.8%。兩者相除得到 κ = 0.651。

所以 kappa 讀起來是這樣：在機率能解釋的範圍之外，這兩位判讀者把剩下的空間填掉了 65.1%。 它不是「一致率」，也不能跟一致率互相換算——後面的 kappa paradox 那一節會示範同一個一致率可以對應到差三倍以上的 kappa。

0.65 算好嗎：Landis-Koch 的切點背後沒有檢定

幾乎每一篇報 kappa 的論文都會接一句 “substantial agreement”，依據是 Landis 與 Koch 1977 年那張表：0.2、0.4、0.6、0.8 四個切點把 kappa 切成五段。

那張表是兩位作者當年為了讓數字好講而提的慣例，不是從任何資料推出來的，背後沒有檢定、沒有分布、也沒有臨床後果的校準。同一個 κ = 0.651，用在「兩位放射科醫師判有沒有骨折」與「兩位篩選者判一篇摘要要不要進全文」上，可接受程度顯然不一樣，但那張表對兩者說一樣的話。

本頁的圖刻意只在色階上畫這四個刻度、不印那五個形容詞，因為把形容詞印在圖上等於替它們背書。實務上的建議是：報點估計與信賴區間，讓讀者自己判斷；要用形容詞就註明它是 Landis-Koch 的慣例。

加權 kappa：動手之前先問量表有沒有順序

不加權的 kappa 把所有的不一致都當成一樣嚴重：BI-RADS 判 4 與判 5 的落差，跟判 1 與判 5 的落差，扣一樣多的分。對有順序的量表來說這顯然不對，於是有了 weighted kappa：給每一格一個 0 到 1 的權重 $w_{ij}$，完全一致給 1，差最遠的那一組給 0。

兩種常見權重都只看兩格差幾級（記為 $d = |i-j|$，量表共 $k$ 級）：線性權重是 $1 - d/(k-1)$，二次權重是 $1 - d^2/(k-1)^2$。二次權重對「只差一級」幾乎完全不扣分，對「差很多級」扣得比線性更兇。

關鍵在於「差幾級」這句話得有意義。 下面兩節是同一套算術跑在兩種量表上，結論剛好相反。

反例：這五個診斷沒有順序，加權只是在做算術

線性權重的 kappa（0.633）比不加權的（0.651）還低，這不是計算錯誤。看那張表的前兩欄就懂了：加權把觀察一致率從 0.733 拉到 0.858，看起來是好事，但它同時把期望一致率從 0.236 拉到 0.614——期望一致率漲得比觀察一致率多（0.378 對上 0.125）。分子與分母因此雙雙縮小，而分子縮得多一點。把部分分數發給根本不是「差一點」的不一致，機率那一側拿走的比真本事那一側更多。

所以這一組數字的角色是反例。這五個診斷之間沒有距離可言：思覺失調症並不是坐落在人格疾患與精神官能症的中間點。對名目類別加權，算得出數字，但那個數字不對應任何臨床概念。

正例：6 點焦慮量表，加權才有話可說

換一份資料：irr::anxiety，20 位受試者被 3 位判讀者用一個 6 點焦慮量表各評一次。這種量表上「差一級」是實實在在的概念，加權於是有意義。

這一對判讀者（rater1 與 rater2）在 20 位受試者上只有 6 次完全一致，觀察一致率 30.0%。但那 14 次不一致裡，有 7 次只差一級——占了不一致的一半，而不加權的 kappa 對這一半收全額罰款。

於是三個 kappa 單調上升，方向與名目那一組相反：

二次權重的點估計是不加權的 2.48 倍。

權重把點估計乘了兩倍多，卻沒有改變結論

三位以上判讀者：Fleiss kappa

Cohen 的 kappa 一次只吃兩位判讀者。實務上常見的是三位、六位、或每個個案被不同的兩三個人看過。

最笨也最常見的做法是「把所有配對的 kappa 平均起來」。先看看那些配對長什麼樣子：

這 15 組配對從 0.081（rater1 對 rater6）到 0.857（rater4 對 rater5），中位數 0.439。把這些平均成一個數字，等於宣稱那 15 組講的是同一件事，而它們顯然不是：R1 對 R2 有 0.651，在 15 組裡排第 3，但它對其餘四位都低得多，平均是六個人裡最低的。

把每一組配對的原始一致率與 kappa 並排放，還會看到第二件事：

兩欄排名不是同一個順序：15 組配對彼此再兩兩相比共 105 組，其中 4 組是一致率說 A 比 B 好、kappa 說 B 比 A 好。原因永遠是同一個——每一對判讀者有自己的邊際分布，於是有自己的期望一致率，kappa 扣掉的量因對而異。這也是為什麼一致率與 kappa 不能互相換算。

正確的做法是用一個一次吃下所有判讀者的估計量。Fleiss kappa 的形式與 Cohen 一樣是 $(p_o - p_e)/(1 - p_e)$，差別在 $p_o$ 改成「每位病人身上所有判讀者兩兩同意的比例」的平均，$p_e$ 改成「所有判讀者合起來把每個類別用掉的比例」的平方和。它不需要判讀者兩兩配對；代價是它把所有判讀者併成一個共同的類別分布——那個 $p_e$ 的定義本身就假設六位判讀者可以互換。

這份資料的 Fleiss kappa 是 0.430（受試者層級 bootstrap 的百分位區間，0.315 到 0.529），觀察一致率 55.6%、期望一致率 22.0%。

而這份資料剛好可以拿來檢查那個假設：rater1 有 43.3% 的判讀給了「憂鬱症」，rater6 一次都沒有給過。判讀者各有邊際時，保留各自邊際的版本是 Conger (1980)：觀察一致率完全一樣（55.6%，這是同一個量），期望一致率是 0.204 而不是 Fleiss 的 0.220，於是 kappa 變成 0.442（bootstrap 區間 0.338 到 0.533），比 Fleiss 高 0.012。

差距不大，方向卻是固定的：把不同習慣的判讀者併成一個共同分布，只會把期望一致率往上推、不會往下（判讀者的邊際完全一致時兩者相等），於是 kappa 被多扣一點。要報 Fleiss 就得接受這個假設；不想接受，就報 Conger。

一個整體數字仍然藏著東西。把 kappa 拆到每一個診斷類別上：

整體的 0.430 蓋掉了一個對臨床更有用的訊息：六位判讀者在憂鬱症與人格疾患上分歧最大（兩者都是 0.245），而在「其他」這個看起來最鬆散的類別上反而最一致（0.566）。要改善判讀一致性，該去修的是前兩個類別的定義，不是所有人一起再上一次課。 分類別的 kappa 幾乎不花成本，卻很少有人報。

kappa paradox：一致率一模一樣，kappa 差三倍以上

觀察一致率兩邊都是 0.900，到最後一位小數都相同。kappa 卻從 0.800 掉到 0.232——前者是後者的 3.45 倍。

原因在期望一致率。左表兩位判讀者各有一半判異常，隨機對上的機會是 0.500；右表兩位都把 93% 的判讀給了「異常」，那麼即使兩個人完全不看片子、各自照自己 93% 的比例亂填，也會有 0.870 的一致率。分母 $1 - p_e$ 被壓到很小，剩下能證明的空間就很少，kappa 自然低。

這不是 kappa 算錯，而是它照定義在回答一個很嚴格的問題：扣掉「兩人都傾向講同一句話」所能解釋的部分之後，還剩下多少。 在罕見事件（或極常見事件）上，那個「剩下」本來就很小。

實務上的三個後果：

1. 低 kappa 未必代表判讀者能力差。 在盛行率很偏的情境（篩檢陽性率 2%、罕見病理型態、系統性回顧裡真正該納入的摘要），kappa 天生就低。要判斷判讀品質，得同時看盛行率。
2. 不同研究的 kappa 不能直接比大小，除非兩邊的盛行率相近。同一組判讀者換一個病人組成，kappa 就會變。
3. 報 kappa 的時候，把 2×2 表（或 $k \times k$ 表）一起報出來。 有了那張表，讀者可以自己算 PABAK、盛行率指數、偏差指數；只有一個 kappa 什麼都推不回去。

至於 PABAK（prevalence-adjusted bias-adjusted kappa），它把邊際強制拉平，於是兩張表給出同一個值 0.800。它是一個有用的輔助數字——它讓你看見「這個低 kappa 有多少是盛行率造成的」——但它不是修正，因為它丟掉的正是「這批病人裡異常有多常見」這個真實的資訊。兩個都報，不要用一個取代另一個。

動手跑一次

library(irr)
data(diagnoses, package = "irr")

# rater6 從來沒有用過 "1. Depression"，所以它的 factor 只有 4 個 level。
# as.integer() 會把它的每一個編碼往下移一格，安靜地把整個矩陣算錯——
# 依標籤用 match() 對照，不要用 as.integer()。
CATS <- c("1. Depression", "2. Personality Disorder", "3. Schizophrenia",
          "4. Neurosis", "5. Other")
M <- sapply(diagnoses[paste0("rater", 1:6)],
            function(x) match(as.character(x), CATS))

kappa2(M[, c(1, 2)])              # 兩位判讀者：Cohen
kappam.fleiss(M)                  # 六位判讀者：Fleiss
kappam.fleiss(M, detail = TRUE)   # 加上分類別的 kappa

# ── 序位量表，以及一個會安靜咬人的地方 ──────────────────────────────
data(anxiety, package = "irr")
A <- as.matrix(anxiety[c("rater1", "rater2", "rater3")])

# kappa2() 的類別清單是從「實際觀察到的評分」建的。rater2 與 rater3
# 都沒有用過 5，於是 5 這一級整個消失，4 與 6 變成相鄰。
kappa2(A[, c(2, 3)], weight = "equal")   # 回 0.146，量表被偷偷縮成 5 級

# ⚠️ 傳 factor(x, levels = 1:6) 進去救不了：kappa2() 內部會先 as.matrix()，
# level 在那一步就掉了（實測過，還是 0.146）。R 這一側沒有 labels 參數，
# 只能自己把 k x k 的表建出來再算。
kw <- function(x, y, k, type) {
  tt <- table(factor(x, levels = 1:k), factor(y, levels = 1:k))
  p <- tt / sum(tt)
  d <- abs(outer(1:k, 1:k, "-"))
  w <- switch(type, unweighted = (d == 0) * 1,
                    linear     = 1 - d / (k - 1),
                    quadratic  = 1 - d^2 / (k - 1)^2)
  po <- sum(w * p); pe <- sum(w * outer(rowSums(p), colSums(p)))
  (po - pe) / (1 - pe)
}
kw(A[, 2], A[, 3], k = 6, type = "linear")   # 回 0.126，這才是 6 點量表上的值

# 動手之前先問一句：兩位判讀者合起來有沒有用滿整個量表？
sort(unique(c(A[, 2], A[, 3])))   # 少一級，kappa2() 的答案就不能信

# 區間：irr 印的 z 與 p 用的是 kappa = 0 之下的標準誤，對檢定正確、
# 對區間錯誤。要區間就自己算無限制的漸近標準誤，或做受試者層級 bootstrap。
set.seed(20260823)
b <- replicate(4000, { i <- sample.int(nrow(A), nrow(A), replace = TRUE)
                       kw(A[i, 2], A[i, 3], 6, "linear") })
quantile(b, c(0.025, 0.975))

import numpy as np
import pandas as pd
from sklearn.metrics import cohen_kappa_score
from statsmodels.stats.inter_rater import fleiss_kappa, aggregate_raters

# irr::anxiety，20 x 3。小到可以直接帶在這裡，所以這段自己就跑得動。
anx = pd.DataFrame(
    [[3, 3, 2], [3, 6, 1], [3, 4, 4], [4, 6, 4], [5, 2, 3],
     [5, 4, 2], [2, 2, 1], [3, 4, 6], [5, 3, 1], [2, 3, 1],
     [2, 2, 1], [6, 3, 2], [1, 3, 3], [5, 3, 3], [2, 2, 1],
     [2, 2, 1], [1, 1, 3], [2, 3, 3], [4, 3, 2], [3, 4, 2]],
    columns=["rater1", "rater2", "rater3"],
)
r2, r3 = anx["rater2"].to_numpy(), anx["rater3"].to_numpy()

# 同一個坑：不給 labels，類別清單就從觀察到的評分建，5 這一級會消失。
cohen_kappa_score(r2, r3, weights="linear")                       # 0.146
cohen_kappa_score(r2, r3, labels=range(1, 7), weights="linear")   # 0.126

# Python 這一側有 labels 參數，所以一行就能把量表釘住——但你得記得寫。
# 預設值在「有一級沒人用過」的資料上會安靜地給你另一個數字。

# 三位以上判讀者：fleiss_kappa 吃的是計數矩陣（受試者 x 類別），
# aggregate_raters 負責把原始評分矩陣轉過去。
table, _ = aggregate_raters(anx.to_numpy())
fleiss_kappa(table, method="fleiss")

寫自己的第一篇之前，先決定這六件事

1. 量表有沒有順序？ 有，用 weighted kappa 並在 protocol 裡寫死是線性還是二次；沒有，就別加權。
2. 幾位判讀者？ 兩位用 Cohen，三位以上用 Fleiss，不要把配對 kappa 平均。
3. 目標事件大概多常見？ 盛行率很偏就預期 kappa 會低，並且把 2×2 表一起報，讓讀者能自己算 PABAK。
4. 信賴區間是誰算的？ 套件印的 p 值是 κ = 0 的檢定，不是區間。區間要自己確認來源。
5. 判讀者合起來用滿整個量表了嗎？ 沒有的話，套件會安靜地把量表縮短——這是本頁唯一一個「不看程式碼就完全看不出來」的坑。
6. 是不是本來就該用別的東西？ kappa 是給類別判讀的。同一份 irr::anxiety 評分如果被當成連續量來讀，該用的是 ICC 而不是 kappa；判讀者的錯不錯得離譜也可以用測量誤差的框架來想。判讀一致不等於判讀正確——兩個人可以非常一致地判錯，那是診斷準確度的問題，不是一致性的問題。

回報這一頁的問題