ROC 曲線與 AUC

一條曲線就是一整排 2×2 表

2×2 表那一頁的每一組敏感度／特異度，都綁在一個特定的切點上。換一個切點，四個格子全部重排。

把切點從最低掃到最高，每一個位置都算一次敏感度與 1 − 特異度，然後把這些點連起來——那條線就是 ROC 曲線（receiver operating characteristic curve，名字來自二戰的雷達訊號研究）。

用同一份 pROC::aSAH 的 S100β 看五個切點：

切點愈低，愈容易判成陽性，敏感度愈高、特異度愈低——曲線上的每一點都是一組取捨，沒有哪一點天生比較對。哪一點才對，取決於偽陽性與偽陰性各自的代價，那是下一頁的題目。

AUC：曲線底下的面積，以及它真正的意思

AUC（area under the curve，也寫作 C-statistic 或 concordance index）把整條曲線壓成一個數字：

面積本身不好解釋，但它等於一個非常具體的機率：

隨機抽一位結果差的病人與一位結果好的病人，前者的標記值比後者高的機率（平手算一半）。

這不是類比，是恆等式。可以直接數給自己看：41 位結果差的病人與 72 位結果好的病人， 兩兩配對共 2952 對。其中 2124 對是結果差的那位 S100β 較高，70 對平手。 把平手算一半：（2124 ＋ 70 ÷ 2）÷ 2952 ＝ 0.7314， 與 pROC 算出來的 AUC 0.7314 完全相同（產圖腳本裡有一行斷言在守這件事，兩者不符就不會產出檔案）。

同一個恆等式也解釋了幾件常被分開記憶的事：

• AUC 只看排序，不看數值。 把所有標記值取對數、平方、乘十，AUC 完全不動——只要順序沒變。
• AUC 等價於 Mann-Whitney U 檢定的統計量（除以樣本數乘積之後）。所以「AUC 顯著大於 0.5」與「兩組的分布位置有差異」是同一個檢定。
• AUC 0.5 是完全沒有排序能力，1 是完美排序。AUC 不會因為你收了更多沒病的人而變差，這件事在後面談 AUC 碰上不平衡世代那一節會變成一個陷阱。

AUC 看不見的第一件事：校準

AUC 衡量的是鑑別力（discrimination）：模型能不能把有病的排在沒病的前面。它完全不管校準（calibration）：模型說「這個人有 20% 的機率有病」時，這種人裡是不是真的有 20% 有病。

證明只要一行：把一組預測機率在 log-odds 尺度上整體平移一個常數。排序完全沒變，所以 AUC 完全不會動；但每個人的預測機率都錯了。

用 aSAH 配一個邏輯迴歸（結果差 ~ S100β + NDKA + 年齡），然後把預測值往下平移 1.50 個 log-odds：

平移後的模型平均預測 15.9%，而實際發生率是 36.3%——系統性地低估了風險，Brier score 從 0.174 惡化到 0.222，AUC 卻毫無反應。

Brier score 在這裡只是佐證，它本身單看沒有尺度——它同時混了鑑別力與校準， 所以一個數值要有意義得跟基準比。而有設限的存活資料直接這樣算是錯的。 完整的說明，以及它與重分類指標（NRI／IDI）的關係，見 Brier score、NRI 與 IDI。

AUC 看不見的第二件事：這群人裡有多少病人

常見的說法是「類別極不平衡時 AUC 會誤導，應該改看 PR 曲線」。這句話的結論可以用，但理由通常被講錯，值得看清楚機制。

把 aSAH 的對照組整批複製 20 份（病人維持原來那些），盛行率從 36.3% 降到 2.8%：

動手跑一次

library(pROC)
data(aSAH, package = "pROC")

r1 <- roc(aSAH$outcome, aSAH$s100b,
          levels = c("Good", "Poor"), direction = "<", quiet = TRUE)
r2 <- roc(aSAH$outcome, aSAH$ndka,
          levels = c("Good", "Poor"), direction = "<", quiet = TRUE)

auc(r1); ci.auc(r1, method = "delong")
plot(r1); plot(r2, add = TRUE, col = "steelblue")

# 曲線上任何一點的 2x2
coords(r1, x = c(0.05, 0.10, 0.20, 0.40, 0.60), input = "threshold",
       ret = c("threshold", "sensitivity", "specificity", "tp", "fp", "fn", "tn"),
       transpose = FALSE)

# AUC 的機率解釋，自己數一次
case <- aSAH$s100b[aSAH$outcome == "Poor"]
ctrl <- aSAH$s100b[aSAH$outcome == "Good"]
(sum(outer(case, ctrl, ">")) + 0.5 * sum(outer(case, ctrl, "=="))) /
  (length(case) * length(ctrl))

# 排序不變 => AUC 不變
auc(roc(aSAH$outcome, log(aSAH$s100b), levels = c("Good", "Poor"),
        direction = "<", quiet = TRUE))

# 匯出給下面的 Python 用
write.csv(aSAH, "aSAH.csv", row.names = FALSE)

import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score, roc_curve, average_precision_score

d = pd.read_csv("aSAH.csv")            # 由本頁上面那段 R 匯出
y = (d["outcome"] == "Poor").astype(int)

print(roc_auc_score(y, d["s100b"]))
print(roc_auc_score(y, d["ndka"]))

fpr, tpr, thr = roc_curve(y, d["s100b"])

# 機率解釋
case = d.loc[y == 1, "s100b"].to_numpy()
ctrl = d.loc[y == 0, "s100b"].to_numpy()
cmp = case[:, None] > ctrl[None, :]
tie = case[:, None] == ctrl[None, :]
print((cmp.sum() + 0.5 * tie.sum()) / (len(case) * len(ctrl)))

# PR 曲線下的面積，與它的基準線
print(average_precision_score(y, d["s100b"]), y.mean())

讀論文裡的 AUC 時要問的四件事

1. 有沒有信賴區間？ 本頁 S100β 的 AUC 是 0.731，區間 0.630–0.833，寬度超過 0.2。診斷研究的樣本常常不大，只報點估計會讓讀者高估精確度。
2. 這個 AUC 是在哪一批資料上算的？ 用來配模型的同一批資料算出來的 AUC 是樂觀的；要看內部驗證（bootstrap 或交叉驗證）修正後的值，或外部驗證的值。樂觀有多大，下一頁會用同一份資料量給你看。
3. 有沒有報校準？ 只有 AUC 的預測模型論文，等於只回答了一半。
4. AUC 提高了多少才有臨床意義？ 在既有模型上加一個新標記，AUC 常常只升千分之幾——這種幅度是否值得多抽一管血、多花一筆錢，AUC 本身回答不了。要回答它需要決策分析的工具（net benefit、decision curve analysis），或直接看在臨床決策門檻附近有多少人被重新分類。

常見誤用

重跑本頁的所有數字

/opt/homebrew/bin/Rscript figures/scripts/B4-04-roc-auc.R

延伸觀看

▶ROC and AUC, Clearly Explained!

▶How to interpret ROC curves

▶ROC Curves and Area Under the Curve (AUC) Explained

▶ROC 系列 1/6：ROC 曲線是什麼

▶ROC 系列 4/6：AUC 的兩大臨床陷阱

回報這一頁的問題