切點選擇與兩條 ROC 的比較

「最佳切點」這四個字裡藏了什麼

ROC 曲線上的每一點都是一組敏感度與特異度的取捨。要把連續的檢驗值變成臨床上可以執行的規則，總得挑一點。

問題是「最佳」這兩個字沒有內建的定義。挑點需要兩樣資料以外的資訊：

1. 偽陽性與偽陰性各自的代價是多少（漏掉一個病人 vs 多做一次侵入性檢查）
2. 這個規則會被用在檢驗前機率多少的族群上

實務上最常見的做法——Youden index——把這兩件事都用預設值悄悄填掉了。這一頁就是把那些預設值挖出來看。

Youden index

Youden index 的定義是：

幾何上它是 ROC 曲線上某點與對角線的垂直距離，範圍是 0（毫無資訊）到 1（完美）。所謂 Youden 最佳切點，就是讓 $J$ 最大的那一點。

在 pROC::aSAH 的 S100β 上：

（pROC 報的切點是兩個相鄰觀測值的中點，所以會看到資料裡不存在的小數：0.205 µg/L。 這份資料沒有任何一位病人的 S100β 落在本家族前幾頁那個先訂好的 0.20 µg/L 與 0.205 µg/L 之間， 所以那個較粗的 0.20 µg/L 切點在這裡剛好給出同一組敏感度與特異度——兩者是不同的數，只是在這份資料上把同一批人分到同一邊。）

峰頂平坦這件事有實際後果：距離最大值 0.05 以內的切點共有 6 個， 分布在 0.175 到 0.245 µg/L 之間； 在這個範圍裡，敏感度從 58.5% 到 63.4%，特異度從 76.4% 到 81.9%。 把小數點後三位的那個「最佳」切點寫進臨床指引，是在報告資料裡沒有的精確度。

依代價選切點，以及它會怎麼崩掉

把代價放進來的標準做法是最大化加權的版本：

其中 $r$ 是「漏掉一個病人的代價 ÷ 一個偽陽性的代價」。pROC 的 coords(..., best.weights = c(r, prev)) 就是在做這件事。

把 $r$ 從 1 拉到 10（盛行率固定在本世代的 36.3%）：

表格裡有幾列的代價比出現不只一次：那是因為在那個權重下，最佳解不只一個。coords(..., "best") 會把所有達到最大值的切點一起回傳，只取第一列就會把並列解靜默丟掉。五件事值得注意：

• 代價比 1 : 1 那一列不等於 Youden index。 盛行率那一項永遠在算式裡：本世代的盛行率 36.3% 讓權重變成 1.756，也就是即使兩種錯誤等價，特異度仍然被加權得比敏感度重（因為沒病的人比較多，每一個百分點的特異度牽涉到更多人）。代價比為 1 時權重剛好是 $(1-\text{prev})/\text{prev}$，整個目標函數化簡成「答對的人數 ÷ 病例數」——這一列真正在最大化的是正確分類率（accuracy），不是 $J$。用決策曲線那一頁的語言講，這一列對應的門檻機率是二分之一，而 Youden 切點對應的門檻機率是 36.3%——所以只有在病例與非病例對半分的世代裡，這兩個目標才會是同一件事。
• 而且這一列的最佳解不唯一。 切點 0.205（敏感度 63.4%、特異度 80.6%）與切點 0.510（敏感度 29.3%、特異度 100.0%）答對同樣 84 人，目標函數值完全相同（2.049）。前者剛好與 Youden 選到同一個切點，那是巧合而不是恆等；後者是臨床上幾乎相反的規則——幾乎不會誤判沒病的人，代價是漏掉七成的病人。
• 代價比在 1 到 3 之間，選出來的切點都包含 0.205。 切點對代價比不是連續反應的——它會卡在同一個觀測值上一段時間，然後一次跳掉。所以「代價比大概是二還是三」這種不確定性，常常根本不影響決定。
• 跳到 4 : 1 時，切點掉到 0.065，敏感度衝到 97.6%，特異度只剩 13.9%。
• 代價比到 10 : 1 時，最佳解同樣不唯一：「不設切點、把所有人都判成陽性」這個退化解，與有限切點 0.065 µg/L 的目標函數值完全相同（都是 1.000）。

在同一份資料上挑出來的切點是樂觀的

這是本頁最重要的一節。挑切點的動作本身用掉了資料裡的資訊：你在一堆候選切點裡挑了在這份樣本上表現最好的那個，而「這份樣本上最好」有一部分來自真實訊號、有一部分來自這份樣本的隨機起伏。回報那個切點在同一份資料上的表現，等於把隨機起伏也算成成績。

量化的方法是 bootstrap 樂觀修正：在每一次重抽樣裡重跑整個挑選程序，比較它在重抽樣裡的表現與在原始資料上的表現，兩者的差就是那一次的樂觀量。

2000 次重抽樣的結果：

比較兩條 ROC：DeLong 檢定

這一節與後面兩節都在回答同一個問題。S100β 的 AUC 是 0.731，NDKA 是 0.612，差了 0.119。這個差距站得住嗎？

關鍵在於這兩個標記量在同一批病人身上，所以兩個 AUC 估計值是相關的，不能當成兩個獨立的樣本比較。DeLong 檢定處理的正是這件事：它用每位受試者對 AUC 的貢獻（結構化的 placement values）算出兩個 AUC 的變異數與它們之間的共變異數，再檢定差值。

一個差點寫錯的說法

寫到 DeLong 那一節時，最自然的收尾是那句到處都看得到的話：「因為是同一批病人，配對檢定利用了相關性，所以比不配對的檢定更有效率。」

在這份資料上，那句話是錯的。 把同樣兩條曲線用不配對的方式檢定：

忽略配對反而給出比較小的 p 值。原因在算式裡：差值的變異數是

共變異數是減的，但它不一定是正的。 這份資料的兩個 AUC 估計值共變異數是 -0.00076，是負的（兩個標記本身的 Spearman 相關也接近零而略偏負，-0.060）。於是 $-2\mathrm{Cov}$ 變成加號，配對後的變異數 0.0074 比忽略配對的 0.0059 還大，檢定更保守。

部分 AUC——只比較會用到的那一段

前一節的兩個檢定都是在整條曲線上做的。但整條曲線裡有一大段是臨床上根本不會採用的操作點：篩檢與影像研究的偽陽性要往下接侵入性檢查，所以特異度低於某個值的切點不會被寫進流程。整條 ROC 的 AUC 把那一段一起算進去，等於讓「這個檢驗在不會被使用的操作點上表現如何」也參與評分。

部分 AUC（partial AUC）把積分限制在指定的特異度區段上。本節看的是特異度 0.90 到 1.00 這一段——高特異度端，也就是大多數篩檢與影像判讀規則實際運作的地方。

未標準化的部分 AUC 不能跨區段比較，因為區段愈寬，能裝的面積愈多。特異度 0.90 到 1 這一段的面積上限就是它的寬度 0.10，特異度 0.80 到 1 則是 0.20。所以 S100β 在窄區段的 0.0328 與在寬區段的 0.0806 不能拿來比大小——後者比較大，有一部分只是因為區段比較寬。同一個理由：一篇論文只寫一個 pAUC 而沒有交代區段，那個數字是不可解讀的。

下限也要留意。完全沒有鑑別力的對角線在區段裡仍然圍出面積（0.005 與 0.020），所以原始部分 AUC 的「等同猜測」基準既不是 0.5 也不是 0，而是隨區段變動的一個數。

McClish 的標準化把區段線性映到 0.5 與 1 之間。 它先扣掉對角線的面積，再除以該區段能給的範圍：

其中 pAUC 的上限是區段寬度、下限是對角線在區段裡的面積。在 pROC 是 partial.auc.correct = TRUE，在 sklearn 則是 roc_auc_score(..., max_fpr = ...) 的預設輸出。校正後的值可以跨區段比較，也可以跟 0.5 這條「毫無鑑別力」的線對照——但它不是整條曲線的 AUC，兩個數不可互相取代。

配對比較怎麼做。 pROC 對部分 AUC 直接拒絕跑 DeLong，錯誤訊息是 DeLong's test is not supported for partial AUC——DeLong 的變異數推導是針對整條曲線的 placement values 寫的。替代做法是配對 bootstrap：每一次重抽「病人」，兩個標記一起被抽走，配對結構才保得住，再對區段面積的差值取分布。本頁用的是 2000 次。

有一個參數不能漏：reuse.auc = FALSE。它預設為 TRUE，意思是沿用 roc 物件裡原本的 AUC 設定，把你剛傳進去的 partial.auc 靜默忽略——於是你以為在比區段，實際比的還是整條曲線，而且輸出看起來完全正常，唯一的線索是 p 值跟整條曲線一模一樣。

標準化不改變證據強度。 McClish 校正是原始面積的仿射變換，差值與 bootstrap 標準差被同一個常數同時縮放，所以檢定統計量與 p 值完全不變：原始尺度是 2.283 與 p = 0.022，校正尺度是 2.283 與 p = 0.022。校正買到的是可比較性，不是顯著性。

這兩種比較在這份資料上給出不同的結論。 整條曲線未偵測到差異（p = 0.164）；把比較限縮到特異度 0.90 以上，同一批病人、同樣的配對設計，差異達到統計顯著（p = 0.022）。而且這不是換了檢定造成的——同一組 2000 次配對 bootstrap 用在整條曲線上給出 p = 0.169，與 DeLong 的 0.164 幾乎相同。變的是比較的範圍。

機制看得見：在高特異度那一段，S100β 拿到面積上限的 32.8%，NDKA 只有 10.7%，相差約 3.1 倍；整條曲線上兩者的 AUC 比只有 1.20 倍。整條 AUC 是把「差得最多的那一段」與「差得比較少的其他段」平均起來的一個摘要，所以一個集中在某個區段的差距，會在摘要裡被稀釋掉。

動手跑一次

library(pROC)
data(aSAH, package = "pROC")

r1 <- roc(aSAH$outcome, aSAH$s100b, levels = c("Good", "Poor"),
          direction = "<", quiet = TRUE)
r2 <- roc(aSAH$outcome, aSAH$ndka, levels = c("Good", "Poor"),
          direction = "<", quiet = TRUE)

# Youden 最佳切點，以及整條 Youden 曲線
coords(r1, "best", best.method = "youden",
       ret = c("threshold", "sensitivity", "specificity"), transpose = FALSE)

# 依代價比選切點：c(漏掉一個病人的相對代價, 使用場域的盛行率)
coords(r1, "best", best.weights = c(5, 0.36),
       ret = c("threshold", "sensitivity", "specificity"), transpose = FALSE)

# 配對比較兩條曲線
roc.test(r1, r2, method = "delong")          # paired 預設為 TRUE
cov(r1, r2, method = "delong")               # 共變異數，可能是負的

# 部分 AUC：把積分限制在高特異度區段
auc(r1, partial.auc = c(1, 0.9), partial.auc.focus = "sp")
auc(r1, partial.auc = c(1, 0.9), partial.auc.focus = "sp",
    partial.auc.correct = TRUE)              # McClish 標準化到 0.5 與 1 之間

# 配對比較兩個部分 AUC。DeLong 對部分 AUC 會直接報錯，只能用 bootstrap；
# reuse.auc = FALSE 不能漏，否則 partial.auc 被靜默忽略、比到的還是整條曲線
set.seed(20260824)
roc.test(r1, r2, method = "bootstrap", reuse.auc = FALSE,
         partial.auc = c(1, 0.9), partial.auc.focus = "sp")

# 想比的其實是「特異度固定時的敏感度」時，直接比那一點
roc.test(r1, r2, method = "specificity", specificity = 0.9)

# 樂觀修正：每一次重抽樣都要「重跑整個挑選程序」
youden_at <- function(y, x, thr) {
  d <- y == "Poor"; p <- x >= thr
  sum(p & d) / sum(d) + sum(!p & !d) / sum(!d) - 1
}
best_thr <- function(y, x)
  as.numeric(coords(roc(y, x, levels = c("Good", "Poor"), direction = "<",
                        quiet = TRUE), "best", ret = "threshold",
                    transpose = FALSE)[1, 1])

app <- youden_at(aSAH$outcome, aSAH$s100b, best_thr(aSAH$outcome, aSAH$s100b))
opt <- replicate(2000, {
  b  <- aSAH[sample(nrow(aSAH), replace = TRUE), ]
  tb <- best_thr(b$outcome, b$s100b)
  youden_at(b$outcome, b$s100b, tb) - youden_at(aSAH$outcome, aSAH$s100b, tb)
})
c(apparent = app, optimism = mean(opt), corrected = app - mean(opt))

# 匯出給下面的 Python 用
write.csv(aSAH, "aSAH.csv", row.names = FALSE)

import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score

d = pd.read_csv("aSAH.csv")            # 由本頁上面那段 R 匯出
y = (d["outcome"] == "Poor").to_numpy().astype(int)
a1, a2 = d["s100b"].to_numpy(), d["ndka"].to_numpy()

# 配對的 bootstrap：每次重抽「病人」，兩個標記一起被抽走，配對結構才保得住
rng = np.random.default_rng(20260822)
diff = []
for _ in range(2000):
    i = rng.integers(0, len(y), len(y))
    if y[i].sum() == 0 or y[i].sum() == len(i):
        continue
    diff.append(roc_auc_score(y[i], a1[i]) - roc_auc_score(y[i], a2[i]))
diff = np.array(diff)
print(roc_auc_score(y, a1) - roc_auc_score(y, a2),
      np.percentile(diff, [2.5, 97.5]))

# 部分 AUC：max_fpr 給的是 McClish 標準化之後的值（0.5 與 1 之間），
# 與 pROC 的 partial.auc.correct = TRUE 相同
print(roc_auc_score(y, a1, max_fpr=0.1), roc_auc_score(y, a2, max_fpr=0.1))

常見誤用

重跑本頁的所有數字

/opt/homebrew/bin/Rscript figures/scripts/B4-05-cutoff.R

延伸觀看

▶ROC 系列 5/6：最佳切點與代價權衡

▶ROC 系列 6/6：罕見疾病與過度樂觀陷阱

▶ROC Curves

▶Biostatistics – All You Need To Know About The ROC Curve

回報這一頁的問題