## 「AUC の P 値」は問いによって 3 種類ある ROC 解析の出力や論文に出てくる AUC の P 値は、何を問うかで中身が違います。DeLong 検定が答えるのは、このうち 2 番目の問いだけです。 | 問い | 比べ方 | 検定 | |---|---|---| | 1. このモデルは偶然より当たるか | AUC と 0.5 | AUC = 0.5 の検定(ソフトがモデルごとに出す P 値) | | 2. A と B のどちらがよく当たるか | 基礎+A vs 基礎+B(または A 単独 vs B 単独) | **DeLong 検定** | | 3. A に B を足す価値はあるか | 基礎+A vs 基礎+A+B | B の係数の検定(尤度比検定)。DeLong 検定は使わない | ``` 基礎+A vs 基礎+B 入れ子でない → DeLong 検定でよい 基礎+A vs 基礎+A+B 入れ子 → DeLong 検定は不向き。B の係数で判定する ``` 1 番目の P 値は、モデルごとに 1 つずつ付くので 2 つのモデルの比較に見えますが、比較ではありません。予測モデルなら AUC が 0.5 を超えるのはほぼ当然なので、AUC と 95% CI を書けば足ります。 ## 2. A と B を比べる: DeLong 検定 DeLong 検定は、**同じ患者集団**で求めた 2 つの AUC の差を検定します。同じ患者で評価した 2 つの AUC は互いに相関するので、DeLong 法はこの相関を差の標準誤差に取り込みます(DeLong ER, et al. Biometrics 1988;44:837-45. PMID: 3203132)。別々の集団で求めた AUC(施設 A と施設 B)には使いません。 この比較が意味を持つのは、「どちらか 1 つしか測らない」場面です。費用や侵襲の違う検査のどちらを採用するか、新しいマーカーが従来の指標の代わりになるか、といった問いに使います。両方を測れるなら、3 番目の問い(基礎+A+B)のほうが臨床の場面に合います。AUC の差は小さいことが多く、有意差が出ないことは「同等」を意味しません。 ### 例: 腎イベントを予測するのは eGFR か尿蛋白か 模擬データ(300 人、2 年以内の腎イベント 61 人)で、eGFR と尿蛋白/クレアチニン比(UPCR)を比べます。eGFR は低いほどリスクが高いので、符号を反転して向きを揃えます。 ```r library(pROC) set.seed(2026) n <- 300 egfr <- round(rnorm(n, 50, 15)) upcr <- round(exp(rnorm(n, -0.5, 1)), 2) event <- rbinom(n, 1, plogis(-1.2 - 0.04 * (egfr - 50) + 0.9 * log(upcr))) d <- data.frame(event, egfr, upcr) write.csv(d, "delong_example.csv", row.names = FALSE) # Stata でも同じデータを使う roc_egfr <- roc(d$event, -d$egfr, direction = "<", quiet = TRUE) roc_upcr <- roc(d$event, d$upcr, direction = "<", quiet = TRUE) roc.test(roc_egfr, roc_upcr, method = "delong") ``` ``` DeLong's test for two correlated ROC curves Z = -1.8572, p-value = 0.06328 95 percent confidence interval: -0.230569815 0.006206004 sample estimates: AUC of roc1 AUC of roc2 0.6133137 0.7254956 ``` Stata の `roccomp` は既定で DeLong 法を使います。 ```stata import delimited "delong_example.csv", clear gen egfr_neg = -egfr roccomp event egfr_neg upcr ``` ``` ROC Asymptotic normal Obs area Std. err. [95% conf. interval] ------------------------------------------------------------------------- egfr_neg 300 0.6133 0.0405 0.53403 0.69260 upcr 300 0.7255 0.0375 0.65203 0.79896 ------------------------------------------------------------------------- H0: area(egfr_neg) = area(upcr) chi2(1) = 3.45 Prob>chi2 = 0.0633 ``` chi2(1) = 3.45 は R の Z = −1.857 の 2 乗に当たり、P 値も一致します。結果は次のように書きます。 > 腎イベントに対する AUC は UPCR 0.73(95% CI 0.65–0.80)、eGFR 0.61(0.53–0.69)であり、差は 0.11(95% CI −0.01 to 0.23、DeLong 検定 P = 0.063)でした。 ## 3. B を足す価値を見る: DeLong 検定を使わない 「基礎+A」と「基礎+A+B」を同じデータで当てはめ、予測確率の AUC を DeLong 検定で比べる使い方はよく見かけます。しかしこの入れ子の比較では検定が極端に保守的になり、B が本当に効いていても有意差がほとんど出ません(Vickers 2011、Demler 2012、Pepe 2013、Begg 2013)。偽陽性が増える方向ではなく、差を見逃す方向に働きます。 210 人・イベント約 24 人の設定で、基礎モデル(連続変数 1 つ)に 2 値のマーカーを 1 つ足すシミュレーションを 1000 回行うと、次のようになります。 | マーカーの効果(対数オッズ) | 尤度比検定で有意 | DeLong 検定で有意 | |---|---|---| | 0(効果なし) | 5.7% | 0.7% | | 0.5 | 19.5% | 0.5% | | 1.0 | 53.6% | 2.9% | | 1.5 | 90.2% | 23.2% | Pepe 2013 は、「AUC が改善しない」という帰無仮説は「B が無関係」と同じものだと示しています。そのため手順は次のとおりです。 1. B を足す価値は、基礎+A+B のモデルで B の係数を尤度比検定(または Wald 検定)で判定する 2. AUC の伸びは、P 値を付けずに値と信頼区間で示す。同じデータで当てはめた AUC は楽観的に高く出るので、bootstrap で楽観度を補正した値を添えると安全である ```r m1 <- glm(event ~ egfr, family = binomial, data = d) m2 <- glm(event ~ egfr + log(upcr), family = binomial, data = d) anova(m1, m2, test = "LRT") # 上乗せの検定はこちら auc(roc(d$event, fitted(m1), quiet = TRUE)) # 0.613 auc(roc(d$event, fitted(m2), quiet = TRUE)) # 0.786 ``` ```stata logit event egfr estimates store m1 gen lupcr = ln(upcr) logit event egfr lupcr estimates store m2 lrtest m1 m2 ``` ### イベントが少ないとき 基礎+A+B は変数が増えるので、イベント数が少ないと推定が不安定になります。候補のマーカーが多いときは、全部を 1 本のモデルに入れず、「基礎+既存マーカー 1 つ+新マーカー」を既存マーカーごとに作るか、既存マーカーを「どれか 1 つでも陽性」の 1 変数にまとめます。少ないイベントでの推定には [[Firth回帰]] を使います。 ## 文献 - DeLong ER, DeLong DM, Clarke-Pearson DL. Biometrics 1988;44:837-45. PMID: 3203132 - Vickers AJ, Cronin AM, Begg CB. BMC Med Res Methodol 2011;11:13. PMID: 21276237 - Demler OV, Pencina MJ, D'Agostino RB Sr. Stat Med 2012;31:2577-87. PMID: 22415937 - Pepe MS, Kerr KF, Longton G, Wang Z. Stat Med 2013;32:1467-82. PMID: 23296397 - Begg CB, Gonen M, Seshan VE. Clin Trials 2013;10:690-2. PMID: 23881367 ## 関連 - [[Stata - ROC解析]]