诊断试验的评价与分析.ppt

图7 放射医生影像分类的ROC曲线 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R 双正态 机率线 工作点 第六十二页，共八十八页，2022年，8月28日 灵敏度,特异度,假阴性率,假阳性率 Test variable 第三十页，共八十八页，2022年，8月28日 医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的诊断。 第三十一页，共八十八页，2022年，8月28日 不同诊断界值时灵敏度与特异度间的平衡(trade off) 0 20 40 60 80 100 50 60 70 80 90 100 特异度 灵敏度 百分率（％） Test variable 第三十二页，共八十八页，2022年，8月28日 完美与无用的ROC曲线 真阳性率 即 灵敏度 假阳性率 即 1－特异度 机率线(chance line)(diagonal reference line) 第三十三页，共八十八页，2022年，8月28日 诊断准确度较低（ <0.7 ） 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R A ＝ 0.664 A ＝ 0.830 诊断准确度较高 （> 0.9 ） 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR T P R A ＝ 0.938 ROC曲线下面积（Area）与诊断准确度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F) 第三十四页，共八十八页，2022年，8月28日 似然比（LR）在ROC曲线空间的涵义 白细胞计数诊断白血病 LR＝7.5 LR＝0.7 LR＝2.3 LR＝25.0 第三十五页，共八十八页，2022年，8月28日 基本概念小结 ROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏度将降低特异度；增加特异度将降低灵敏度)。 在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。 在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。 在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。 ROC曲线下面积是重要的试验准确度指标。 第三十六页，共八十八页，2022年，8月28日 主要任务： 计算ROC曲线工作点（Coordinate point或Operating point）（FPR, TPR） 连接相邻两点 一、ROC曲线工作点的计算与曲线绘制 第三十七页，共八十八页，2022年，8月28日 连续型数据的ROC曲线工作点（TPR，FPR）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表 表13－3 假想的连续型数据 第三十八页，共八十八页，2022年，8月28日 第三十九页，共八十八页，2022年，8月28日 有序分类数据的ROC曲线工作点（TPR，FPR）计算 将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。 第四十页，共八十八页，2022年，8月28日 2 第四十一页，共八十八页，2022年，8月28日 二、ROC曲线下面积的计算 ROC曲线下面积 (Area) 部分ROC曲线下的面积 FPR为某值对应的TPR值 第四十二页，共八十八页，2022年，8月28日 (一) Hanley 和 McNeil非参数法  ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率 Mann-Whitney U 统计量 第四十三页，共八十八页，2022年，8月28日 Hanley 和 McNeil法ROC曲线下面积与Mann-Whitney U 检验 由秩和检验中的Mann-Whitney U统计量（SPSS等软件均可计算）可计算ROC曲线下面积 零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-Whitney U检验 S