校准曲线：揭示预测与实际风险的一致性
ixxmu opened this issue · comments
校准曲线：揭示预测与实际风险的一致性 by 挑圈联靠
Hi，大家好啊，我是猕猴桃老师，今天给大家带来预后校准曲线Calibration图的讲解~
学习思路
01
前面向大家介绍了预测模型中ROC曲线和列线图的绘制，校准曲线也是预测模型中重要的一部分。一个好的预测模型不仅要有很好的区分度(Discrimination)，同时还要具备良好的校准度(Calibration)。
AUC值是判断模型的区分度，而校准曲线(Calibration curve)是目前评价预测模型校准度最常用的方式。
知
识
点
定义：校准曲线 (Calibration curve)，实际发生率和预测发生率的散点图，反映了模型预测风险与实际发生风险的一致程度，本质上是Hosmer-Lemeshow拟合优度检验结果的可视化，可以非常直观地看到预测概率和真实概率的关系。
实现功能：校准曲线（Calibration Curve）是用于评价分类模型（如Logistic回归模型）或生存分析模型（如Cox回归模型）性能的重要工具之一。它帮助我们了解模型的预测概率与实际观测之间的关系，以及模型是否正确估计了事件的概率。
图解
02
横坐标：nomogram模型预测的OS；
纵坐标：实际观察数据的OS；
校准曲线上的点代表模型预测的生存概率和实际观测到的生存概率情况（类似 Nomogram 中的最下部分中不同得分对应的概率）；
校准曲线上的点对应的竖线代表该位置的置信区间；
校准曲线上蓝色的叉代表每个点经过分层Kaplan-Meier校正后的结果；
理解：
在 Calibration图中，通过在图中绘制不同情况下实际概率和模型预测的概率的拟合情况，判断模型对实际结果预测效果的评估。只需要看模型的线是否可以很好的拟合到对角线上。
例如，如果曲线上的点都位于对角线上方，那么模型可能高估了事件的概率；如果点都位于对角线下方，那么模型可能低估了事件的概率。
使用场景
03
预测模型评估：评估预测模型的准确性。比较预测模型给出的预测患者预后概率与实际观察到的患者预后情况之间的差异，可以了解模型在预测预后方面的准确性。
模型校准度评估：评估预测模型的校准度。校准度表示预测模型的预测结果与实际观察结果的一致性程度。观察预后校准曲线上的曲线拟合程度，可以判断预测模型在各个预测概率范围内的校准度。
模型改进：发现预测模型在某些预测概率范围内存在偏差或误差。基于这些观察结果，可对模型进行改进，调整模型的参数或重新选择特征，以提高模型的预测准确性和校准度。
图表绘制和讲解
04
生信图表的绘制一直都是很多刚入门的新手会头疼的问题。
不知道怎么做图？拿着数据手足无措？
这就来教你解决！
从让大家记住学会的角度出发，建议先登录网站自己绘制一次，然后再参照视频比对一下自己的绘制过程是否一致哦！
看图实战
05
例1
Malamon et al. EBioMedicine. PMID: 36870199.
图中元素解释：
在5年模型中(图 2a)，第5层的中位存活率为88.98%，第4层的中位存活率为80.37%，第3层的中位存活率为69.78%，第2层的中位存活率为58.81%，第1层的中位存活率为37.69%。10年模型(图 2b)得出第5层的中位生存率为86.2%。第4层的中位生存率为78%，第3层的中位生存率为68.8%，第2层的中位生存率为59.8%，第1层的中位生存率为41.1%。在5年和10年模型中，L-EPTS 概率与5级平均存活天数的相关性分别为96% 和99%。5年时，有1231名(4.67%)患者的L-EPTS概率等于或小于50%。10年时，42785 名患者(91.75%)的LEPTS概率等于或大于50%。
另附结果描述：
图注描述：
Fig. 2: Calibration of the five-tiered ranking system. The estimated median survival probability (EMSP) was calculated for all patients in the discovery cohorts (N = 26,372 and N = 46,329) and is provided as a function of mean survival years per tier for all 5-year (a) and 10- year (b) predictions. We defined the five-tiered thresholds by selecting the maximum correlation between the median survival probability and the mean years survived at 10-years post-transplant. The following tier thresholds were assigned: 5 (EMSP > 0.85), 4 (EMSP > 0.75 and ≤0.85), 3 (EMSP > 0.65 and ≤ 0.75), 2 (EMSP > 0.5 and ≤0.65), and 1 (EMSP ≤ 0.5). The goodness-of-fit (R2 ) was calculated using linear regression and reported at 0.96 and 0.99 for 5- and 10-years post-transplant.
结果描述：
The mean survival days per tier are presented in Fig. 2. In the 5-year model (Fig. 2a), tier 5 had a median survival of 88.98%, tier 4 had median survival of 80.37%, tier 3 had a median survival of 69.78%, tier 2 had a median survival of 58.81%, and tier 1 had a median survival of 37.69%. The 10-year model (Fig. 2b) yielded a median survival of 86.2% for tier 5. Tier 4 had a median survival of 78%, tier 3 had a median survival of 68.8%, tier 2 had a median survival of 59.8%, and tier 1 had a median survival of 41.1%. L-EPTS probability was 96% and 99% correlated to the mean survival days across the 5 tiers for the 5-year and 10-year models, respectively. At 5-years, 1231 (4.67%) patients had an equal to or less than 50% L-EPTS probability. At 10-years, 42,785 (91.75%) patients had equal to or greater than 50% LEPTS probability.
例2
Rentroia-Pacheco et al. EClinicalMedicine. PMID: 37662519.
图中元素解释：
该模型校准良好：3 年校准斜率为0.96 (95% CI 0.76-1.16)。观察值与预期值之比 (O/E比)为 0.82 (95% CI 0.58-1.06)，表明该模型略微高估了该队列中的转移事件，尤其是在较高的转移风险范围内。
另附结果描述：
图注描述：
Fig. 1: Calibration plot. Calibration plot comparing observed metastatic events in the validation cohort with metastatic events predicted by the absolute risk model (in blue) and the Brigham Women’s Hospital (BWH) staging (in pink). The histogram on the bottom shows the distribution of predicted risk probabilities. Patients were grouped into 10 groups of similar size (approximately 70 patients per group). Weighted average predicted metastatic probability and weighted Kaplan–Meier survival estimates were computed for each group. Confidence intervals correspond to the 95% confidence intervals of the Kaplan–Meier survival estimates for each group.
结果描述：The model waswell-calibrated: the 3-year calibration slope was 0.96(95% CI 0.76–1.16). The observed to expected ratio (O/Eratio) of 0.82 (95% CI 0.58–1.06) indicates that themodel slightly overestimated metastatic events in thiscohort, particularly for higher ranges of metastatic risk(Fig. 1).
生信人发文的第一道坎，是看不懂文献的套路。
先别着急！
关于生信快速发文的小诀窍，雪球老师在腾讯会议制定了一个会议主题：2024年生信3+SCI性价比最高的发文方式，想要了解的可以扫下方的二维码哦！同时，雪球老师还会不定时在朋友圈发布生信直播链接以及科研干货~ 欢迎大家扫码了解！
现团队推出一款生信学习体系课“卓越计划”，目的是让做科研的医生把生信想明白，做明白，助力科技成果发表。
卓越计划第一次线下课（2023年12月2日-3日）就收获了超乎预期的反响，线下集中训练，尤其是针对代码问题的专项答疑深受学员们的喜爱(卓越计划是一种遥遥领先的精神状态；参加卓越计划后，我拿回了属于我的一切)。
另外，现在添加雪球老师微信，回复W-12还可以领取雪球老师精心整理的多分子类型生信套路从入门到精通~