可审计模糊全文筛选流水线：融合语义高亮与大语言模型判读

原文：An auditable pipeline for fuzzy full-text screening in systematic reviews: integrating contrastive semantic highlighting and LLM judgment.
期刊：Artificial intelligence review（影响因子 13.9） |  PubMed | PMC 全文（含 PDF）

系统评价（systematic review, SR）是循证医学与生物医学研究的基石，为临床、政策和科研决策提供最可靠的知识综合。然而，随着当代学术出版规模激增——每天有超过 75 项临床试验和 11 篇系统评价问世——传统人工工作流程已不堪重负。其中，全文筛选成为最大瓶颈：与标题/摘要初筛不同，全文评估需要通读冗长、异质的文献，关键 eligibility 信息可能散落在各个章节、埋在图表里，或使用学科特定、不断演变的术语。评审者疲劳与认知过载常见，即便遵循同一方案，专家在全文阶段也常对是否纳入产生分歧。

这种分歧不仅源于人为不一致，也来自数据本身的性质：全文证据天然是模糊（fuzzy）的。人群在一段里描述宽泛、另一段里又很狭窄；干预措施被间接提及；结局用非标准术语报告。纳入/排除很少是“全有或全无”，而是由部分匹配和多维语义关系共同决定。 crisp（硬阈值）规则系统无法表达部分相关性，概率机器学习又常把决策压成不透明分数、缺乏逐案解释，而单独使用大语言模型（LLM）也难以保证 SR 标准下的稳定召回率与灰度案例的校准判断。

核心发现：高召回、可追溯的自动化筛选

针对这一问题，研究团队在《Artificial Intelligence Review》（影响因子 13.9）上发表了一项方法学研究，提出一种可扩展、可审计的全文筛选流水线，把纳入/排除重构为模糊决策过程，并在非传染病人群健康建模网络（POPCORN）中评估。如图 1 所示，该流程包含四个阶段：文本分块与嵌入、语义相似度打分与高亮、模糊逻辑选择、以及 LLM 判读。

在一个全为“应纳入”的金标准试点集上（若干全文、若干文本块），模糊系统在文档级召回率上表现突出：人群（Population）81.25%、干预（Intervention）87.50%、结局（Outcome）87.50%、研究路径（Study Approach）75.00%（95% Wilson 置信区间），超过统计基线（56.25–75.00%）和 crisp 基线（43.75–81.25%）。严格满足“全部标准”的纳入文章比例达 50.00%，而基线分别仅为 25.00% 和 12.50%。跨模型对理由说明的一致率为 98.27%，人机一致率 96.07%；试点评审显示评分者间一致率 91%，单篇筛选时间从约 20 分钟降至 1 分钟以内，成本显著降低。

作者强调，上述召回率是在“全阳性”金标准集（无排除文档）上计算，因此特异性、ROC/PR 曲线与 AUC 在此未定义；混合标签语料上的完整操作特征分析将在后续研究中报告。

方法亮点：对比语义高亮 + 模糊控制 + LLM 作为验证者

该流水线从第一性原理出发设计，兼顾模糊性与可解释性。首先，对比语义高亮：文章被切分为重叠块并用领域适配模型嵌入；对每条标准（P/I/O/S），计算“纳入 vs 排除”的对比余弦相似度及模糊边界（vagueness margin），把候选文本片段高亮出来，使证据可回溯到具体原文。

其次，如图 2、图 3 所示，Mamdani 模糊推理系统将相似度得分与模糊边界映射为分级纳入度，以三角隶属函数处理“减去后的余弦相似度”“边界”和“决策”输出，在多标签分类中动态设定阈值，模拟专家小组权衡部分支持性陈述直至达成共识的过程。

最后，LLM-as-judge并非自主仲裁者，而是受约束的验证者：它只审阅模糊层预高亮的文本块，给出三级判断（YES/NO/MAYBE）、置信分数和基于标准的简短理由；当证据不足时，模糊隶属度被衰减而非硬性排除，从而保留召回率。这种设计降低了幻觉风险，支持复现，并使最终纳入仍对齐预设 SR 标准。

应用意义：为科研与临床证据合成提速

对生物医学科研读者而言，这项工作意味着全文筛选这一最耗人力、最易出错的环节，有望在保持高召回与端到端可追溯的前提下大幅自动化。其可审计链条——从原文文本、高亮片段、模糊规则激活到 LLM 理由——让评审团队能检查“机器为何这样判”，而非面对黑箱分数。未来在混合标签语料上完成完整验证后，该框架或可整合进 Covidence、Rayyan 等平台，服务于非传染病人群健康建模乃至更广泛领域的系统评价生产。

关键图表

本文图片转载自 PMC 开放获取全文，仅供学习参考，请以原文为准。