arXiv 新提交的论文提出 BioPhys-Bridge,一个用于生物物理文献中基于证据的科学推理的基准数据集。论文指出,语言模型在分析跨学科科研文献时面临独特挑战:在生物物理研究中,可靠的回答需要把观测数据落地到来源证据,通过定量物理模型加以解释,并关联到生物学机制。
BioPhys-Bridge 的每个案例包含证据块、稳定的证据 ID、定量数值、单位、方程、假设、机制以及下一步决策,作为问答(QA)和检索增强生成(RAG)的落地目标。初始版本包含 500 个案例、1,517 个面向智能体的任务,覆盖六个生物学领域和九个物理模型家族,其中三个稀疏家族保留用于未来扩展。
该数据集对所有案例在模式、证据完整性、定量落地、来源许可、重复、单位归一化等方面执行严格的质量门控,并有 81 个案例经过领域专家审核与标注。初步评测显示,DeepSeek-V4-Flash 取得最高的证据 ID F1 分数(0.360),其次是 Qwen3.7-Max(0.316)和 GPT-4o-mini(0.294)。
论文称,BioPhys-Bridge 是一个跨学科基准,用于评估归因、忠实性、幻觉削减以及复杂多步科学推理中的生物实验设计。未来工作将扩大数据集的规模和复杂度,并开展全面评测。代码和数据已在 GitHub 仓库和 Hugging Face 上提供。
来源:arXiv cs.AI