CSIRO 推出 sBeacon：基于无服务器架构的 S3 基因组数据直接查询方案

一句话结论

CSIRO 开发的 sBeacon 架构允许直接查询存储于 Amazon S3 的基因组数据，无需复制至中央数据库，大幅降低存储成本并提升查询灵活性。

关键要点

• 系统采用 Amazon S3、AWS Lambda、Amazon Athena 和 Amazon DynamoDB 构成无服务器架构，实现 GA4GH Beacon 标准。
• 基因组数据（VCF 文件）与元数据分离存储，变异查询通过 HTTP 字节范围请求读取 S3 中的特定区域，避免传输完整文件。
• 使用千人基因组计划 1 号染色体数据测试，接入 2504 个样本仅需 18 秒和 0.00052 美元，单次查询 1 万个碱基对耗时 1.52 秒。
• 架构可扩展至 4000 万个个体和 30 亿个基因组位置，查询时间在变异数量增长 100 倍时保持稳定。
• 支持结合基因组和表型信息的联合查询，通过 CSIRO 的 Ontoserver 处理本体术语。

背景与事实

CSIRO（澳大利亚联邦科学与工业研究组织）前生物信息学产品解决方案架构师 Anuradha Wickramarachchi 团队开发的 sBeacon 系统，针对传统基因组分析架构中数据集中存储和复制的高成本问题，提出了无服务器解决方案。该系统将基因组数据与搜索所需的元数据分离：变异调用格式（VCF）文件保留在 Amazon S3 中，而疾病状态、年龄和位置等元数据则单独建立索引。接入数据时，sBeacon 会为元数据创建索引和 Athena 表，并通过 CSIRO 的 Ontoserver 处理本体术语，以支持结合基因组和表型信息的查询。

对于变异查询，API Gateway 会将请求路由至 Lambda 函数，由这些函数确定相关数据集和基因组区域。变异查询模块使用 bcftools 及其 htslib 库，通过 HTTP 字节范围请求获取 VCF 文件的特定部分。这样，系统无须传输完整文件，即可读取所需的基因组区域。查询结果经过汇总后，通过 Beacon API 返回。

CSIRO 使用千人基因组计划的 1 号染色体数据对 sBeacon 进行了评估，其中包含 2504 个样本，压缩后的 VCF 文件大小为 1.1GB，并存储在 Amazon S3 中。系统用时 18 秒、花费 0.00052 美元完成数据集接入，其间只创建索引文件，并未复制基因组数据。一次覆盖 1 万个碱基对的查询平均耗时 1.52 秒，成本为 0.00013 美元。CSIRO 报告称，当返回的变异数量从 4 个增加到 400 个，即增长 100 倍时，查询时间总体保持稳定。

该设计建立在此前发表于 Nature Biotechnology 的 sBeacon 研究基础上。最初的 Beacon 研究描述了一种联合式模型，让组织可以在保留基因组数据控制权的同时，对外提供标准化查询接口。GA4GH 协议旨在跨分布式数据源运行，而不规定底层存储技术。2026 年的实现利用云服务扩展了这一模型，在将基因组文件保留在对象存储中的同时，提供弹性查询执行能力。

影响分析

这对中文开发者与从业者的实际影响主要体现在三个方面：一是降低基因组数据存储成本，传统架构需要复制大型数据集到中央数据库，而 sBeacon 允许数据保留在原始 S3 存储位置，仅索引元数据，显著减少存储开支；二是提升查询效率，通过 HTTP 字节范围请求直接读取所需基因组区域，避免传输完整文件，适合大规模队列分析；三是支持联邦查询模式，组织可在保留数据控制权的同时对外提供标准化接口，符合生物信息学数据共享的隐私合规要求。然而，该方案依赖 AWS 云服务生态，对于使用其他云提供商或本地集群的组织可能需要额外适配工作。

适用边界

该结论主要适用于使用 AWS 云服务的基因组学研究团队，特别是需要跨多个分布式数据源进行联合查询、且希望保留数据所有权的机构。对于数据量极小或已有集中式数据库的组织，迁移成本可能超过收益；对于无法访问 AWS 或存在严格数据出境限制的场景，该方案的直接适用性受限；另外，HTTP 字节范围请求对网络稳定性要求较高，在延迟较大的网络环境中查询性能可能下降。

孤本观察

从编辑观察角度看，sBeacon 的核心创新在于将“数据不动、查询动”的理念转化为无服务器实现，18 秒完成 2500 样本索引接入且成本低于 0.001 美元，这一具体数字为同类架构提供了可验证的性能基准。然而，文中未提及对多区域 S3 存储或跨云查询的支持情况，这是实际部署中需要关注的技术空白。

来源：InfoQ 中文 AI