一句话结论
纯C实现框架Colibrì通过将MoE专家存至SSD并动态调度，使32GB内存笔记本能运行744B参数GLM-5.2且无需GPU。
关键要点
- GitHub开源项目Colibrì采用纯C实现，零引擎依赖，已获32k Star，支持Linux、macOS、Windows预编译。
- 744B参数的GLM-5.2经int4量化后权重约372GB，最低需16GB内存、推荐24GB内存即可运行，无需GPU。
- 框架将模型分为常驻Dense部分与临时调用的MoE专家，专家按需从NVMe SSD加载至RAM或VRAM。
- 2.8T参数Kimi K3需1.6TB硬盘空间，但内存要求仅需32GB起步，同样支持无GPU运行。
- 在128GB内存纯CPU桌面上GLM-5.2解码速度约1.8 token/s，六张RTX 5090全专家常驻时达5.8～6.8 token/s。
背景与事实
Colibrì是一款针对MoE架构大模型的分层推理框架，由开发者JustVugg主导开发，最早为运行GLM-5.2而设计。该项目在GitHub上迅速走红，当前星标数达32k。其核心理念是“Tiny engine, immense model”，即微小引擎驱动庞大模型。与传统推理引擎要求模型完整装入显存不同，Colibrì允许将暂时未调用的模型权重直接存储在NVMe SSD中，仅在Router实际选择某专家时从硬盘读取。
GLM-5.2总参数744B，但MoE架构下每个token仅激活约40B参数。框架将每次推理必需的Dense部分（Attention、Embedding、共享专家等，约17B参数）在int4量化后压缩至约9.9GB常驻RAM。而19456个路由专家在int4下占约370GB，全部置于NVMe SSD。推理时，Router先筛选当前token所需专家，Colibrì检查这些专家是否已在RAM或VRAM，未命中则从SSD读取。作者最初验证环境为12核CPU+25GB RAM笔记本，冷缓存下GLM-5.2速度约0.05～0.1 token/s，但可完整运行。
为提升性能，Colibrì构建了三层存储调度体系。首先引入LRU缓存，最近使用的专家优先保留在RAM，避免重复读取SSD。其次，框架持续记录各专家调用频率，高频“常客”专家获得更高缓存优先级，尽量驻留于更快存储层。第三，基于相邻层专家路由相关性达71.6%的观察，Colibrì在计算当前层时后台预读下一层可能调用的专家，将串行计算与SSD I/O重叠。此外，若机器配备双NVMe SSD，框架支持放置第二份模型副本，将专家读取任务分摊至两块盘，并行利用带宽。这套机制被开发者称为AI memory multitiering，其设计原则是专家存放位置仅影响速度，不改变Router选择逻辑或权重精度。
截至发布时，Colibrì已支持9个模型家族：Qwen3.8-Flash-Next、Qwen3.6、OLMoE等小尺寸模型，284B DeepSeek V4 Flash，321B GLM-5.3-Flash，744B GLM-5.2/5.3，975B Thinking Machines Inkling，以及2.8T总参数、104B激活的Moonshot Kimi K3。Kimi K3权重需约1.6TB存储空间，但RAM要求仅为32GB起步，GPU非强制项。每个模型配有独立C适配文件，底层IO、缓存、tokenizer等公共组件复用同一核心。项目提供预转换的GLM-5.2 int4模型，也可从FP8原始模型自行转换；运行仅需下载几百KB的Colibrì程序及对应模型文件，执行一条“coli chat”命令即可进入对话，亦可开启Web Dashboard实时查看token速度、各阶段耗时及专家在VRAM/RAM/磁盘的分布情况。
影响分析
对中文开发者而言，Colibrì显著降低了前沿大模型本地实验的门槛。传统上运行744B以上MoE模型需多卡GPU服务器或专业机房设备，而Colibrì使普通32GB内存笔记本即可运行GLM-5.2或Kimi K3，这意味着高校学生、独立开发者及中小型团队无需高额硬件投入即可开展模型行为观察、prompt调优与推理特性研究。然而需明确这是基于框架能力与模型MoE结构特征的分析判断：其性能提升依赖于NVMe SSD的高随机读取带宽与MoE专家调用的可预测性，若用户硬件为SATA SSD或机械硬盘，分层调度优势将大幅削弱，实际速度可能远低于宣传值。此外，该分析假设用户能获取约372GB至1.6TB的模型权重文件并具备相应存储空间，对于带宽受限或磁盘容量不足的从业者，应用条件受限。
适用边界
该结论不适用于以下场景：模型非MoE架构（如纯Dense Transformer），因无路由专家可分层调度；用户硬件无NVMe SSD（仅SATA或HDD），分层预读与并行读取优势丧失；模型激活参数占比极高导致Dense部分超出可用RAM；或对推理延迟敏感、要求稳定高吞吐的在线服务场景（冷启动与缓存未命中时延迟波动大）。
孤本观察
Colibrì将SSD转化为“动态显存”的思路，本质上是对MoE稀疏激活特性的工程化利用，其价值不在于替代专业推理引擎，而在于为资源受限用户提供了一条可验证前沿模型行为的低成本路径。这种“按需加载、分层调度”的设计可能为未来端侧大模型推理架构提供新的参考范式。
常见问题
运行744B参数GLM-5.2模型需要多少内存和存储空间？
模型int4量化后权重约372GB，最低需16GB内存，推荐24GB内存即可运行，无需GPU。
Colibrì框架支持哪些模型家族及最大参数规模？
支持Qwen、OLMoE、DeepSeek V4 Flash、GLM-5.2/5.3、Kimi K3等9个家族，最大支持2.8T参数Kimi K3。
在128GB内存纯CPU桌面上GLM-5.2的推理速度是多少？
解码速度约1.8 token/s；若使用六张RTX 5090且专家全常驻，速度可达5.8～6.8 token/s。
Colibrì框架的核心工作原理是什么？
将MoE专家存至NVMe SSD，按需从硬盘加载至RAM或VRAM，利用分层调度与预读技术替代显存。
哪些场景下Colibrì框架不适用？
不适用于非MoE架构模型、无NVMe SSD硬件、Dense部分超出可用RAM、或对延迟极度敏感的在线服务场景。
来源：量子位