一句话结论
Nace AI开源Drex Max v1 27B决策模型,支持Apple Silicon本地运行,将复杂决策任务从云端API转移至本地硬件。
关键要点
- Drex Max v1 采用27B稠密模型架构,包含64层,其中48层为Gated DeltaNet线性注意力层,16层为全注意力层,支持262,144 token上下文窗口。
- 模型提供多种量化版本,affine Q4权重仅需14.45 GB,支持24 GB内存的Mac设备;Q8_0 GGUF版本需48 GB内存,适用于高端Apple Silicon设备。
- 在公开Decision Index基准测试中,Drex Max v1 得分67.52,优于前代Drex v2.0(61.25)和Drex v1.5(58.08);JevBench测试准确率达92.2%。
- 模型支持文本、JSON和图片输入,通过单一前向传播返回所有选项概率,适用于智能体路由、工单分类和策略检查等决策场景。
- Nace AI提供llama.cpp、Ollama、Kapitsa和MLX等多个运行时支持,所有运行时均通过统一的POST /v1/systemone API接口提供服务。
背景与事实
Nace AI近期将其旗舰决策模型Drex Max v1以开放权重形式发布,采用Nace.AI Open RAIL-M许可证。该模型定位为解决复杂决策问题的专用模型,区别于传统的生成式大语言模型,Drex Max专注于回答特定上下文中的类型化问题。用户输入状态数据(文本、JSON或图像)和命名问题,模型在单次前向传播中返回每个选项的概率分布,不产生任何生成内容。问题类型分为三类:在命名选项中选择、是/否判断,以及序数评分,使其天然适配智能体路由、工单分诊和护栏检查等结构化决策任务。
模型架构方面,Drex Max v1采用稠密27B参数骨干网络,共64层。其中48层使用Gated DeltaNet线性注意力机制,按从左到右顺序运行;其余16层为全注意力层,每隔四层放置一层,且采用非因果注意力,允许每个token关注整个序列。图像通过原生视觉塔处理,对请求中所有问题可见,最终由255路读出头将最后隐状态转换为选项概率。配置文件中显示模型类型为qwen3_5,支持262,144位置窗口。所有性能数据均为Nace AI自报,结果数据集涵盖140,620个请求,未回答的请求计为错误。
在部署支持方面,Nace AI提供了五种运行时:Python(支持NVIDIA GPU,bf16约49 GB或8-bit约26 GB,支持图像)、llama.cpp分支(支持Apple Metal和CPU,Q8_0 GGUF 27.25 GB,不支持图像)、Ollama分支(支持Apple Metal和CPU,Q8_0 GGUF,不支持图像)、Kapitsa v0.2.25+(支持Apple Silicon,Q8_0 GGUF或affine Q4,不支持图像)以及MLX(支持Apple Silicon,affine Q4 14.45 GB,不支持图像)。对于48 GB内存的Mac设备,Nace AI推荐使用Kapitsa并设置–context 2048;Ollama用户需设置num_gpu 40以将40层卸载到Metal,设置num_gpu 0则纯CPU运行,且Modelfile中需添加CAPABILITY decision行。
影响分析
对中文开发者与从业者而言,Drex Max v1的本地部署能力显著降低了决策类AI应用的数据隐私和安全风险。此前,涉及工单分类、策略检查或智能体路由等敏感业务场景必须依赖云端API,存在数据出境和合规压力;现在27B决策模型可在本地Mac设备上运行,affine Q4版本仅需14.45 GB内存,使24 GB统一内存的Mac设备即可部署,大幅降低了硬件门槛。量化测试显示Q8_0 GGUF在48 GB Apple M5 Pro上性能与H100 bf16差距在0.02概率以内,affine Q4与Q8_0差距在0.0329以内且无选择翻转,表明本地部署在精度损失可接受范围内。
但需注意,本地部署不支持图像处理功能,所有运行时中仅Python+NVIDIA GPU组合支持图像输入。对于需要多模态决策的场景,开发者仍须依赖云端服务或GPU服务器。此外,262,144的超长上下文窗口在本地推理时可能导致显著延迟,实际应用中需权衡上下文长度与响应时间。对创业公司和中型企业而言,本地部署可节省持续的API调用费用——云端托管价格为0.03美元/1K决策,高频使用场景下成本优势明显。
适用边界
该结论主要适用于决策类任务本地化部署场景,但不适用于以下情况:需要图像输入的决策任务(本地运行时均不支持图像);超大规模高并发生产环境(本地单节点吞吐量有限);对响应延迟要求极高的实时系统(262,144上下文窗口的完整推理耗时较长);缺乏Apple Silicon或NVIDIA GPU硬件的环境。此外,模型许可证为Nace.AI Open RAIL-M,商业化使用前需仔细审阅具体限制条款。对于预算有限的团队,9B的Drex v1.5可能提供更经济的选择,但性能低于27B的Drex Max v1。
孤本观察
从编辑视角判断,Nace AI将生成式架构改造为专用决策模型的思路值得关注:通过丢弃生成能力换取结构化输出的确定性,这类"窄而深"的专用模型可能在工业界获得比通用大模型更实际的落地场景,尤其在决策链路清晰、选项有限的业务环节。
常见问题
Drex Max v1在24 GB内存Mac上运行需要多大的量化版本?
affine Q4权重仅需14.45 GB,支持24 GB内存的Mac设备。
本地运行时支持图像输入吗?
不支持,所有本地运行时(llama.cpp、Ollama、Kapitsa、MLX)均不支持图像,仅Python+NVIDIA GPU组合支持。
48 GB内存的Mac推荐使用哪个运行时及设置?
推荐使用Kapitsa,并设置–context 2048。
Drex Max v1在Decision Index基准测试中的得分是多少?
得分67.52,优于前代Drex v2.0的61.25和Drex v1.5的58.08。
本地部署与云端托管相比,成本优势体现在哪里?
云端托管价格为0.03美元/1K决策,本地部署可节省持续的API调用费用,高频使用场景下优势明显。
来源:MarkTechPost