ENAS 无 GPU 神经网络架构搜索框架在微控制器 TinyML 场景中实测加速 2.41 倍

一句话结论

ENAS 在无 GPU 环境下实现 2.41 倍搜索加速，显著降低微控制器部署模型的峰值激活 RAM 消耗。

关键要点

• ENAS 采用随机→Top-K→变异三阶段混合搜索策略，配合静态可行性检查和跨运行持久缓存机制
• 支持标准、深度可分离和瓶颈块三种基础结构，可选跳跃连接，覆盖主流 TinyML 架构模式
• 在 Visual Wake Words 数据集上实现 2.41 倍搜索时间加速，Melanoma Cancer 数据集上实现 1.70 倍加速
• 在 STM32H743 微控制器上测试准确率达 79.4%，比纯 CPU 贪心基线高 2.6 个百分点
• 实验覆盖八款微控制器（SRAM 从 20KB 到 1MB）和九种输入图像分辨率

背景与事实

ENAS 是由 Pandarasamy Arjunan 等人在 2026 年 8 月 10 日提交至 arXiv 的神经网络架构搜索（NAS）框架，专注于资源受限微控制器上的 TinyML 应用。传统 NAS 框架普遍依赖 GPU 加速进行大量模型评估，这使得在嵌入式开发环境中开展架构搜索变得困难。ENAS 的核心设计理念是无 GPU 依赖，使其能够在 CPU 为主的资源受限开发环境中高效运行。

该框架的搜索空间采用基于单元（cell-based）的设计，包含三种标准基础块：标准卷积块、深度可分离卷积块和瓶颈块，并支持可选的跳跃连接。搜索策略分为三个阶段：首先进行随机搜索以快速探索架构空间，然后筛选出 Top-K 个候选进行精细评估，最后通过变异操作进一步优化。静态可行性检查在搜索早期排除无法在目标微控制器内存约束下部署的架构，而跨运行持久缓存机制则避免重复评估相同架构，显著提升搜索效率。

实验评估基于两个 TinyML 基准数据集：Visual Wake Words（视觉唤醒词识别）和 Melanoma Cancer（黑色素癌检测）。测试硬件涵盖八款微控制器，SRAM 容量从 20KB 到 1MB 不等，输入图像分辨率包含九个规格。在 Visual Wake Words 数据集上，ENAS 的平均搜索时间相比基线加速 2.41 倍；在 Melanoma Cancer 数据集上加速 1.70 倍。与近期 NanoNAS 框架相比，ENAS 在测试准确率方面保持竞争力，同时资源使用更优。

资源测量分析显示，ENAS 选出的模型在相同准确率下具有显著更低的峰值激活 RAM 消耗。由于激活 RAM 是微控制器部署的硬性约束，这一特性使 ENAS 选出的架构更易于实际部署。在 STM32H743 微控制器上，ENAS 达到 79.4% 的测试准确率，比纯 CPU 贪心基线高 2.6 个百分点，证明了硬件感知搜索的实际价值。

影响分析

对于从事嵌入式 AI 和边缘计算开发的中文从业者而言，ENAS 的无 GPU 设计具有直接实用价值。许多嵌入式开发团队受限于开发环境，无法配置昂贵的 GPU 设备，传统 NAS 框架在这些场景下难以运行。ENAS 使架构搜索可以在普通 CPU 开发机上完成，降低了 TinyML 模型设计的技术门槛。

具体到工程实践，当目标硬件是 STM32 系列或其他 SRAM 受限的微控制器时，ENAS 的峰值激活 RAM 优化特性尤为重要。开发者可以直接使用 ENAS 选出的架构参数，减少手动调优激活缓冲大小的反复试错。不过需要明确的是，ENAS 的优势集中在搜索阶段和部署阶段，推理阶段的加速效果需结合具体硬件进一步验证。该框架主要适用于 CNN 架构搜索，对 Transformer 等新兴架构的适配性尚不明确。

适用边界

ENAS 的结论在以下条件下不成立或需谨慎适用：目标微控制器具有较大 SRAM 容量（如 4MB 以上）时，激活 RAM 不再是主要瓶颈，ENAS 的内存优化优势减弱；目标架构搜索空间超出标准、深度可分离和瓶颈块范围时（如注意力机制、Mamba 等），ENAS 的 cell-based 设计需要扩展；搜索时间加速倍数基于特定硬件配置和缓存命中率得出，在缓存失效频繁或 CPU 性能不同的环境下可能发生变化。ENAS 不适用于需要实时在线架构调整的场景，其搜索结果是静态的架构参数。

孤本观察

ENAS 在 2.41 倍加速的同时保持竞争性准确率，表明搜索效率与模型质量并非必然权衡，这种"效率提升不牺牲质量"的特性在 NAS 领域较为少见。

来源：arXiv cs.LG