本地内在维度驱动无监督特征选择方法LIDFS在23个高维数据集评测中位列无监督方法首位

一句话结论

新方法LIDFS不依赖类别标签即可完成特征排序，在23个高维数据集的有监督与无监督下游评测中均位列无监督方法首位，且快于最接近的竞争对手。

关键要点

• 方法基于本地内在维度（LID，Local Intrinsic Dimensionality），将数据矩阵转置后把每个特征当作一个点，用最大似然估计各特征到其k个最近邻特征的LID。
• 在23个高维数据集上、使用5个下游分类器与聚类指标的全量及激进取数区间评测中，LIDFS在有监督评测中排名第一，在基于聚类的评测中排名第一或并列第二。
• LIDFS的运行时间为O(d²n)，其中n为实例数、d为特征数；它在不使用标签或类别数信息的情况下与需要类别数的方法同处最优统计组，且快于最接近的竞争对手。
• 若干近期方法在相同评测中未能击败随机基线。
• 敏感性分析显示，较小的邻域规模能取得最佳结果。
• 该论文提交于2026年10月29日（UTC），版本v1，文件13,054 KB，作者为Muhammad Rajabinasab，收录于arXiv cs.LG，为扩展版论文。

背景与事实

高维性会同时降低学习算法的效率与效果，许多应用中并无可用类别标签来引导降维。本论文提出LIDFS（Unsupervised Feature Selection Using Local Intrinsic Dimensionality，基于本地内在维度的无监督特征选择），一种基于LID的无监督特征选择方法。方法建立在LID与距离度量不可分辨性之间的形式等价关系之上；它将数据矩阵转置，使每个特征成为一个点，并通过到其k个最近邻特征的距离，以最大似然方式估计每个特征的LID。LID较低的特征表现出更高的局部可分辨性，从而获得更高的重要性得分。随后的一步精化在每个特征邻域中保留一个代表，并把局部冗余的特征降级。结果是一个完整的特征排序，无需重跑程序即可从中选取任意数量的特征。

LIDFS不以任何标签或类别数量信息作为输入。计算复杂度方面，论文给出LIDFS在n个实例、d个特征的运行时间为O(d²n)。评测采用23个高维数据集，即所谓经典基准集（classic benchmark collection），同时比较经典方法与最先进（state-of-the-art）方法以及随机基线。评测指标包括：使用5个下游分类器的分类准确率与AUC，以及聚类准确率与归一化互信息（normalized mutual information），覆盖全量与激进取数两种特征保留范围。结果显示LIDFS在有监督评测中排名第一，在基于聚类的评测中排名第一或并列第二；它与需要类别数的方法同处最优统计组，且运行速度快于其最接近的竞争对手。相比之下，若干近期方法未能优于随机基线。敏感性分析表明，较小的邻域规模会带来最佳结果。

影响分析

（以下为分析判断，非来源原文结论）对中文开发者而言，若手头仅有未标注数据或标签获取成本极高，LIDFS提供了无需类别数与标签输入、且能在一次运行中输出完整特征排序的方案，便于按业务所需的特征数量灵活截断。评测中它与需要类别数的方法同处最优统计组且更快的结论表明，在追求吞吐与部署成本的场景下可优先考虑；同时其O(d²n)复杂度意味着在d较大时需要关注算力与内存，建议在小规模邻域k下配置以换取最佳效果。

适用边界

（以下为分析判断）LIDFS的优势建立在“高维、无标签或标签缺失、可接受基于LID与距离度量的无监督排序”这一前提上；来源仅以经典高维基准集与随机基线作对照，未声明在低维、强噪声、类别数极端不平衡、标签必须精确对齐或需要类别数输入的特定约束下仍然保持首位表现；因此其排名第一的结论在来源未覆盖的数据类型与评测协议下不必然成立。

孤本观察

（编辑判断）来源把“不使用标签或类别数”与“仍与需要类别数的方法同处最优统计组且更快”并置，是评估无监督特征选择是否可用于生产的关键证据；敏感性分析指向小k，则提示调参方向明确。

来源：arXiv cs.LG