论文名称:Submodularity In Machine Learning and Artificial Intelligence


一、综述论文
这篇文章是一篇 综述论文(survey)。
核心目标是:
介绍 Submodular functions(次模函数) 以及它们在 机器学习与人工智能中的应用。
作者想说明一个非常重要的观点:
很多机器学习问题其实是'离散优化问题'。
例如:
- Feature Selection:属于数据预处理问题,旨在从原始特征中筛选出最相关、最有信息量的子集,以降低维度、提升模型性能与可解释性。
- Dataset Subset Selection:属于数据采样或核心集选择问题,旨在从大规模数据中选取一个具有代表性的子集,以降低计算和存储成本,同时保持模型性能。
- Active Learning:属于机器学习训练策略问题,通过让模型主动选择最有价值的数据进行标注,以最少的标注成本最大化模型性能。
- Clustering:属于无监督学习问题,旨在根据数据的内在相似性,将未标记的数据自动分组为不同的类别或簇。
- Data summarization:属于信息压缩与呈现问题,旨在通过生成简洁的摘要(如关键点、代表性样本或可视化)来捕捉大型数据集或复杂数据的核心信息。
这些问题的共同特点:决策变量是 集合 (set) 不是连续变量。
例如:从 1000 个数据里选 100 个,从 100 个特征里选 20 个,组合数量是指数级的。
因此:
需要一种结构,使得 指数空间的问题仍然能高效优化。
这就是 Submodular Function 的意义。
作者提出一个很重要的类比:
| 连续优化 | 离散优化 |
|---|---|
| convex function | submodular function |
可以简单理解为:Submodular ≈ 离散版本的 convex/concave 结构 但其实更复杂。
二、什么是 Submodular Function(核心)
论文给出的正式定义是:
对于集合函数:




