AI时代数学新角色：从理论基石到高阶设计与现象解释

过去十年间，机器学习的进步方式发生了转变。那些基于精心设计且符合数学原理的架构所带来的改进已微乎其微，而那些依赖大规模训练数据和大量模型参数的计算密集型方法却带来了现有理论难以预测的显著新能力。数学和统计学曾经是机器学习研究的主要指导力量，如今却难以即时洞察最新突破。这并非机器学习实证进展首次超越理论驱动方法，但最近的技术进步幅度迫使我们再次面对这一“苦涩的教训”。

这种转变引发了人们对数学在机器学习研究中未来角色的猜测。显而易见，数学将不得不与更广泛的视角共享研究舞台——例如，生物学在理解复杂系统方面的深厚经验，以及随着人工智能日益融入社会而产生的社会科学视角。机器学习日益跨学科的性质应被视为所有研究人员的一个积极发展。

然而，我们认为数学的相关性依然如故；它的角色只是在演变。例如，数学过去可能主要提供模型性能的理论保证，而现在它可能更常用于事后解释模型训练和性能中的现象——这一角色类似于其在物理学中的作用。同样，数学直觉过去可能用于指导手工设计的特征或细节，而现在其应用可能转向更高层次的设计选择，例如匹配架构与数据对称性。

这些变化并非完全新颖。数学在机器学习中一直扮演着多种角色。毕竟，例如能够体现架构与数据对称性匹配的卷积神经网络，其概念已经存在超过40年了。真正变化的是数学能够产生最大影响的问题类型，以及其最常见的应用方式。

向大规模发展的转变拓宽了适用于机器学习的数学领域。诸如拓扑学、代数和几何学等“纯粹”数学学科，现在也与概率论、分析学和线性代数等传统应用学科相结合。这些学科在过去一个世纪中不断发展，能够处理高抽象性和复杂性，帮助数学家发现关于空间、代数对象和组合过程的新见解。

本文将探讨几个当前研究领域，这些领域展示了数学在引导机器学习发现和理解过程中的持久能力。