Meta 的 FAIR 团队最近推出了一款名为 Dualformer 的全新 Transformer 模型,该模型模仿人类的双重认知系统,能够无缝整合快速和慢速推理模式,在推理能力和计算效率上取得了显著突破。

人类的思维过程通常被认为是由两种系统控制的:系统1快速直观,系统2则更慢但更具逻辑性。

传统的 Transformer 模型通常只模拟了系统1或系统2中的一种,导致模型要么速度快但推理能力差,要么推理能力强但速度慢且计算成本高。

Dualformer 的创新之处在于其训练方式。研究人员利用随机推理轨迹对模型进行训练,在训练过程中随机丢弃轨迹的不同部分,类似于分析人类思维过程并创建捷径。这种训练策略使 Dualformer 能够在推理时灵活切换不同的模式:

快速模式: Dualformer 只输出最终解决方案,速度极快。

慢速模式: Dualformer 会输出完整的推理链和最终解决方案,推理能力更强。

自动模式: Dualformer 可以根据任务的复杂程度自动选择合适的模式。

实验结果表明,Dualformer 在迷宫导航和数学问题求解等任务上表现出色。在慢速模式下,Dualformer 能够以97.6% 的成功率解决30x30的迷宫导航任务,超越了只使用完整推理轨迹训练的 Searchformer 模型,同时推理步骤减少了45.5%。

在快速模式下,Dualformer 的成功率也高达80%,远高于只使用最终解决方案训练的 Solution-Only 模型。在自动模式下,Dualformer 则能够在保持高成功率的同时,显著减少推理步骤。

Dualformer 的成功表明,将人类认知理论应用于人工智能模型设计能够有效提升模型的性能。这种融合快慢思维的模式为构建更强大、更高效的 AI 系统提供了新的思路。

论文地址:https://arxiv.org/pdf/2410.09918