使用基础模型自动化寻找人工生命

ASAL 研究示意图

摘要

Sakana AI 发布了人工智能科学家，能够模仿科学发现过程。随着诺贝尔奖在蛋白质发现方面的进展，探索大型组合空间的基础模型（FMs）有望革新许多科学领域。MIT 联合 OpenAI、Sakana AI 等发表了新的研究成果：使用基础模型自动化寻找人工生命。

人工生命（Artificial Life）尚未整合 FMs，因此为该领域提供了一个重大机遇，以减轻主要依赖手工设计和反复试验来发现逼真仿真配置的历史负担。本文首次成功利用视觉 - 语言 FMs 实现了这一机遇。所提出的方法称为自动搜索人工生命（ASAL），(1) 找到产生目标现象的仿真，(2) 发现生成时间上开放式新颖性的仿真，以及 (3) 揭示整个有趣多样化仿真的空间。由于 FMs 的通用性，ASAL 在包括 Boid、粒子生命、生命游戏、Lenia 和神经细胞自动机在内的多种 ALife 基质上有效工作。突出此技术潜力的一项重要成果是发现了以前未见过的 Lenia 和 Boids 生命形态，以及像康威的生命游戏一样开放的元胞自动机。此外，使用 FMs（有限状态机）使得以与人类一致的方式量化先前定性现象成为可能。这一新范式承诺将加速人工生命（ALife）研究，超越仅凭人类智慧所能达到的范畴。

ASAL 机制示意图

项目地址：https://asal.sakana.ai/ 代码仓库：https://github.com/SakanaAI/asal

引言

驱动人工生命（ALife）的核心理念是研究'我们所知的生活'，同时也研究'可能的生活'[Langton, 1992]。因为 ALife 主要通过计算模拟来研究生命，这种方法必然意味着搜索并绘制出全部可能的模拟空间，而不是调查任何单一的模拟。通过这样做，研究人员可以研究不同的模拟配置为何以及如何产生不同的涌现行为。在本文中，我们首次尝试借助 AI 的基础模型自动化这一模拟搜索过程。

尽管 ALife 模拟中的进化和学习机制丰富多样，但迄今为止阻碍该领域取得根本性进展的主要障碍是缺乏一种系统的方法来搜索所有可能的模拟配置本身。没有这样的方法，研究人员在设计一个人造世界的最重要方面——世界本身的规则时，不得不依赖直觉和猜测。

挑战的一部分在于，简单部件的大规模互动可能导致复杂的涌现现象，这些现象难以（如果不是不可能）提前预测 [安德森，1972 年；沃尔夫勒姆和加德尔·哈克，2003 年]。模拟配置与其产生行为之间的这种脱节使得直观设计表现出自我复制、类生态系统动态或开放式特性的模拟变得困难。因此，该领域常常提供针对简单且预期结果的手工制作模拟，限制了意外发现的可能性。

鉴于该领域目前即兴的状态，一种自动化搜索模拟本身的方法将通过显著扩大探索范围来转变人工生命（ALife）的实践。研究人员可以重新关注如何最好地描述我们希望最终作为结果出现的现象这一更高层次的问题，并让自动化搜索这些结果的进程自然展开。

为模拟描述目标现象本身就具有挑战性，这在一定程度上解释了为什么自动搜索获得产生目标现象的正确模拟的努力一直不景气 [斯泰普尼和希金博瑟姆，2024 年；斯坦利和莱曼，2015 年]。当然，以前有许多尝试通过复杂的生命度量 [沙尔马等人，2023 年]、复杂性 [莫塔等人，2013 年，劳埃德，2001 年] 或'趣味性'[施米德胡伯，1997 年；帕塔克等人，2017 年；塞特拉南等人，2011 年] 来量化人工生命。然而，这些指标几乎总是无法完全捕捉它们试图衡量的人类概念的微妙之处 [劳埃德，2001 年；卡沃夫斯基等人，2023 年]。

虽然我们尚未理解我们的宇宙为何以及如何变得如此复杂、丰富和有趣，但我们仍然可以使用它作为创建引人入胜的人工生命世界的指南。在大量自然数据上训练的基础模型（FMs）通常拥有与人类相似的表示 [张等人，2018 年；傅等人，2023 年；张等人，2023 年]，甚至可能正朝着对我们现实世界统计数据的'柏拉图式'表示收敛 [胡等人，2024 年]。这一新颖特性使它们成为量化人工生命中人类复杂概念的有吸引力的候选者。

本着这种精神，我们提出了一种新的人工生命研究范式，称为'自动搜索人工生命'（ASAL）。研究者首先定义一组感兴趣的模拟，称之为基质。然后，如图 1 所示，ASAL 使得三种不同的方法可供 FMs 识别有趣的人工生命模拟：

监督目标搜索：寻找产生指定目标事件或事件序列的模拟，有助于发现任意世界或与我们的世界相似的世界。
开放性搜索：寻找在 FM 表示空间中产生时间上开放性的新颖性的模拟，从而发现对人类观察者持续有趣的世界。
发掘搜索：寻找一组有趣多样的模拟，使得外星世界得以显现。

这种新的自动化方法在多种人工生命（ALife）基质上展现了其潜力，包括 Boid 群、粒子生命、生命游戏、Lenia 以及神经细胞自动机。在每个基质中，ASAL 发现了先前未见过的生命形态，并拓展了 ALife 中涌现结构的前沿。例如，ASAL 在 Boid 群中揭示了异质性的群集模式，在 Lenia 中发现了新的自组织细胞，并识别出像著名的康威生命游戏一样开放的细胞自动机。除了促进发现之外，ASAL 的 FM 框架还允许对 ALife 模拟中先前定性现象进行定量分析，提供了一种类似人类的复杂度测量方法。ASAL 对特定的 FM 和模拟基质持中立态度，使其能够与未来的 FM 兼容。

总体而言，我们基于 FM 的新范式通过迈向探索人工生命形式广阔空间的最终目标，成为未来 ALife 研究的一个宝贵工具。据我们所知，这是首项通过基础模型推动 ALife 模拟发现的工作。

核心速览

研究背景

研究问题：这篇文章要解决的问题是如何利用基础模型（Foundation Models, FMs）自动化搜索人工生命（Artificial Life, ALife）模拟。传统的 ALife 研究主要依赖于手动设计和试错，而缺乏系统的方法来搜索所有可能的模拟配置。
研究难点：该问题的研究难点包括：大规模简单部分的相互作用可能导致复杂的涌现现象，难以预测；现有的自动化搜索算法在处理动态系统时存在局限性；如何量化人类概念中的复杂性和开放性。
相关工作：该问题的研究相关工作有：早期的遗传算法用于进化元胞自动机（CA）以产生目标计算；最近的一些工作使用特定于 Lenia 的目标进行搜索；Novelty 搜索和 MAP-Elites 算法在发现新自组织结构方面有所应用；使用基础模型进行 ALife 和 AI 的研究。

研究方法

这篇论文提出了自动化搜索人工生命（ASAL）的方法，用于解决 ALife 模拟搜索中的问题。具体来说，ASAL 通过三种不同的机制来发现有趣的 ALife 模拟：

ASAL 方法架构

监督目标搜索：通过寻找生成指定目标事件或事件序列的模拟来实现。
开放性搜索：通过寻找在每个时间步都产生历史新颖性的模拟来实现。
照亮搜索：通过寻找在一组模拟中产生多样化图像的模拟来实现。

实验设计

实验设计包括以下几个方面：

数据收集：使用了多个 ALife 基质，包括 Boids、Particle Life、Game of Life、Lenia 和 Neural Cellular Automata。
实验设置：在每个基质上，ASAL 通过不同的搜索算法进行实验。具体来说，监督目标搜索使用 Sep-CMA-ES 算法，开放性搜索使用暴力搜索，照亮搜索使用自定义遗传算法。
样本选择：例如，在 Boids 实验中，使用 N=128 个鸟群对象和 K=16 个邻居；在 Particle Life 实验中，使用 N=5000 个粒子和 K=6 种类型的粒子。
参数配置：例如，在监督目标搜索中，优化运行 10,000 次迭代，突变率为 0.1；在照亮搜索中，种群大小为 8,192，每次迭代生成 32 个变异后代。

结果与分析

监督目标搜索：在 Lenia、Boids 和 Particle Life 基质上，ASAL 能够找到匹配指定提示的模拟。实验结果表明，优化过程在定性上能够很好地找到目标模拟。
时间目标搜索：在 NCA 基质上，ASAL 能够找到生成目标序列事件的模拟。实验结果显示，通过指定期望的进化轨迹，ASAL 可以识别出体现这些进化过程的更新规则。
开放性搜索：在 Life-like CAs 基质上，ASAL 发现了具有开放性的模拟。实验结果表明，最开放的 CA 表现出非平凡的动态模式，位于混沌边缘。
照亮搜索：在 Lenia 和 Boids 基质上，ASAL 发现了多样化的模拟。实验结果显示，ASAL 能够组织发现的模拟行为，形成视觉相似的聚类。
定量分析：ASAL 的基础模型框架还允许对 ALife 模拟中的现象进行定量分析。例如，在 Boids 实验中，通过线性插值测量中间模拟的状态，展示了参数的非线性、混沌性质。

总体结论

这篇论文通过首次使用基础模型自动化搜索人工生命模拟，提出了一种新的 ALife 研究范式。ASAL 在多个基质上发现了目标、开放性和多样化的模拟，并能够对 ALife 模拟中的现象进行定量分析。该方法不仅扩展了探索范围，还为未来的 ALife 研究提供了一个有价值的工具。

论文评价

优点与创新

首次实现自动化搜索：论文首次提出了使用视觉语言基础模型（foundation models, FMs）来自动化搜索人工生命（ALife）模拟的方法，称为自动搜索人工生命（ASAL）。
多种机制发现新生命形式：ASAL 通过三种不同的机制发现有趣的 ALife 模拟：（1）通过文本提示发现，（2）通过搜索开放式模拟发现，（3）通过照亮一组多样化模拟发现。
跨多种 ALife 基质的有效性：ASAL 在多种 ALife 基质上有效，包括 Boids、Particle Life、Game of Life、Lenia 和 Neural Cellular Automata。
定量分析定性现象：FMs 框架允许对 ALife 模拟中之前仅能定性的现象进行定量分析，提供了一种人类对齐的复杂性测量方法。
发现未见过的生命形式：ASAL 发现了之前未见过的 Lenia 和 Boids 生命形式，以及类似于 Conway's Game of Life 的开放式细胞自动机。
通用性和兼容性：ASAL 对特定的 FM 和模拟基质无关，能够与未来的 FM 兼容。

不足与反思

FM 的选择：尽管实验中没有显示出 FM 的选择对结果有显著影响，但论文指出 FM 可能会收敛到类似的现实表示。
基质的适当性：适当的基质取决于研究的现象（如自组织、开放式进化等）。最具有表现力的基质可能会参数化整个视频的所有 RGB 像素，但对于研究涌现现象则无用。
未来工作：论文建议未来的工作可以使用视频语言 FM 来处理模拟的时间性质，或者使用 3D FM 来处理 3D 模拟。此外，可以将图像转换为文本，以便在文本空间中进行所有分析。

关键问题及回答

问题 1：ASAL 的监督目标搜索机制是如何实现的？其优化目标是什么？

监督目标搜索机制通过寻找产生指定目标事件或事件序列的模拟来实现。具体来说，ASAL 使用 CLIP（Contrastive Language-Image Pretraining）作为视觉语言基础模型，将图像和自然语言文本嵌入到同一嵌入空间中。优化目标是最大化在给定时间步内，模拟的最终状态与目标自然语言提示之间的相似性。

问题 2：ASAL 的开放式搜索机制是如何定义和优化的？其发现的结果如何？

开放式搜索机制通过寻找在每个时间步都产生历史新颖性的模拟来实现。具体来说，ASAL 优化的是一个目标函数，该函数最小化模拟的历史新颖性，即在嵌入空间中，当前模拟与其历史状态之间的相似性最小。

问题 3：ASAL 的照亮搜索机制是如何工作的？其在实验中的效果如何？

照亮搜索机制通过寻找在视觉语言基础模型表示空间中与最近邻距离较远的模拟集合来实现。具体来说，ASAL 优化的是一个目标函数，该函数最小化模拟与其最近邻之间的平均距离。

实验结果表明，ASAL 能够在 Lenia 和 Boids 基质上发现多样化的模拟集合，揭示了先前未见过的生命形式和行为模式。例如，在 Lenia 中，ASAL 发现了类似细胞和细菌的生命形式；在 Boids 中，ASAL 重新发现了群集行为以及其他如蛇行、环绕等行为模式。