心智、大脑与人工世界
神经元、大脑、人工生命,以及机器在其中学习的模拟世界。
对大脑的模拟,以及为人工主体建造、供其生活和学习的世界。在某个有限的意义上,模拟假说在这里已经成真:我们建造了其中有学习主体的模拟世界。
详细的神经元模型
把单个神经元当作带离子通道的分叉电缆,遵循霍奇金和赫胥黎的模型。
它回答的问题: 这个神经元的形状如何改变它所计算的内容?
略去了: 单个神经元的精细化学仍然被简化成寥寥几种电流。
运行于:约 1012 FLOPS 粗略 笔记本电脑,对一个神经元实时运行自: 1952 Huxley 在机械计算器上手工积分霍奇金-赫胥黎方程,每个动作电位大约要三周;后来才由计算机接手 来源在模拟树中: 手算的霍奇金–赫胥黎模型
大尺度脑回路
数百万个脉冲神经元连成类似一小块皮层的回路。
它回答的问题: 我们能否仅凭连线就重现脑节律和反应?
略去了: 连线往往是统计意义上的,而不是这种动物实际测得的连接。
运行于:约 1015 FLOPS 粗略 大学集群,一块皮层小区域数小时自: 2006 到 2006 年,早期对皮层柱的大规模模拟在模拟树中: 新皮层微回路
全脑网络模型
把脑区当作由实测连线相连的节点,用扫描数据拟合。
它回答的问题: 一个区域受损,如何改变整个大脑的活动?
略去了: 各区域被当作单个点,漏掉了其内部的所有细节。
运行于:约 1014 FLOPS 粗略 大学集群,每个模拟情景数分钟自: 2008 到 2008 年,早期用弥散 MRI 连线拟合的全脑网络模型
模拟的小型生物
一种微小动物完整的神经系统,比如线虫的 302 个神经元,连接到虚拟培养皿中的模拟身体上。
它回答的问题: 仅凭接线图就足以产生这种行为吗?
略去了: 光有连线图仍然不能完全解释这种动物的行为。
运行于:约 1012 FLOPS 粗略 笔记本电脑,对整个神经系统实时运行自: 1997 到 1997 年,建立在线虫 1986 年连接组图谱之上的早期模拟在模拟树中: OpenWorm
类脑硬件模拟
芯片用电路直接在硬件上实现神经元和突触的行为,而不是在软件里一步步计算方程。
它回答的问题: 神经形态硬件能否用少得多的功耗,计算大脑所能计算的同样的东西?
略去了: 真实的神经元化学要丰富得多,远非一个模仿其脉冲的回路所能比拟。
运行于:约 1013 FLOPS 粗略 神经形态研究芯片,实时自: 1989 Carver Mead 早期的硅神经元和视网膜电路
脑部疾病与癫痫发作的扩散
异常的电活动或错误折叠的蛋白质在模拟的脑网络中扩散,比如癫痫或痴呆。
它回答的问题: 癫痫发作从哪里开始,会扩散多远?
略去了: 每个真实大脑的疾病路径都不一样;模型显示的是一种模式,而不是对某位患者的预测。
运行于:约 1013 FLOPS 粗略 医院或大学的集群,每个患者模型数分钟自: 1997 到 1997 年,早期的癫痫在脑内扩散的网络模型
受连接组约束的全脑模型
神经模拟采用昆虫大脑完整的实测连线,配上简单的神经元模型,预测刺激如何产生行为。
它回答的问题: 仅凭连线,能否预测大脑如何把感觉变成行动?
略去了: 突触强度和神经元动力学是根据简单规则假定的。
运行于:约 1012 FLOPS 粗略 约 13 万个神经元的脉冲网络自: 2024 A Drosophila computational brain model reveals sensorimotor processing (2024) 来源
神经质量与场模型
把一群神经元化简为一两个平均活动变量,给出整个脑区的节律和波。
它回答的问题: 兴奋与抑制能在种群之间产生怎样的集体节律?
略去了: 单个神经元消失在平均值里。
运行于:约 109 FLOPS 粗略 笔记本电脑,数秒自: 1972 到 1972 年,Wilson and Cowan, Excitatory and inhibitory interactions in localized populations of model neurons 来源
功能性脉冲脑模型
一个由脉冲模型神经元组成的网络,用来完成回忆、计数和临摹手写数字等认知任务。
它回答的问题: 由神经元构成的模型,能否完成大脑所能处理的任务?
略去了: 它的任务集很小,接线是设计出来的,而不是测量得到的。
运行于:约 1015 FLOPS 粗略 大学集群,数小时自: 2012 到 2012 年,Eliasmith and others, A large-scale model of the functioning brain (Spaun) 来源
吸引子记忆网络
一个由简单单元组成的网络,连接把模式存成稳定状态,于是一个不完整的线索会稳定下来,恢复出完整的记忆。
它回答的问题: 网络怎样才能从一个片段回忆起完整的记忆?
略去了: 容量很小,而真实的神经元要复杂得多。
运行于:约 108 FLOPS 粗略 笔记本电脑,数秒自: 1982 到 1982 年,Hopfield, Neural networks and physical systems with emergent collective computational abilities 来源
基于连接组的昆虫大脑模型
根据测得的连线图,模拟整只果蝇的大脑,每个神经元和突触都取自重建结果。
它回答的问题: 一旦知道了每个连接,仅凭连线会产生什么行为?
略去了: 突触强度和神经元化学性质是推断出来的,而不是测量出来的。
运行于:约 1014 FLOPS 粗略 工作站,每模拟一秒数分钟自: 2024 到 2024 年,Dorkenwald and others, the adult fly brain wiring diagram, and Shiu and others, a computational model built on it 来源
元胞自动机
遵循简单规则的细胞网格,例如 John Conway 的生命游戏,能长出滑翔机、复制器,甚至能运转的计算机。
它回答的问题: 多简单的规则,能长出多少复杂性?
略去了: 简单的规则很少能干净地对应真实的物理或生物系统。
运行于:约 1012 FLOPS 粗略 笔记本电脑,数秒处理巨大的网格自: 1970 John Conway 的生命游戏在模拟树中: 手工玩的生命游戏
数字演化
能自我复制的计算机程序在模拟的机器里发生突变,并争夺处理器时间。
它回答的问题: 演化能否发明出我们能一步步观察的复杂特征?
略去了: 程序在人工的计算机世界里演化,而不是真实的生物化学。
运行于:约 1012 FLOPS 粗略 台式机,一夜跑完数百万代自: 1953 Barricelli 在普林斯顿高等研究院计算机上做的数值演化实验 来源
演化出的虚拟生物
在物理模拟中,身体和大脑一起演化,学会游泳、行走或跳跃。
它回答的问题: 当我们不去引导时,演化会发明出什么样的身体和行为?
略去了: 演化出的步态常常与生物的步态大不相同,因为模拟的物理与真实世界有细微的差别。
运行于:约 1013 FLOPS 粗略 台式机或小型集群,数小时演化出一个种群自: 1994 Karl Sims 让会游泳、会行走的生物在物理模拟中演化
自组织临界性
一粒一粒地把沙子加到沙堆上,直到出现各种大小的雪崩。
它回答的问题: 为什么地震、火灾和物种灭绝遵循相同的统计规律?
略去了: 真实的地震和火灾有特定的物理,沙堆只是对它们的漫画式刻画。
运行于:约 1011 FLOPS 粗略 笔记本电脑,一个大沙堆数秒自: 1987 Bak、Tang 和 Wiesenfeld 的沙堆模型
群体智能算法
留下踪迹或模仿邻居的简单虚拟主体,借自蚂蚁和鸟类,用来解决路径规划和调度这样的抽象问题。
它回答的问题: 简单的复制和循迹,能否解决一个困难的优化问题?
略去了: 在经过检验的适定问题上表现良好。真实而不规则的问题需要更多调整。
运行于:约 1011 FLOPS 粗略 笔记本电脑,每次运行数秒到数分钟自: 1992 Marco Dorigo 的蚁群优化算法
随机布尔网络
开关被随机连在一起,每个开关根据另外几个开关的状态开启或关闭,研究整个网络何时稳定下来,还是永远动荡不止。
它回答的问题: 要有多少连线,一个开关网络才会变得混沌?
略去了: 随机连线是对真实细胞或大脑精心演化出的连线的粗糙替代。
运行于:约 1011 FLOPS 粗略 笔记本电脑,每个网络数秒自: 1969 Stuart Kauffman 的遗传开关随机网络
连续元胞自动机
元胞自动机的格元状态、空间和时间都是连续的,产生平滑的、自组织的生物。
它回答的问题: 在连续元胞自动机中会出现什么样的类生命图案?
略去了: 这些规则是人为设定的,并不模拟真实的化学。
运行于:约 1011 FLOPS 粗略 GPU 网格更新自: 2018 Lenia: biology of artificial life (2018) 来源
神经元胞自动机
每个格元都有一个小型神经网络,学习局部规则,使网格生长并修复出目标图案。
它回答的问题: 一条局部的学习规则,能否让全局图案生长并自我修复?
略去了: 目标图案很小,规则是训练出来的,而不是被发现的。
运行于:约 1011 FLOPS 粗略 小规模可微分训练自: 2020 Growing Neural Cellular Automata (2020) 来源
自我复制程序汤
一池随机程序靠偶然相互作用,直到能自我复制的程序从中出现。
它回答的问题: 复制子能否在没有被设计进去的情况下出现?
略去了: 语言的选择决定了结果,而且离化学很远。
运行于:约 1010 FLOPS 粗略 数百万次微小的程序交互自: 2024 Computational Life: how well-formed, self-replicating programs emerge from simple interaction (2024) 来源
人工化学
一池抽象分子按规则反应,于是不需要任何真实的化学,也能出现自我维持的结构。
它回答的问题: 自我维持的化学组织能否从简单的反应规则中产生?
略去了: 这些分子只是符号;真实的键能和几何结构并不存在。
运行于:约 109 FLOPS 粗略 笔记本电脑,数小时自: 1991 到 1991 年,Fontana 的 AlChemy,在第二届人工生命大会上发表 来源
演化机器人学
模拟机器人的控制器或身体经过许多代演化,按任务表现来选择。
它回答的问题: 机器人的大脑和身体能否靠育种而不是设计得到?
略去了: 在模拟中演化出来的控制器,在真实硬件上常常失败。
运行于:约 1014 FLOPS 粗略 大学集群,数天自: 1993 到 1993 年,Cliff, Husbands and Harvey, Evolving visually guided robots 来源
连续人工生命
状态、空间和时间都连续的元胞自动机,会产生移动的、自组织的类生命图案。
它回答的问题: 当规则是平滑而不是离散的时候,会出现什么样的类生命形态?
略去了: 这些图案看起来像生物,却不遵循任何真实的生物学。
运行于:约 1011 FLOPS 粗略 游戏电脑,实时自: 2018 到 2018 年,Chan, Lenia: Biology of Artificial Life (arXiv 1812.05433) 来源
人工免疫模型
类抗体主体的群体,通过选择和网络效应学会识别模式。
它回答的问题: 识别系统如何仅靠局部相互作用来适应?
略去了: 它是借用免疫学的思想来做计算,而不是对真实免疫反应的校准模型。
运行于:约 108 FLOPS 粗略 笔记本电脑,数小时自: 1986 到 1986 年,Farmer, Packard and Perelson, The immune system, adaptation, and machine learning 来源
Core War 对战
用一种极小的汇编语言写成的程序争夺共享模拟内存的控制权,相互覆盖。
它回答的问题: 当整个内存都是战场时,哪个自我复制的程序能存活?
略去了: 这台机器是虚构的指令集,所以其中的经验无法对应真实的恶意软件。
运行于:约 107 FLOPS 粗略 笔记本电脑,每场战斗数秒自: 1984 到 1984 年,Jones 和 Dewdney 在 Scientific American 上发表的 Core War 来源
强化学习环境
人工主体在其中行动、获得奖励,并在数百万次尝试中不断改进的模拟世界。
它回答的问题: 智能体能否只靠反复试错就学会这项技能?
略去了: 在简化世界里学到的技能,并不总能迁移到复杂的现实中。
运行于:约 1015 FLOPS 粗略 一组 GPU 集群,模拟数天的体验自: 1992 到 1992 年,TD-Gammon 通过自我对弈学会了西洋双陆棋的策略
多主体 AI 社会
许多 AI 主体共享一个世界,各自有自己的目标、记忆和对话。
它回答的问题: 当许多人工智能体生活在一起时,会出现什么社会行为?
略去了: 看起来像社交的行为,可能只是针对训练设置调出来的狭隘技巧。
运行于:约 1015 FLOPS 粗略 一组 GPU 集群,并行运行许多智能体自: 2017 到 2017 年,许多学习型智能体共享同一个世界的早期实验
合成训练数据
渲染出无穷多种变化的逼真场景,用来训练视觉系统。
它回答的问题: 只在渲染图像上训练的系统,能否看懂真实世界?
略去了: 渲染出的场景比现实干净,所以训练出的系统可能被真实世界的噪声误导。
运行于:约 1014 FLOPS 粗略 渲染农场或 GPU 集群,一个数据集数小时自: 2016 到 2016 年,早期的渲染数据集被用来训练图像识别系统
习得的世界模型
一个神经网络,能预测世界接下来会发生什么,预测得足够好,足以生成可玩的场景。
它回答的问题: 网络能否只靠观看,就学会模拟一个世界?
略去了: 长期预测会偏离任何物理上自洽的结果。
运行于:约 1015 FLOPS 粗略 大型 GPU 集群,数天的训练自: 2018 Ha 和 Schmidhuber 训练了一个网络来预测并“梦见”类似游戏的场景
自我对弈策略训练
一个人工智能体在抽象策略游戏里与自己的副本反复对局,每一轮都有进步。
它回答的问题: 一个策略没有老师,只靠过去的自己,能变得多强?
略去了: 针对同一智能体的副本调好的策略可能有盲点,换个不同的对手就会利用它。
运行于:约 1016 FLOPS 粗略 大型 GPU 集群,数天的自我对弈自: 1959 Arthur Samuel 的跳棋程序通过和自己对弈来学习
AI 安全红队测试环境
一个为诱使人工智能体出现不良行为而搭建的模拟场景,使失败在部署之前就能被发现。
它回答的问题: 在什么条件下,这个系统会表现出它不该有的行为?
略去了: 只检验红队想到去找的故障。
运行于:约 1014 FLOPS 粗略 研究团队的 GPU 服务器,每套测试数小时自: 2016 到 2016 年,早期面向强化学习智能体的对抗测试环境
具身家居模拟器
三维虚拟家居,智能体可以在其中观察、移动和操作物体,用来训练和测试具身 AI。
它回答的问题: 智能体能否在虚拟家居里学会任务,并迁移到真实家居?
略去了: 物体物理和场景的多样性有限。
运行于:约 1012 FLOPS 粗略 实时渲染,多个并行实例自: 2017 AI2-THOR: an interactive 3D environment for visual AI (2017) 来源
开放式环境生成
训练世界会随着智能体学习而自动生成和变异,使挑战的难度和多样性不断增长。
它回答的问题: 环境生成器能否不断产生有用的新挑战?
略去了: 搜索受限于这一族环境所能表达的东西。
运行于:约 1015 FLOPS 粗略 环境与主体的群体自: 2019 Paired Open-Ended Trailblazer (POET) (2019) 来源
面向主体的模拟网页环境
真实网站的自托管副本,由语言模型主体在其中完成任务,通过检查最终状态来评分。
它回答的问题: 智能体能否在逼真的网站上完成多步骤任务?
略去了: 网站是静态副本,任务的种类有限。
运行于:约 1013 FLOPS 粗略 环境重置和许多次模型调用自: 2023 WebArena (2023) 来源
推荐系统模拟器
一个可配置的模拟用户群体和商品目录,用来训练和测试推荐算法。
它回答的问题: 一个推荐算法在与用户的多次互动中会有怎样的表现?
略去了: 用户行为是假定的,而不是测量的。
运行于:约 1010 FLOPS 粗略 廉价的并行运行自: 2019 RecSim: a configurable simulation platform for recommender systems (2019) 来源
神经游戏引擎
一个用游戏录像训练的扩散模型,根据玩家的操作生成下一帧,取代游戏自身的引擎。
它回答的问题: 神经网络能否以可玩的速度运行一款互动游戏?
略去了: 记忆很短,长时间游玩后细节会漂移。
运行于:约 1015 FLOPS 粗略 训练负担重;单个加速器上做实时推理自: 2024 Diffusion models are real-time game engines (2024) 来源
交互式生成世界
一个模型从无标注视频中学习,创造出可控的世界,用户可以在其中逐帧行动。
它回答的问题: 能否只靠图像生成一个可玩的世界?
略去了: 一致性和帧率有限,物理也无法保证。
运行于:约 1017 FLOPS 粗略 大规模视频训练自: 2024 Genie: generative interactive environments (2024) 来源
学习型真实世界交互模拟器
一个以动作为条件的视频模型,预测机器人或智能体在每条指令之后会看到什么,取代人工搭建的模拟器。
它回答的问题: 学习得来的模型,能否模拟行动在现实中的结果?
略去了: 长时间的推演会产生幻觉,物理准确性也没有得到验证。
运行于:约 1017 FLOPS 粗略 在大型视频和动作数据集上训练自: 2023 Learning interactive real-world simulators (2023) 来源
生成式驾驶世界模型
一个以速度和转向为条件的视频模型,从车辆的视角生成合理的未来场景,用于训练和测试自动驾驶。
它回答的问题: 给定一个驾驶动作,会引出哪些交通场景?
略去了: 生成的场景可能违背物理,或违背罕见情形下的行为。
运行于:约 1017 FLOPS 粗略 大型视频模型训练自: 2023 GAIA-1: a generative world model for autonomous driving (2023) 来源
模拟机器人足球
两队软件球员,各自只能通过有噪声的感官看到球场的一部分,在模拟的体育场里踢足球,以测试合作与策略。
它回答的问题: 独立的软件玩家能否协调得足够好,以击败对手队伍?
略去了: 球场、球和机器人的身体都被理想化了,所以成功说明的是战术,而不是在真实硬件上的技术。
运行于:约 109 FLOPS 粗略 在工作站上实时运行一场比赛。自: 1998 Noda 及同事的 Soccer Server,一个用于多主体系统研究的工具。 来源
软件工程智能体沙盒
给智能体一个真实的代码项目和一份问题报告,它在沙盒里修改文件并运行测试,根据修复是否通过来打分。
它回答的问题: AI 智能体能否不靠帮助,修复真实软件项目里的真实缺陷?
略去了: 测试通过不等于修复正确,而且这些项目只是全部软件中的一小部分。
运行于:约 1015 FLOPS 粗略 数千次模型运行,每次有许多次调用和测试运行。自: 2023 Jimenez 及同事为语言模型设计的、基于真实 GitHub 问题的 SWE-bench。 来源
桌面计算机智能体环境
一台装有真实程序的完整虚拟计算机交给一个智能体,它看着屏幕点击和打字,并根据任务是否完成来打分。
它回答的问题: AI 智能体能否像人那样在电脑上完成任务?
略去了: 任务是固定的、脚本化的,而真实的工作是开放的、会被打断的,还要与其他人共同完成。
运行于:约 1015 FLOPS 粗略 数千次运行,每次都运行一台虚拟机并进行许多次模型调用。自: 2024 Xie 等人的 OSWorld,在真实计算机环境中为智能体做基准测试。 来源