마음, 뇌, 인공 세계

상세 뉴런 모델

호지킨과 헉슬리를 따라, 뉴런 하나를 이온 통로가 있는 가지 뻗은 전선으로 봐요.

답하는 질문: 이 뉴런의 모양은 그 뉴런이 계산하는 내용을 어떻게 바꿀까요?

빠진 것: 뉴런 하나의 세밀한 화학은 아직도 몇 개의 전류로 단순화되어 있어요.

돌아가는 곳: 약 10¹² FLOPS 대략 노트북, 뉴런 하나에 실시간처음 등장: 1952 헉슬리는 호지킨-헉슬리 방정식을 기계식 계산기로 직접 적분했어요. 활동 전위 하나에 약 3주가 걸렸고, 컴퓨터는 나중에야 그 일을 넘겨받았어요 출처시뮬레이션 트리에서: 손으로 푼 호지킨-헉슬리

대규모 뇌 회로

피질 한 조각을 닮은 회로로 연결된 수백만 개의 스파이킹 뉴런

답하는 질문: 배선만으로 뇌의 리듬과 반응을 재현할 수 있을까요?

빠진 것: 배선은 동물에서 실제로 측정한 연결이 아니라 통계적으로 만든 경우가 많아요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 대학 클러스터, 피질 조각에 몇 시간처음 등장: 2006 2006년까지, 피질 기둥의 초기 대규모 시뮬레이션시뮬레이션 트리에서: 신피질 미세회로

전뇌 네트워크 모델

뇌 영역을 측정된 배선으로 이어진 노드로 보고 스캔에 맞춰요.

답하는 질문: 한 영역의 손상은 뇌 전체의 활동을 어떻게 바꿀까요?

빠진 것: 지역을 하나의 점으로 다뤄서, 그 안의 모든 세부를 놓쳐요.

돌아가는 곳: 약 10¹⁴ FLOPS 대략 대학 클러스터, 시뮬레이션 시나리오당 몇 분처음 등장: 2008 2008년까지, 확산 MRI 배선에 맞춘 초기 전뇌 네트워크 모델

시뮬레이션된 작은 생물

예컨대 예쁜꼬마선충의 뉴런 302개처럼, 아주 작은 동물의 신경계 전체를 가상 접시 속 시뮬레이션된 몸에 연결해요.

답하는 질문: 배선도만으로 그 행동을 만들어 내기에 충분할까요?

빠진 것: 배선도만으로는 아직 동물의 행동을 완전히 설명하지 못해요.

돌아가는 곳: 약 10¹² FLOPS 대략 노트북, 신경계 전체에 실시간처음 등장: 1997 1997년까지, 예쁜꼬마선충의 1986년 연결체 지도를 바탕으로 한 초기 시뮬레이션시뮬레이션 트리에서: 오픈웜

뉴로모픽 하드웨어 시뮬레이션

방정식을 소프트웨어로 단계별 계산하는 대신, 뉴런과 시냅스처럼 움직이는 회로를 하드웨어에서 직접 구현한 칩.

답하는 질문: 뉴로모픽 하드웨어가 훨씬 적은 전력으로 뇌와 같은 계산을 해낼 수 있을까요?

빠진 것: 실제 뉴런은 그 스파이크를 흉내 내려고 만든 회로보다 훨씬 풍부한 화학을 가지고 있어요.

돌아가는 곳: 약 10¹³ FLOPS 대략 뉴로모픽 연구용 칩, 실시간처음 등장: 1989 Carver Mead의 초기 실리콘 뉴런과 망막 회로

뇌 질환과 발작 확산

뇌전증이나 치매처럼 비정상적인 전기 활동이나 잘못 접힌 단백질이 시뮬레이션된 뇌 네트워크로 퍼져요.

답하는 질문: 발작은 어디서 시작되고, 얼마나 멀리 퍼질까?

빠진 것: 실제 뇌마다 병의 경로가 달라요. 모델은 한 환자의 예측이 아니라 하나의 패턴을 보여 줘요.

돌아가는 곳: 약 10¹³ FLOPS 대략 병원 또는 대학의 클러스터, 환자 모델당 몇 분처음 등장: 1997 1997년까지, 뇌를 통한 발작 확산의 초기 네트워크 모델

연결체 제약 전뇌 모델

곤충 뇌의 측정된 배선 전체와 단순한 뉴런 모델을 쓰는 신경 시뮬레이션으로, 자극이 어떻게 행동을 낳는지 예측해요.

답하는 질문: 배선만으로 뇌가 감각을 행동으로 바꾸는 방식을 예측할 수 있을까요?

빠진 것: 시냅스 세기와 뉴런 동역학은 단순한 규칙으로 가정해요.

돌아가는 곳: 약 10¹² FLOPS 대략 뉴런 약 13만 개의 스파이킹 네트워크처음 등장: 2024 A Drosophila computational brain model reveals sensorimotor processing (2024) 출처

신경 질량 및 장 모델

뉴런 집단을 평균 활동 변수 하나나 둘로 줄여, 영역 전체의 리듬과 파동을 얻어요.

답하는 질문: 집단 사이의 흥분과 억제는 어떤 집단적 리듬을 만들어 낼 수 있을까?

빠진 것: 개별 뉴런은 평균 속으로 사라져요.

돌아가는 곳: 약 10⁹ FLOPS 대략 노트북, 몇 초처음 등장: 1972 1972년까지, Wilson과 Cowan, Excitatory and inhibitory interactions in localized populations of model neurons 출처

기능적 스파이킹 뇌 모델

회상, 세기, 손으로 쓴 숫자 따라 그리기 같은 인지 과제를 수행하도록 만든 스파이킹 모델 뉴런 네트워크.

답하는 질문: 뉴런으로 만든 모델이 뇌가 다루는 과제를 수행할 수 있을까요?

빠진 것: 과제 집합이 작고, 배선은 측정한 것이 아니라 설계한 것이에요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 대학 클러스터, 몇 시간처음 등장: 2012 2012년까지, Eliasmith 외, A large-scale model of the functioning brain (Spaun) 출처

끌개 기억 네트워크

연결이 패턴을 안정된 상태로 저장하는 단순한 유닛들의 네트워크로, 일부 단서만으로도 전체 기억으로 가라앉아요.

답하는 질문: 네트워크는 조각 하나만으로 기억 전체를 어떻게 떠올릴 수 있을까요?

빠진 것: 용량이 작고 실제 뉴런은 훨씬 복잡해요.

돌아가는 곳: 약 10⁸ FLOPS 대략 노트북, 몇 초처음 등장: 1982 1982년까지, Hopfield, Neural networks and physical systems with emergent collective computational abilities 출처

연결체 기반 곤충 뇌 모델

초파리의 뇌 전체를 측정한 배선도로 시뮬레이션하며, 뉴런과 시냅스 하나하나를 재구성 결과에서 가져와요.

답하는 질문: 모든 연결을 알고 나면, 배선만으로 어떤 행동이 따라 나올까?

빠진 것: 시냅스 세기와 뉴런 화학은 측정한 값이 아니라 추정한 값이에요.

돌아가는 곳: 약 10¹⁴ FLOPS 대략 워크스테이션, 시뮬레이션 1초당 몇 분처음 등장: 2024 2024년까지, Dorkenwald 외, 성체 파리 뇌 배선도, 그리고 Shiu 외, 그것을 바탕으로 한 계산 모델 출처

세포 자동자

존 콘웨이의 생명 게임처럼 단순한 규칙을 따르는 세포 격자예요. 여기서 글라이더와 복제자, 심지어 작동하는 컴퓨터까지 자라나요.

답하는 질문: 얼마나 단순한 규칙에서 얼마나 복잡한 것이 자랄 수 있을까요?

빠진 것: 단순한 규칙은 실제 물리나 생물학 시스템과 깔끔하게 대응하는 경우가 드물어요.

돌아가는 곳: 약 10¹² FLOPS 대략 노트북, 거대한 격자도 몇 초처음 등장: 1970 존 콘웨이의 생명 게임시뮬레이션 트리에서: 손으로 둔 라이프

상호작용 모델 실행하기

디지털 진화

스스로 복제하는 컴퓨터 프로그램이 시뮬레이션된 기계 안에서 돌연변이를 일으키며 프로세서 시간을 두고 경쟁해요.

답하는 질문: 진화가 우리가 단계별로 지켜볼 수 있는 복잡한 특징을 발명할 수 있을까요?

빠진 것: 프로그램은 실제 생화학이 아니라 인공 컴퓨터 세계에서 진화해요.

돌아가는 곳: 약 10¹² FLOPS 대략 데스크톱, 밤사이 수백만 세대처음 등장: 1953 바리첼리의 프린스턴 고등연구소 컴퓨터 수치 진화 실험 출처

진화한 가상 생물

몸과 뇌가 물리 시뮬레이션 속에서 함께 진화하며 수영하고, 걷고, 뛰는 법을 익혀요.

답하는 질문: 우리가 방향을 잡지 않을 때 진화는 어떤 몸과 행동을 만들어 낼까?

빠진 것: 진화한 걸음걸이는 생물의 것과 많이 달라 보이는 경우가 많은데, 시뮬레이션된 물리가 실제 세계와 미묘하게 다르기 때문이에요.

돌아가는 곳: 약 10¹³ FLOPS 대략 개체군을 진화시키는 데 몇 시간 걸리는 데스크톱 또는 소형 클러스터처음 등장: 1994 칼 심스는 물리 시뮬레이션에서 헤엄치고 걷는 생물을 진화시켰어요

자기 조직 임계성

모래더미에 낟알을 하나씩 얹다 보면 온갖 크기의 눈사태가 나타나요.

답하는 질문: 지진, 화재, 멸종은 왜 같은 통계를 따를까?

빠진 것: 실제 지진과 화재에는 모래더미가 희화화할 뿐인 구체적인 물리가 있어요.

돌아가는 곳: 약 10¹¹ FLOPS 대략 노트북, 큰 모래더미도 몇 초처음 등장: 1987 백, 탕, 비젠펠트의 모래더미 모델

상호작용 모델 실행하기

군집 지능 알고리즘

흔적을 남기거나 이웃을 따라 하는 단순한 가상 에이전트로, 개미와 새에서 빌려 와서 경로 짜기나 일정 짜기 같은 추상적인 문제를 풀어요.

답하는 질문: 단순한 복사와 길 따라가기로 어려운 최적화 문제를 풀 수 있을까요?

빠진 것: 시험해 본 잘 정의된 문제에서는 잘 통해요. 실제의 불규칙한 문제에는 조정이 더 필요해요.

돌아가는 곳: 약 10¹¹ FLOPS 대략 노트북, 실행당 몇 초에서 몇 분처음 등장: 1992 마르코 도리고의 개미 군집 최적화 알고리즘

상호작용 모델 실행하기

무작위 불리언 네트워크

무작위로 연결된 스위치들이 각각 몇 개의 다른 스위치에 따라 켜지거나 꺼져요. 전체 네트워크가 언제 안정되고 언제 끝없이 요동치는지 연구해요.

답하는 질문: 스위치 네트워크가 혼돈 상태가 되려면 배선이 얼마나 필요할까요?

빠진 것: 무작위 배선은 실제 세포나 뇌의 공들여 진화한 배선을 거칠게 대신할 뿐이에요.

돌아가는 곳: 약 10¹¹ FLOPS 대략 노트북, 네트워크당 몇 초처음 등장: 1969 스튜어트 카우프만의 유전자 스위치 무작위 네트워크

연속 세포 자동자

세포 상태, 공간, 시간이 모두 연속적인 세포 자동자로, 매끄럽게 스스로 조직되는 생명체를 만들어요.

답하는 질문: 연속 세포 자동자에서는 어떤 생명 같은 무늬가 나타날까?

빠진 것: 규칙은 인공적이고 실제 화학을 모델링하지 않아요.

돌아가는 곳: 약 10¹¹ FLOPS 대략 GPU 격자 갱신처음 등장: 2018 Lenia: biology of artificial life (2018) 출처

신경 세포 오토마타

각 셀이 국소 규칙을 배우는 작은 신경망을 품어, 격자가 목표 패턴을 키우고 복구해요.

답하는 질문: 국소적인 학습 규칙이 전체 패턴을 키우고 스스로 복구하게 할 수 있을까요?

빠진 것: 목표 패턴은 작고, 규칙은 발견한 것이 아니라 학습시킨 거예요.

돌아가는 곳: 약 10¹¹ FLOPS 대략 작은 미분 가능 학습처음 등장: 2020 Growing Neural Cellular Automata (2020) 출처

자기 복제 프로그램 수프

무작위 프로그램의 풀이 우연히 상호작용하다가 스스로를 복사하는 프로그램이 나타날 때까지 섞여요.

답하는 질문: 복제자가 설계되지 않고도 나타날 수 있을까요?

빠진 것: 언어 선택이 결과를 정하는데, 화학과는 거리가 멀어요.

돌아가는 곳: 약 10¹⁰ FLOPS 대략 수백만 번의 작은 프로그램 상호작용처음 등장: 2024 Computational Life: how well-formed, self-replicating programs emerge from simple interaction (2024) 출처

인공 화학

규칙에 따라 반응하는 추상 분자의 웅덩이로, 실제 화학 없이도 스스로를 유지하는 구조가 나타날 수 있어요.

답하는 질문: 단순한 반응 속도 규칙에서 스스로 유지되는 화학적 조직이 생길 수 있을까요?

빠진 것: 분자는 기호일 뿐이고, 실제 결합 에너지와 기하 구조는 없어요.

돌아가는 곳: 약 10⁹ FLOPS 대략 노트북, 몇 시간처음 등장: 1991 1991년까지, 제2회 인공 생명 학회에서 발표된 Fontana의 AlChemy 출처

진화 로봇공학

시뮬레이션된 로봇의 제어기나 몸을 과제 수행 능력으로 선택하며 여러 세대에 걸쳐 진화시켜요.

답하는 질문: 로봇의 뇌와 몸을 설계하는 대신 교배로 얻을 수 있을까요?

빠진 것: 시뮬레이션에서 진화시킨 제어기는 실제 하드웨어에서 흔히 실패해요.

돌아가는 곳: 약 10¹⁴ FLOPS 대략 대학 클러스터, 며칠처음 등장: 1993 1993년까지, Cliff, Husbands, Harvey, Evolving visually guided robots 출처

연속 인공 생명

상태, 공간, 시간이 모두 연속적인 세포 자동자로, 움직이며 스스로 조직되는 생명체 같은 무늬를 만들어요.

답하는 질문: 규칙이 이산적이지 않고 매끄러우면 어떤 생명 같은 형태가 나타날까?

빠진 것: 무늬는 생물처럼 보이지만 실제 생물학을 따르지는 않아요.

돌아가는 곳: 약 10¹¹ FLOPS 대략 게이밍 PC, 실시간처음 등장: 2018 2018년까지, Chan, Lenia: Biology of Artificial Life (arXiv 1812.05433) 출처

인공 면역 모델

상호작용하는 항체 같은 에이전트의 개체군이 선택과 네트워크 효과로 패턴을 알아보도록 학습해요.

답하는 질문: 인식 시스템은 오직 국소적인 상호작용만으로 어떻게 적응할까요?

빠진 것: 면역학의 발상을 컴퓨팅에 빌려 온 것이지, 실제 면역 반응을 보정한 모델이 아니에요.

돌아가는 곳: 약 10⁸ FLOPS 대략 노트북, 몇 시간처음 등장: 1986 1986년까지, Farmer, Packard, Perelson, The immune system, adaptation, and machine learning 출처

Core War 대전

아주 작은 어셈블리 언어로 쓴 프로그램들이 공유된 시뮬레이션 메모리의 제어권을 두고 서로를 덮어쓰며 싸워요.

답하는 질문: 메모리 전체가 전장일 때 어떤 자기 복제 프로그램이 살아남을까?

빠진 것: 기계는 지어낸 명령어 집합이라서, 배운 것이 실제 악성코드로 이어지지 않아요.

돌아가는 곳: 약 10⁷ FLOPS 대략 노트북, 전투당 몇 초처음 등장: 1984 1984년까지, Jones와 Dewdney의 Core War, Scientific American에 실림 출처

강화 학습 환경

인공 에이전트가 행동하고, 보상을 받고, 수백만 번의 시도 끝에 나아지는 시뮬레이션된 세계

답하는 질문: 에이전트가 시행착오만으로 이 기술을 익힐 수 있을까요?

빠진 것: 단순화된 세계에서 배운 기술이 현실의 복잡함에 늘 옮겨 가지는 않아요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 GPU 클러스터, 시뮬레이션 경험 며칠 분량처음 등장: 1992 1992년까지, 자기 대국으로 백개먼 전략을 익힌 TD-Gammon

다중 에이전트 AI 사회

저마다 목표와 기억과 대화를 가진 많은 AI 에이전트가 하나의 세계를 함께 써요.

답하는 질문: 인공 에이전트 여럿이 함께 살면 어떤 사회적 행동이 나타날까?

빠진 것: 사회적으로 보이는 행동도 훈련 설정에 맞춘 좁은 요령일 수 있어요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 GPU 클러스터, 에이전트 여러 개를 병렬로 실행처음 등장: 2017 2017년까지, 하나의 세계를 공유하는 다수의 학습 에이전트를 둔 초기 실험

합성 학습 데이터

시각 시스템을 훈련하려고 끝없이 변주해서 렌더링한 사진처럼 실제 같은 장면

답하는 질문: 렌더링된 이미지로만 훈련한 시스템이 현실 세계를 볼 수 있을까요?

빠진 것: 렌더링된 장면은 현실보다 깨끗해서, 훈련된 시스템이 현실의 잡음에 속을 수 있어요.

돌아가는 곳: 약 10¹⁴ FLOPS 대략 렌더 팜 또는 GPU 클러스터, 데이터세트당 몇 시간처음 등장: 2016 2016년까지, 이미지 인식 시스템을 훈련하는 초기 렌더링 데이터세트

학습된 세계 모델

세계에서 다음에 무슨 일이 일어날지 예측하는 신경망으로, 그 세계의 플레이 가능한 장면을 만들어 낼 만큼 잘해요.

답하는 질문: 신경망이 세계를 지켜보기만 해도 그 세계를 시뮬레이션하는 법을 배울 수 있을까요?

빠진 것: 장기 예측은 물리적으로 일관된 어떤 것에서도 점점 멀어져요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 대형 GPU 클러스터, 훈련에 며칠처음 등장: 2018 하와 슈미트후버는 게임 같은 장면을 예측하고 꿈꾸도록 네트워크를 훈련했어요

자기 대전 전략 훈련

인공 에이전트가 추상 전략 게임에서 자기 복사본과 반복 대국을 하며 한 판마다 나아져요.

답하는 질문: 자기 과거 외에는 스승이 없을 때 전략은 얼마나 강해질 수 있을까요?

빠진 것: 같은 에이전트의 복제본을 상대로 다듬은 전략에는 다른 상대가 파고들 수 있는 사각지대가 있을 수 있어요.

돌아가는 곳: 약 10¹⁶ FLOPS 대략 대형 GPU 클러스터, 자기 대국 며칠 분량처음 등장: 1959 아서 새뮤얼의 스스로 대국하며 배운 체커 프로그램

AI 안전 레드팀 환경

인공 에이전트를 원치 않는 행동으로 유혹하도록 만든 시뮬레이션 환경으로, 배포 전에 실패를 찾아내요.

답하는 질문: 어떤 조건에서 이 시스템이 해서는 안 될 행동을 할까?

빠진 것: 레드팀이 찾아볼 생각을 한 고장만 시험해요.

돌아가는 곳: 약 10¹⁴ FLOPS 대략 연구팀의 GPU 서버, 테스트 모음당 몇 시간처음 등장: 2016 2016년까지, 강화 학습 에이전트를 위한 초기 적대적 시험 환경

체화된 가정 시뮬레이터

에이전트가 보고 움직이고 물건을 다루는 3D 가상 집으로, 체화된 AI를 훈련하고 시험하는 데 써요.

답하는 질문: 에이전트가 가상 집에서 배운 과제가 실제 집으로 옮겨질까요?

빠진 것: 물체 물리와 장면의 다양성은 제한적이에요.

돌아가는 곳: 약 10¹² FLOPS 대략 실시간 렌더링, 많은 병렬 인스턴스처음 등장: 2017 AI2-THOR: an interactive 3D environment for visual AI (2017) 출처

개방형 환경 생성

에이전트가 배우는 동안 학습용 세계가 자동으로 만들어지고 변형되어, 과제의 난이도와 다양성이 계속 커져요.

답하는 질문: 환경 생성기가 쓸모 있는 새로운 도전을 계속 만들어 낼 수 있을까요?

빠진 것: 탐색은 환경 계열이 표현할 수 있는 것에 제한돼요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 환경과 에이전트의 개체군처음 등장: 2019 Paired Open-Ended Trailblazer (POET) (2019) 출처

에이전트를 위한 시뮬레이션 웹 환경

언어 모델 에이전트가 과제를 수행하는 실제 웹사이트의 자체 호스팅 사본으로, 최종 상태를 확인해 채점해요.

답하는 질문: 에이전트가 현실적인 웹사이트에서 여러 단계의 과제를 해낼 수 있을까요?

빠진 것: 사이트는 정적인 사본이고, 과제의 종류도 제한적이에요.

돌아가는 곳: 약 10¹³ FLOPS 대략 환경 재설정과 많은 모델 호출처음 등장: 2023 WebArena (2023) 출처

추천 시스템 시뮬레이터

추천 알고리즘을 훈련하고 시험하는 데 쓰는, 설정 가능한 가상 사용자 집단과 항목 목록.

답하는 질문: 추천 알고리즘은 사용자와의 많은 상호작용을 거치면서 어떻게 행동할까요?

빠진 것: 사용자 행동은 측정한 것이 아니라 가정한 것이에요.

돌아가는 곳: 약 10¹⁰ FLOPS 대략 값싼 병렬 실행처음 등장: 2019 RecSim: a configurable simulation platform for recommender systems (2019) 출처

신경 게임 엔진

확산 모델이 게임 플레이 녹화로 훈련해 플레이어의 행동에서 다음 프레임을 생성하고, 게임 자체의 엔진을 대신해요.

답하는 질문: 신경망이 상호작용하는 게임을 플레이 가능한 속도로 돌릴 수 있을까요?

빠진 것: 기억이 짧아서, 오래 플레이하면 세부 내용이 어긋나요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 무거운 훈련, 가속기 한 대로 하는 실시간 추론처음 등장: 2024 Diffusion models are real-time game engines (2024) 출처

인터랙티브 생성형 세계

모델이 라벨 없는 영상에서 학습해, 사용자가 프레임 단위로 행동할 수 있고 조작 가능한 세계를 만들어요.

답하는 질문: 이미지만으로 플레이 가능한 세계를 생성할 수 있을까요?

빠진 것: 일관성과 프레임 속도가 제한적이고, 물리는 보장되지 않아요.

돌아가는 곳: 약 10¹⁷ FLOPS 대략 대규모 비디오 훈련처음 등장: 2024 Genie: generative interactive environments (2024) 출처

학습된 현실 세계 상호작용 시뮬레이터

행동 조건이 붙은 영상 모델이 명령마다 로봇이나 에이전트가 보게 될 장면을 예측해, 손으로 만든 시뮬레이터를 대신해요.

답하는 질문: 학습된 모델이 행동의 현실 세계 결과를 시뮬레이션할 수 있을까요?

빠진 것: 긴 롤아웃은 환각을 일으키고, 물리적 정확성은 검증되지 않았어요.

돌아가는 곳: 약 10¹⁷ FLOPS 대략 대규모 영상·행동 데이터셋으로 학습처음 등장: 2023 Learning interactive real-world simulators (2023) 출처

생성형 주행 세계 모델

속도와 조향 조건이 붙은 영상 모델이 자동차 시점에서 그럴듯한 미래 장면을 생성해, 자율 주행을 훈련하고 시험해요.

답하는 질문: 주어진 운전 행동 뒤에는 어떤 교통 장면이 이어질 수 있을까?

빠진 것: 생성된 장면이 물리나 드문 사례의 행동을 어길 수 있어요.

돌아가는 곳: 약 10¹⁷ FLOPS 대략 대규모 비디오 모델 훈련처음 등장: 2023 GAIA-1: a generative world model for autonomous driving (2023) 출처

시뮬레이션 로봇 축구

소프트웨어 선수 두 팀이 잡음 섞인 감각으로 경기장의 일부만 보며 시뮬레이션 경기장에서 축구를 해서, 협력과 전략을 시험해요.

답하는 질문: 독립적인 소프트웨어 플레이어들이 라이벌 팀을 이길 만큼 잘 조율할 수 있을까요?

빠진 것: 경기장, 공, 로봇 몸체는 이상화돼 있어서, 성공은 실제 하드웨어를 다루는 솜씨가 아니라 전술을 보여 줘요.

돌아가는 곳: 약 10⁹ FLOPS 대략 워크스테이션에서 한 경기를 실시간으로.처음 등장: 1998 Noda와 동료들의 Soccer Server, 다중 에이전트 시스템 연구용 도구 출처

소프트웨어 엔지니어링 에이전트 샌드박스

에이전트가 실제 코드 프로젝트와 문제 보고서를 받아, 샌드박스에서 파일을 고치고 테스트를 돌리며, 수정이 통과하는지로 점수가 매겨져요.

답하는 질문: AI 에이전트가 도움 없이 실제 소프트웨어 프로젝트의 실제 버그를 고칠 수 있을까요?

빠진 것: 테스트를 통과했다고 제대로 고친 것은 아니고, 이 프로젝트들은 전체 소프트웨어의 아주 작은 일부예요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 수천 번의 모델 실행, 각각 많은 호출과 테스트 실행을 포함해요.처음 등장: 2023 Jimenez와 동료들이 실제 GitHub 이슈로 만든 언어 모델용 벤치마크 SWE-bench 출처

데스크톱 컴퓨터 에이전트 환경

실제 프로그램이 든 완전한 가상 컴퓨터를 에이전트에게 주면, 에이전트가 화면을 보고 클릭하고 입력하며, 과제를 해냈는지로 점수가 매겨져요.

답하는 질문: AI 에이전트가 사람처럼 컴퓨터에서 과제를 수행할 수 있을까요?

빠진 것: 과제는 정해진 대본이지만, 실제 일은 끝이 열려 있고, 끊기고, 다른 사람과 나눠서 해요.

돌아가는 곳: 약 10¹⁵ FLOPS 대략 수천 번의 실행, 각각 가상 머신 하나와 많은 모델 호출을 돌려요.처음 등장: 2024 Xie와 동료들의 OSWorld, 실제 컴퓨터 환경에서 에이전트를 평가하는 벤치마크예요. 출처