Esprits, cerveaux et mondes artificiels

Modèles détaillés de neurones

Un neurone unique comme un câble électrique ramifié avec des canaux ioniques, selon Hodgkin et Huxley.

Question à laquelle elle répond: Comment la forme de ce neurone change-t-elle ce qu’il calcule ?

Laisse de côté : La chimie fine d’un neurone est encore simplifiée en une poignée de courants.

Tourne sur : environ 10¹² FLOPS approximatif un ordinateur portable, en temps réel pour un neuroneDepuis : 1952 Huxley a intégré à la main, sur une calculatrice mécanique, les équations de Hodgkin–Huxley, environ trois semaines par potentiel d’action ; les ordinateurs ont pris le relais plus tard sourceDans l’arbre des simulations: Hodgkin–Huxley à la main

Circuits cérébraux à grande échelle

Des millions de neurones à impulsions câblés en un circuit qui ressemble à un morceau de cortex.

Question à laquelle elle répond: Peut-on reproduire les rythmes et les réponses du cerveau à partir du seul câblage ?

Laisse de côté : Le câblage est souvent statistique, et non les vraies connexions mesurées de l’animal.

Tourne sur : environ 10¹⁵ FLOPS approximatif un cluster universitaire, quelques heures pour un fragment de cortexDepuis : 2006 dès 2006, premières simulations à grande échelle d’une colonne corticaleDans l’arbre des simulations: Microcircuit néocortical

Modèles de réseaux du cerveau entier

Des régions du cerveau comme nœuds reliés par un câblage mesuré, ajustés sur des examens d’imagerie.

Question à laquelle elle répond: Comment une lésion dans une région modifie-t-elle l’activité de tout le cerveau ?

Laisse de côté : Les régions sont traitées comme des points uniques, ce qui manque tout le détail à l’intérieur.

Tourne sur : environ 10¹⁴ FLOPS approximatif un cluster universitaire, quelques minutes par scénario simuléDepuis : 2008 dès 2008, premiers modèles de réseau du cerveau entier ajustés sur le câblage de l’IRM de diffusion

Petits organismes simulés

Le système nerveux complet d’un minuscule animal, comme les 302 neurones d’un ver rond, relié à un corps simulé dans une boîte virtuelle.

Question à laquelle elle répond: Le schéma de câblage suffit-il à produire le comportement ?

Laisse de côté : Le schéma de câblage seul n’explique toujours pas entièrement le comportement de l’animal.

Tourne sur : environ 10¹² FLOPS approximatif un ordinateur portable, en temps réel pour tout le système nerveuxDepuis : 1997 dès 1997, premières simulations fondées sur la carte du connectome du ver rond de 1986Dans l’arbre des simulations: OpenWorm

Simulation de matériel neuromorphique

Des puces construites avec des circuits qui se comportent directement comme des neurones et des synapses dans le matériel, au lieu de calculer les équations pas à pas dans un logiciel.

Question à laquelle elle répond: Un matériel neuromorphique peut-il calculer les mêmes choses qu’un cerveau, avec bien moins d’énergie ?

Laisse de côté : Les vrais neurones ont une chimie bien plus riche qu’un circuit construit pour imiter leurs impulsions.

Tourne sur : environ 10¹³ FLOPS approximatif une puce de recherche neuromorphique, en temps réelDepuis : 1989 Les premiers circuits de neurone et de rétine en silicium de Carver Mead

Maladies du cerveau et propagation des crises

Une activité électrique anormale ou des protéines mal repliées qui se propagent dans un réseau cérébral simulé, comme dans l’épilepsie ou la démence.

Question à laquelle elle répond: Où commence une crise d’épilepsie, et jusqu’où s’étendra-t-elle ?

Laisse de côté : Le chemin de la maladie diffère dans chaque vrai cerveau ; le modèle montre un schéma, pas une prédiction pour un patient.

Tourne sur : environ 10¹³ FLOPS approximatif le cluster d’un hôpital ou d’une université, quelques minutes par modèle de patientDepuis : 1997 dès 1997, premiers modèles de réseaux de la propagation des crises dans le cerveau

Modèles de cerveau entier contraints par le connectome

Une simulation neuronale utilise le câblage complet mesuré d’un cerveau d’insecte avec de simples modèles de neurones pour prédire comment les stimuli produisent un comportement.

Question à laquelle elle répond: Le câblage seul prédit-il comment le cerveau transforme les sens en action ?

Laisse de côté : La force des synapses et la dynamique des neurones sont supposées à partir de règles simples.

Tourne sur : environ 10¹² FLOPS approximatif Réseau de neurones à impulsions d’environ 130 000 neuronesDepuis : 2024 A Drosophila computational brain model reveals sensorimotor processing (2024) source

Modèles de masses et de champs neuronaux

Une population de neurones réduite à une ou deux variables d’activité moyenne, qui donne les rythmes et les ondes de régions entières.

Question à laquelle elle répond: Quels rythmes collectifs l’excitation et l’inhibition peuvent-elles produire entre des populations ?

Laisse de côté : Les neurones individuels disparaissent dans une moyenne.

Tourne sur : environ 10⁹ FLOPS approximatif un ordinateur portable, quelques secondesDepuis : 1972 dès 1972, Wilson et Cowan, Excitatory and inhibitory interactions in localized populations of model neurons source

Modèles fonctionnels de cerveau à impulsions

Un réseau de neurones modèles à impulsions, construit pour accomplir des tâches cognitives comme se rappeler, compter et recopier un chiffre dessiné.

Question à laquelle elle répond: Un modèle fait de neurones peut-il accomplir des tâches que gère un cerveau ?

Laisse de côté : Son ensemble de tâches est petit et le câblage est conçu, pas mesuré.

Tourne sur : environ 10¹⁵ FLOPS approximatif un cluster universitaire, quelques heuresDepuis : 2012 dès 2012, Eliasmith et d’autres, A large-scale model of the functioning brain (Spaun) source

Réseaux de mémoire à attracteurs

Un réseau d’unités simples dont les connexions stockent des motifs sous forme d’états stables, si bien qu’un indice partiel se stabilise sur le souvenir complet.

Question à laquelle elle répond: Comment un réseau peut-il retrouver un souvenir entier à partir d’un fragment ?

Laisse de côté : La capacité est petite et les vrais neurones sont bien plus complexes.

Tourne sur : environ 10⁸ FLOPS approximatif un ordinateur portable, quelques secondesDepuis : 1982 dès 1982, Hopfield, Neural networks and physical systems with emergent collective computational abilities source

Modèles de cerveau d’insecte fondés sur le connectome

Un cerveau de mouche entier simulé à partir de son schéma de câblage mesuré, chaque neurone et chaque synapse venant de la reconstruction.

Question à laquelle elle répond: Quels comportements découlent du seul câblage, une fois toutes les connexions connues ?

Laisse de côté : La force des synapses et la chimie des neurones sont déduites, pas mesurées.

Tourne sur : environ 10¹⁴ FLOPS approximatif un poste de travail, quelques minutes par seconde simuléeDepuis : 2024 dès 2024, Dorkenwald et d’autres, le schéma de câblage du cerveau de mouche adulte, et Shiu et d’autres, un modèle computationnel construit dessus source

Automates cellulaires

Des grilles de cellules qui suivent des règles simples, comme le Jeu de la vie de John Conway, et qui font pousser des planeurs, des réplicateurs et même des ordinateurs qui fonctionnent.

Question à laquelle elle répond: Quelle complexité peut naître d’une règle aussi simple ?

Laisse de côté : De simples règles s’appliquent rarement proprement à de vrais systèmes physiques ou biologiques.

Tourne sur : environ 10¹² FLOPS approximatif un ordinateur portable, d’immenses grilles en quelques secondesDepuis : 1970 Le Jeu de la vie de John ConwayDans l’arbre des simulations: La vie, jouée à la main

Lancer le modèle interactif

Évolution numérique

Des programmes informatiques qui se copient eux-mêmes, mutent et se disputent le temps de processeur dans une machine simulée.

Question à laquelle elle répond: L’évolution peut-elle inventer des caractères complexes que l’on peut observer pas à pas ?

Laisse de côté : Les programmes évoluent dans un monde informatique artificiel, pas dans une vraie biochimie.

Tourne sur : environ 10¹² FLOPS approximatif un ordinateur de bureau, des millions de générations en une nuitDepuis : 1953 Les expériences d’évolution numérique de Barricelli sur l’ordinateur de l’Institute for Advanced Study source

Créatures virtuelles évoluées

Des corps et des cerveaux évolués ensemble dans une simulation physique, qui apprennent à nager, marcher ou sauter.

Question à laquelle elle répond: Quels corps et quels comportements l’évolution invente-t-elle quand nous ne la dirigeons pas ?

Laisse de côté : Les allures évoluées ressemblent souvent très peu aux allures biologiques, parce que la physique simulée diffère subtilement du monde réel.

Tourne sur : environ 10¹³ FLOPS approximatif un ordinateur de bureau ou un petit cluster, quelques heures pour faire évoluer une populationDepuis : 1994 Karl Sims a fait évoluer des créatures qui nagent et marchent dans une simulation physique

Criticalité auto-organisée

Des grains ajoutés un par un sur un tas de sable jusqu’à ce que des avalanches de toutes tailles apparaissent.

Question à laquelle elle répond: Pourquoi les séismes, les incendies et les extinctions suivent-ils les mêmes statistiques ?

Laisse de côté : Les vrais séismes et incendies obéissent à une physique propre qu’un tas de sable ne fait que caricaturer.

Tourne sur : environ 10¹¹ FLOPS approximatif un ordinateur portable, quelques secondes pour un grand tas de sableDepuis : 1987 Le modèle du tas de sable de Bak, Tang et Wiesenfeld

Lancer le modèle interactif

Algorithmes d’intelligence en essaim

De simples agents virtuels qui laissent des traces ou copient leurs voisins, empruntés aux fourmis et aux oiseaux pour résoudre des problèmes abstraits comme l’acheminement et la planification.

Question à laquelle elle répond: La simple copie et le suivi de pistes peuvent-ils résoudre un problème d’optimisation difficile ?

Laisse de côté : Fonctionne bien sur les problèmes bien posés sur lesquels il a été testé. Les vrais problèmes, irréguliers, demandent plus de réglage.

Tourne sur : environ 10¹¹ FLOPS approximatif un ordinateur portable, de quelques secondes à quelques minutes par exécutionDepuis : 1992 L’algorithme d’optimisation par colonies de fourmis de Marco Dorigo

Lancer le modèle interactif

Réseaux booléens aléatoires

Des interrupteurs reliés au hasard, chacun s’allumant ou s’éteignant selon une poignée d’autres, étudiés pour savoir quand le réseau entier se stabilise ou s’agite à jamais.

Question à laquelle elle répond: Combien de câblage faut-il avant qu’un réseau d’interrupteurs devienne chaotique ?

Laisse de côté : Un câblage aléatoire est un substitut grossier du câblage soigneusement évolué d’une vraie cellule ou d’un vrai cerveau.

Tourne sur : environ 10¹¹ FLOPS approximatif un ordinateur portable, quelques secondes par réseauDepuis : 1969 Les réseaux aléatoires d’interrupteurs génétiques de Stuart Kauffman

Automates cellulaires continus

Des automates cellulaires dont les états, l’espace et le temps sont continus, et qui produisent des créatures lisses et auto-organisées.

Question à laquelle elle répond: Quels motifs semblables au vivant apparaissent dans un automate cellulaire continu ?

Laisse de côté : Les règles sont artificielles et ne modélisent pas la vraie chimie.

Tourne sur : environ 10¹¹ FLOPS approximatif Mises à jour de grille sur GPUDepuis : 2018 Lenia: biology of artificial life (2018) source

Automates cellulaires neuronaux

Chaque cellule contient un petit réseau de neurones qui apprend la règle locale, si bien qu’une grille fait croître et répare un motif cible.

Question à laquelle elle répond: Une règle locale apprise peut-elle faire croître et s’autoréparer un motif global ?

Laisse de côté : Les motifs cibles sont petits, et les règles sont entraînées, pas découvertes.

Tourne sur : environ 10¹¹ FLOPS approximatif Petit entraînement différentiableDepuis : 2020 Growing Neural Cellular Automata (2020) source

Soupes de programmes auto-réplicants

Un ensemble de programmes aléatoires qui interagissent au hasard jusqu’à ce que des programmes qui se copient émergent du mélange.

Question à laquelle elle répond: Des réplicateurs peuvent-ils apparaître sans avoir été conçus ?

Laisse de côté : Le choix du langage fixe le résultat, et il est bien loin de la chimie.

Tourne sur : environ 10¹⁰ FLOPS approximatif Des millions de minuscules interactions de programmesDepuis : 2024 Computational Life: how well-formed, self-replicating programs emerge from simple interaction (2024) source

Chimie artificielle

Un bain de molécules abstraites qui réagissent selon des règles, si bien que des structures qui s’entretiennent peuvent apparaître sans aucune vraie chimie.

Question à laquelle elle répond: Une organisation chimique qui s’entretient peut-elle surgir de simples règles de réaction ?

Laisse de côté : Les molécules sont des symboles ; les vraies énergies de liaison et la géométrie sont absentes.

Tourne sur : environ 10⁹ FLOPS approximatif un ordinateur portable, quelques heuresDepuis : 1991 dès 1991, AlChemy de Fontana, présenté à la Second Artificial Life Conference source

Robotique évolutionnaire

Les contrôleurs ou les corps de robots simulés sont évolués sur de nombreuses générations en sélectionnant la performance à la tâche.

Question à laquelle elle répond: Le cerveau et le corps d’un robot peuvent-ils être obtenus par sélection évolutive plutôt que conçus ?

Laisse de côté : Les contrôleurs évolués en simulation échouent souvent sur du vrai matériel.

Tourne sur : environ 10¹⁴ FLOPS approximatif un cluster universitaire, des joursDepuis : 1993 dès 1993, Cliff, Husbands et Harvey, Evolving visually guided robots source

Vie artificielle continue

Un automate cellulaire à états, espace et temps continus, qui produit des motifs mouvants, auto-organisés, qui ressemblent à du vivant.

Question à laquelle elle répond: Quelles formes semblables au vivant apparaissent quand les règles sont lisses plutôt que discrètes ?

Laisse de côté : Les motifs ressemblent à des organismes mais ne suivent aucune vraie biologie.

Tourne sur : environ 10¹¹ FLOPS approximatif un PC de jeu, en temps réelDepuis : 2018 dès 2018, Chan, Lenia: Biology of Artificial Life (arXiv 1812.05433) source

Modèles immunitaires artificiels

Des populations d’agents semblables à des anticorps qui interagissent et apprennent à reconnaître des motifs par sélection et effets de réseau.

Question à laquelle elle répond: Comment un système de reconnaissance s’adapte-t-il avec de simples interactions locales ?

Laisse de côté : Il emprunte des idées à l’immunologie pour le calcul, ce n’est pas un modèle calibré d’une vraie réponse immunitaire.

Tourne sur : environ 10⁸ FLOPS approximatif un ordinateur portable, quelques heuresDepuis : 1986 dès 1986, Farmer, Packard et Perelson, The immune system, adaptation, and machine learning source

Batailles de Core War

Des programmes écrits dans un minuscule langage d’assemblage se disputent le contrôle d’une mémoire simulée partagée, en s’écrasant mutuellement.

Question à laquelle elle répond: Quel programme qui se copie lui-même survit quand toute la mémoire est un champ de bataille ?

Laisse de côté : La machine est un jeu d’instructions inventé, si bien que les leçons ne se transposent pas aux vrais logiciels malveillants.

Tourne sur : environ 10⁷ FLOPS approximatif un ordinateur portable, quelques secondes par batailleDepuis : 1984 dès 1984, Core War de Jones et Dewdney, dans Scientific American source

Environnements d’apprentissage par renforcement

Des mondes simulés où un agent artificiel agit, est récompensé et s’améliore au fil de millions de tentatives.

Question à laquelle elle répond: Un agent peut-il apprendre cette compétence par le seul essai et l’erreur ?

Laisse de côté : Les compétences apprises dans un monde simplifié ne se transfèrent pas toujours à la complexité de la réalité.

Tourne sur : environ 10¹⁵ FLOPS approximatif un cluster de GPU, des jours d’expérience simuléeDepuis : 1992 dès 1992, TD-Gammon apprend une stratégie de backgammon en jouant contre lui-même

Sociétés d’IA multi-agents

De nombreux agents d’IA qui partagent un monde, avec leurs propres objectifs, souvenirs et conversations.

Question à laquelle elle répond: Quel comportement social apparaît quand de nombreux agents artificiels vivent ensemble ?

Laisse de côté : Des comportements d’apparence sociale peuvent être des astuces étroites réglées sur le dispositif d’entraînement.

Tourne sur : environ 10¹⁵ FLOPS approximatif un cluster de GPU, qui fait tourner de nombreux agents en parallèleDepuis : 2017 dès 2017, premières expériences avec de nombreux agents qui apprennent dans un même monde

Données d’entraînement synthétiques

Des scènes photoréalistes rendues en variations infinies pour entraîner des systèmes de vision.

Question à laquelle elle répond: Un système entraîné uniquement sur des images rendues peut-il voir le monde réel ?

Laisse de côté : Les scènes rendues sont plus propres que la réalité, si bien que les systèmes entraînés peuvent être trompés par le bruit du monde réel.

Tourne sur : environ 10¹⁴ FLOPS approximatif une ferme de rendu ou un cluster de GPU, quelques heures pour un jeu de donnéesDepuis : 2016 dès 2016, premiers jeux de données rendus pour entraîner des systèmes de reconnaissance d’images

Modèles du monde appris

Un réseau de neurones qui prédit ce qui se passe ensuite dans un monde, assez bien pour en générer des scènes jouables.

Question à laquelle elle répond: Un réseau peut-il apprendre à simuler un monde rien qu’en le regardant ?

Laisse de côté : Les prédictions à long terme s’éloignent de tout ce qui est physiquement cohérent.

Tourne sur : environ 10¹⁵ FLOPS approximatif un grand cluster de GPU, des jours d’entraînementDepuis : 2018 Ha et Schmidhuber ont entraîné un réseau à prédire et à rêver des scènes de jeu

Entraînement de stratégies par auto-jeu

Un agent artificiel qui joue des parties répétées contre des copies de lui-même à un jeu de stratégie abstrait, et s’améliore à chaque tour.

Question à laquelle elle répond: Quelle force une stratégie peut-elle atteindre sans autre professeur que ses propres versions passées ?

Laisse de côté : Des stratégies réglées contre une copie du même agent peuvent avoir des angles morts qu’un adversaire différent exploiterait.

Tourne sur : environ 10¹⁶ FLOPS approximatif un grand cluster de GPU, des jours de parties contre soi-mêmeDepuis : 1959 Le programme de dames d’Arthur Samuel, qui apprenait en jouant contre lui-même

Environnements de red teaming pour la sécurité de l’IA

Un cadre simulé construit pour tenter un agent artificiel vers un comportement indésirable, afin de trouver la défaillance avant le déploiement.

Question à laquelle elle répond: Dans quelles conditions ce système présente-t-il un comportement qu’il ne devrait pas avoir ?

Laisse de côté : Ne teste que les pannes que l’équipe rouge a pensé à chercher.

Tourne sur : environ 10¹⁴ FLOPS approximatif le serveur GPU d’une équipe de recherche, quelques heures par suite de testsDepuis : 2016 dès 2016, premiers environnements de test adversariaux pour les agents d’apprentissage par renforcement

Simulateurs de maison incarnés

Des maisons virtuelles en 3D où un agent voit, se déplace et manipule des objets, pour entraîner et tester des IA incarnées.

Question à laquelle elle répond: Un agent peut-il apprendre dans une maison virtuelle des tâches qui se transfèrent aux vraies ?

Laisse de côté : La physique des objets et la variété des scènes sont limitées.

Tourne sur : environ 10¹² FLOPS approximatif Rendu en temps réel, nombreuses instances parallèlesDepuis : 2017 AI2-THOR: an interactive 3D environment for visual AI (2017) source

Génération d’environnements ouverts

Les mondes d’entraînement sont créés et mutés automatiquement à mesure que les agents apprennent, si bien que les défis gagnent sans cesse en difficulté et en variété.

Question à laquelle elle répond: Un générateur d’environnements peut-il continuer à produire de nouveaux défis utiles ?

Laisse de côté : La recherche est limitée par ce que la famille d’environnements peut exprimer.

Tourne sur : environ 10¹⁵ FLOPS approximatif Population d’environnements et d’agentsDepuis : 2019 Paired Open-Ended Trailblazer (POET) (2019) source

Environnements web simulés pour agents

Des copies autohébergées de vrais sites web où un agent à modèle de langage accomplit des tâches, notées en vérifiant l’état final.

Question à laquelle elle répond: Un agent peut-il accomplir des tâches en plusieurs étapes sur des sites web réalistes ?

Laisse de côté : Les sites sont des copies statiques, et la variété des tâches est limitée.

Tourne sur : environ 10¹³ FLOPS approximatif Réinitialisations d’environnement et nombreux appels de modèleDepuis : 2023 WebArena (2023) source

Simulateurs de systèmes de recommandation

Une population d’utilisateurs simulés et un catalogue d’articles, configurables, pour entraîner et tester des algorithmes de recommandation.

Question à laquelle elle répond: Comment un algorithme de recommandation se comporterait-il au fil de nombreuses interactions avec des utilisateurs ?

Laisse de côté : Le comportement des utilisateurs est supposé, pas mesuré.

Tourne sur : environ 10¹⁰ FLOPS approximatif Exécutions parallèles peu coûteusesDepuis : 2019 RecSim: a configurable simulation platform for recommender systems (2019) source

Moteurs de jeu neuronaux

Un modèle de diffusion entraîné sur des enregistrements de parties génère l’image suivante à partir des actions du joueur, à la place du moteur du jeu.

Question à laquelle elle répond: Un réseau de neurones peut-il faire tourner un jeu interactif à une vitesse jouable ?

Laisse de côté : La mémoire est courte, et les détails dérivent au fil d’une longue partie.

Tourne sur : environ 10¹⁵ FLOPS approximatif Entraînement lourd ; inférence en temps réel sur un seul accélérateurDepuis : 2024 Diffusion models are real-time game engines (2024) source

Mondes génératifs interactifs

Un modèle apprend à partir de vidéos sans étiquettes à créer des mondes contrôlables dans lesquels l’utilisateur agit image par image.

Question à laquelle elle répond: Peut-on générer un monde jouable à partir d’images seules ?

Laisse de côté : La cohérence et la fréquence d’images sont limitées, et la physique n’est pas garantie.

Tourne sur : environ 10¹⁷ FLOPS approximatif Entraînement vidéo à grande échelleDepuis : 2024 Genie: generative interactive environments (2024) source

Simulateurs interactifs du monde réel appris

Un modèle vidéo conditionné par les actions prédit ce qu’un robot ou un agent verrait après chaque commande, à la place d’un simulateur construit à la main.

Question à laquelle elle répond: Un modèle appris peut-il simuler les résultats réels d’actions ?

Laisse de côté : Les longs déroulements hallucinent, et la précision physique n’est pas vérifiée.

Tourne sur : environ 10¹⁷ FLOPS approximatif Entraînement sur de grands jeux de données de vidéos et d’actionsDepuis : 2023 Learning interactive real-world simulators (2023) source

Modèles génératifs du monde pour la conduite

Un modèle vidéo conditionné par la vitesse et la direction génère des scènes futures plausibles vues depuis une voiture, pour entraîner et tester l’autonomie.

Question à laquelle elle répond: Quelles scènes de circulation pourraient suivre une manœuvre de conduite donnée ?

Laisse de côté : Les scènes générées peuvent violer la physique ou le comportement des cas rares.

Tourne sur : environ 10¹⁷ FLOPS approximatif Entraînement de grands modèles vidéoDepuis : 2023 GAIA-1: a generative world model for autonomous driving (2023) source

Football de robots simulé

Deux équipes de joueurs logiciels, chacune ne voyant qu’une partie du terrain par des sens bruités, jouent au football dans un stade simulé pour tester la coopération et la stratégie.

Question à laquelle elle répond: Des joueurs logiciels indépendants peuvent-ils se coordonner assez bien pour battre une équipe rivale ?

Laisse de côté : Le terrain, la balle et les corps des robots sont idéalisés, si bien que la réussite montre la tactique plutôt que l’habileté avec du vrai matériel.

Tourne sur : environ 10⁹ FLOPS approximatif en temps réel sur une station de travail pour un match.Depuis : 1998 Soccer Server de Noda et ses collègues, un outil de recherche sur les systèmes multi-agents. source

Bacs à sable pour agents d’ingénierie logicielle

Un agent reçoit un vrai projet de code et un rapport de problème, modifie des fichiers et lance des tests dans un bac à sable, et est noté selon que le correctif passe ou non.

Question à laquelle elle répond: Un agent d’IA peut-il corriger de vrais bogues dans de vrais projets logiciels sans aide ?

Laisse de côté : Des tests réussis ne veulent pas dire qu’une correction est juste, et les projets ne sont qu’une petite tranche de tous les logiciels.

Tourne sur : environ 10¹⁵ FLOPS approximatif des milliers d’exécutions de modèle, chacune avec de nombreux appels et séries de tests.Depuis : 2023 SWE-bench, de Jimenez et ses collègues, un banc d’essai de vrais problèmes GitHub pour les modèles de langage. source

Environnements d’agents sur ordinateur de bureau

Un ordinateur virtuel complet, avec de vrais programmes, est confié à un agent qui voit l’écran, clique et tape, et qui est noté selon que la tâche a été accomplie ou non.

Question à laquelle elle répond: Un agent d’IA peut-il accomplir des tâches sur un ordinateur comme le fait une personne ?

Laisse de côté : Les tâches sont fixes et scriptées, alors que le vrai travail est ouvert, interrompu et partagé avec d’autres personnes.

Tourne sur : environ 10¹⁵ FLOPS approximatif des milliers d’exécutions, chacune faisant tourner une machine virtuelle et de nombreux appels au modèle.Depuis : 2024 OSWorld de Xie et ses collègues, qui évalue des agents dans de vrais environnements informatiques. source