---
title: "Grands modèles de langage · Artificial systems · Entités · Hypothèse de la simulation"
url: https://simulation-hypothesis.com/fr/entities/ai-llm
description: "Réseaux de neurones de type transformeur, entraînés à prédire le jeton suivant dans de très grands corpus de textes, puis souvent ajustés à partir de retours humains."
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl, Hypothèse de la simulation (simulation-hypothesis.com)"
---

[Entités](https://simulation-hypothesis.com/fr/entities) › Systèmes artificiels

# Grands modèles de langage

Réseaux de neurones de type transformeur, entraînés à prédire le jeton suivant dans de très grands corpus de textes, puis souvent ajustés à partir de retours humains.

Réseaux de neurones de type transformeur, entraînés à prédire le jeton suivant dans de très grands corpus de textes, puis souvent ajustés à partir de retours humains. Ils utilisent l’auto-attention sur toute la fenêtre de contexte. Un article de 2020 a rapporté une échelle de 175 milliards de paramètres. Ils produisent un langage fluide : un texte à la tournure humaine est donc un mauvais test de l’expérience intérieure.

Dans les arbres

[Architecture transformeur · Technologie](https://simulation-hypothesis.com/fr/trees/technology?n=transformer)[Agents génératifs · Simulations](https://simulation-hypothesis.com/fr/trees/simulations?n=min-park)[Indicateurs de conscience de l’IA · Éthique](https://simulation-hypothesis.com/fr/trees/ethics?n=c-butlin)[Prendre le bien-être de l’IA au sérieux · Éthique](https://simulation-hypothesis.com/fr/trees/ethics?n=c-long)

## Sources

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

Évaluez-le d’après les critères publiés