---
title: "Большие языковые модели · Artificial systems · Сущности · Гипотеза симуляции"
url: https://simulation-hypothesis.com/ru/entities/ai-llm
description: "Трансформерные нейронные сети, обученные предсказывать следующий токен в очень больших текстовых корпусах, а затем часто донастроенные по отзывам людей."
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl, Гипотеза симуляции (simulation-hypothesis.com)"
---

[Сущности](https://simulation-hypothesis.com/ru/entities) › Искусственные системы

# Большие языковые модели

Трансформерные нейронные сети, обученные предсказывать следующий токен в очень больших текстовых корпусах, а затем часто донастроенные по отзывам людей.

Трансформерные нейронные сети, обученные предсказывать следующий токен в очень больших текстовых корпусах, а затем часто донастроенные по отзывам людей. Они применяют самовнимание ко всему контекстному окну. В одной работе 2020 года сообщалось о масштабе в 175 миллиардов параметров. Они производят беглую речь, поэтому то, что ответ звучит как человеческий, — плохая проверка внутреннего опыта.

В деревьях

[Архитектура «трансформер» · Технология](https://simulation-hypothesis.com/ru/trees/technology?n=transformer)[Генеративные агенты · Симуляции](https://simulation-hypothesis.com/ru/trees/simulations?n=min-park)[Показатели осознанности ИИ · Этика](https://simulation-hypothesis.com/ru/trees/ethics?n=c-butlin)[Taking AI welfare seriously · Этика](https://simulation-hypothesis.com/ru/trees/ethics?n=c-long)

## Источники

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

Оцените это по опубликованным критериям