---
title: "Grandes modelos de linguagem · Artificial systems · Entidades · Hipótese da simulação"
url: https://simulation-hypothesis.com/pt/entities/ai-llm
description: "Redes neurais Transformer treinadas para prever o próximo token em corpora de texto muito grandes, e depois muitas vezes ajustadas com feedback humano."
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl, Hipótese da simulação (simulation-hypothesis.com)"
---

[Entidades](https://simulation-hypothesis.com/pt/entities) › Sistemas artificiais

# Grandes modelos de linguagem

Redes neurais Transformer treinadas para prever o próximo token em corpora de texto muito grandes, e depois muitas vezes ajustadas com feedback humano.

Redes neurais Transformer treinadas para prever o próximo token em corpora de texto muito grandes, e depois muitas vezes ajustadas com feedback humano. Usam autoatenção sobre toda a janela de contexto. Um artigo de 2020 relatou uma escala de 175 bilhões de parâmetros. Produzem linguagem fluente, então uma saída com som humano é um mau teste de experiência interior.

Nas árvores

[Arquitetura Transformer · Tecnologia](https://simulation-hypothesis.com/pt/trees/technology?n=transformer)[Agentes generativos · Simulações](https://simulation-hypothesis.com/pt/trees/simulations?n=min-park)[Indicadores de consciência da IA · Ética](https://simulation-hypothesis.com/pt/trees/ethics?n=c-butlin)[Levar a sério o bem-estar da IA · Ética](https://simulation-hypothesis.com/pt/trees/ethics?n=c-long)

## Fontes

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

Avalie-o segundo os critérios publicados