Entidades › Sistemas artificiais

Grandes modelos de linguagem

Redes neurais Transformer treinadas para prever o próximo token em corpora de texto muito grandes, e depois muitas vezes ajustadas com feedback humano.

Redes neurais Transformer treinadas para prever o próximo token em corpora de texto muito grandes, e depois muitas vezes ajustadas com feedback humano. Usam autoatenção sobre toda a janela de contexto. Um artigo de 2020 relatou uma escala de 175 bilhões de parâmetros. Produzem linguagem fluente, então uma saída com som humano é um mau teste de experiência interior.

Fontes

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Avalie-o segundo os critérios publicados