---
title: "Model bahasa besar · Artificial systems · Entitas · Hipotesis Simulasi"
url: https://simulation-hypothesis.com/id/entities/ai-llm
description: "Jaringan saraf Transformer yang dilatih memprediksi token berikutnya dalam korpus teks yang sangat besar, lalu sering disetel dengan umpan balik manusia."
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl, Hipotesis Simulasi (simulation-hypothesis.com)"
---

[Entitas](https://simulation-hypothesis.com/id/entities) › Sistem buatan

# Model bahasa besar

Jaringan saraf Transformer yang dilatih memprediksi token berikutnya dalam korpus teks yang sangat besar, lalu sering disetel dengan umpan balik manusia.

Jaringan saraf Transformer yang dilatih memprediksi token berikutnya dalam korpus teks yang sangat besar, lalu sering disetel dengan umpan balik manusia. Mereka memakai atensi-diri atas seluruh jendela konteks. Satu makalah 2020 melaporkan skala 175 miliar parameter. Mereka menghasilkan bahasa yang lancar, jadi keluaran yang terdengar manusiawi adalah uji yang buruk untuk pengalaman batin.

Dalam pohon-pohon

[Arsitektur Transformer · Teknologi](https://simulation-hypothesis.com/id/trees/technology?n=transformer)[Agen generatif · Simulasi](https://simulation-hypothesis.com/id/trees/simulations?n=min-park)[Indikator kesadaran AI · Etika](https://simulation-hypothesis.com/id/trees/ethics?n=c-butlin)[Taking AI welfare seriously · Etika](https://simulation-hypothesis.com/id/trees/ethics?n=c-long)

## Sumber

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

Nilai berdasarkan kriteria yang dipublikasikan