Entitas › Sistem buatan

Model bahasa besar

Jaringan saraf Transformer yang dilatih memprediksi token berikutnya dalam korpus teks yang sangat besar, lalu sering disetel dengan umpan balik manusia.

Jaringan saraf Transformer yang dilatih memprediksi token berikutnya dalam korpus teks yang sangat besar, lalu sering disetel dengan umpan balik manusia. Mereka memakai atensi-diri atas seluruh jendela konteks. Satu makalah 2020 melaporkan skala 175 miliar parameter. Mereka menghasilkan bahasa yang lancar, jadi keluaran yang terdengar manusiawi adalah uji yang buruk untuk pengalaman batin.

Sumber

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Nilai berdasarkan kriteria yang dipublikasikan