Mga Entidad › Mga artipisyal na sistema

Mga large language model

Mga transformer neural network na sinanay para hulaan ang susunod na token sa napakalalaking koleksyon ng teksto, saka madalas na inaayos gamit ang feedback ng tao.

Mga transformer neural network na sinanay para hulaan ang susunod na token sa napakalalaking koleksyon ng teksto, saka madalas na inaayos gamit ang feedback ng tao. Gumagamit sila ng self-attention sa buong context window. Isang papel noong 2020 ang nag-ulat ng sukat na 175 bilyong parameter. Nakalilikha sila ng matatas na wika, kaya mahinang pagsubok ng panloob na karanasan ang tunog-taong output.

Mga pinagmulan

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Suriin ito laban sa mga nailathalang pamantayan