Viumbe › Mifumo bandia

Modeli kubwa za lugha

Mitandao ya neva ya Transformer iliyofunzwa kutabiri tokeni inayofuata katika mkusanyiko mkubwa sana wa maandishi, kisha mara nyingi hurekebishwa kwa maoni ya binadamu.

Mitandao ya neva ya Transformer iliyofunzwa kutabiri tokeni inayofuata katika mkusanyiko mkubwa sana wa maandishi, kisha mara nyingi hurekebishwa kwa maoni ya binadamu. Hutumia umakini-binafsi juu ya dirisha zima la muktadha. Makala moja ya 2020 iliripoti ukubwa wa vigezo bilioni 175. Hutoa lugha fasaha, kwa hiyo matokeo yanayosikika ya kibinadamu ni jaribio hafifu la uzoefu wa ndani.

Katika miti

Muundo wa Transformer · Teknolojia Mawakala wa kizalishi · Uigaji Viashiria vya ufahamu wa AI · Maadili Taking AI welfare seriously · Maadili

Vyanzo

Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).