Сущности › Искусственные системы

Большие языковые модели

Трансформерные нейронные сети, обученные предсказывать следующий токен в очень больших текстовых корпусах, а затем часто донастроенные по отзывам людей.

Трансформерные нейронные сети, обученные предсказывать следующий токен в очень больших текстовых корпусах, а затем часто донастроенные по отзывам людей. Они применяют самовнимание ко всему контекстному окну. В одной работе 2020 года сообщалось о масштабе в 175 миллиардов параметров. Они производят беглую речь, поэтому то, что ответ звучит как человеческий, — плохая проверка внутреннего опыта.

Источники

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Оцените это по опубликованным критериям