实体 › 人工系统

大语言模型

在非常大的文本语料上训练、用来预测下一个词元的 Transformer 神经网络，之后往往还要根据人类反馈做调整。

在非常大的文本语料上训练、用来预测下一个词元的 Transformer 神经网络，之后往往还要根据人类反馈做调整。它们在整个上下文窗口上使用自注意力。2020 年的一篇论文报告的规模为 1750亿个参数。它们能生成流畅的语言，所以听起来像人的输出，并不是检验内心体验的好办法。

来源

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

对照已发表的标准来评估它