エンティティ › 人工システム
大規模言語モデル
非常に大きなテキストコーパスで次のトークンを予測するよう訓練され、その後、人間のフィードバックで調整されることが多いトランスフォーマー型ニューラルネットワーク。
非常に大きなテキストコーパスで次のトークンを予測するよう訓練され、その後、人間のフィードバックで調整されることが多いトランスフォーマー型ニューラルネットワーク。コンテキスト全体に対して自己注意を使います。2020年のある論文は、1750億個のパラメーターという規模を報告しました。流暢な言語を生み出すので、人間らしい出力は、内面の経験を調べるテストとしては不十分です。
出典
- Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
- Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).