---
title: "大規模言語モデル・Artificial systems・エンティティ・シミュレーション仮説"
url: https://simulation-hypothesis.com/ja/entities/ai-llm
description: "非常に大きなテキストコーパスで次のトークンを予測するよう訓練され、その後、人間のフィードバックで調整されることが多いトランスフォーマー型ニューラルネットワーク。"
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl、シミュレーション仮説（simulation-hypothesis.com）"
---

[エンティティ](https://simulation-hypothesis.com/ja/entities) › 人工システム

# 大規模言語モデル

非常に大きなテキストコーパスで次のトークンを予測するよう訓練され、その後、人間のフィードバックで調整されることが多いトランスフォーマー型ニューラルネットワーク。

非常に大きなテキストコーパスで次のトークンを予測するよう訓練され、その後、人間のフィードバックで調整されることが多いトランスフォーマー型ニューラルネットワーク。コンテキスト全体に対して自己注意を使います。2020年のある論文は、1750億個のパラメーターという規模を報告しました。流暢な言語を生み出すので、人間らしい出力は、内面の経験を調べるテストとしては不十分です。

ツリーの中で

[トランスフォーマー・アーキテクチャ · 技術](https://simulation-hypothesis.com/ja/trees/technology?n=transformer)[ジェネレーティブ・エージェント · シミュレーション](https://simulation-hypothesis.com/ja/trees/simulations?n=min-park)[AIの意識の指標 · 倫理](https://simulation-hypothesis.com/ja/trees/ethics?n=c-butlin)[AIの福祉を真剣に受けとめる · 倫理](https://simulation-hypothesis.com/ja/trees/ethics?n=c-long)

## 出典

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

公表されている基準に照らして評価する