---
title: "大语言模型 · Artificial systems · 实体 · 模拟假说"
url: https://simulation-hypothesis.com/zh/entities/ai-llm
description: "在非常大的文本语料上训练、用来预测下一个词元的 Transformer 神经网络，之后往往还要根据人类反馈做调整。"
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl，模拟假说（simulation-hypothesis.com）"
---

[实体](https://simulation-hypothesis.com/zh/entities) › 人工系统

# 大语言模型

在非常大的文本语料上训练、用来预测下一个词元的 Transformer 神经网络，之后往往还要根据人类反馈做调整。

在非常大的文本语料上训练、用来预测下一个词元的 Transformer 神经网络，之后往往还要根据人类反馈做调整。它们在整个上下文窗口上使用自注意力。2020 年的一篇论文报告的规模为 1750亿个参数。它们能生成流畅的语言，所以听起来像人的输出，并不是检验内心体验的好办法。

在各棵树中

[Transformer 架构 · 技术](https://simulation-hypothesis.com/zh/trees/technology?n=transformer)[生成式智能体 · 模拟](https://simulation-hypothesis.com/zh/trees/simulations?n=min-park)[人工智能意识的指标 · 伦理](https://simulation-hypothesis.com/zh/trees/ethics?n=c-butlin)[认真对待人工智能的福祉 · 伦理](https://simulation-hypothesis.com/zh/trees/ethics?n=c-long)

## 来源

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

对照已发表的标准来评估它