---
title: "Mô hình ngôn ngữ lớn · Artificial systems · Thực thể · Giả thuyết mô phỏng"
url: https://simulation-hypothesis.com/vi/entities/ai-llm
description: "Các mạng nơ-ron Transformer được huấn luyện để dự đoán token tiếp theo trong các kho văn bản rất lớn, rồi thường được tinh chỉnh theo phản hồi của con người."
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl, Giả thuyết mô phỏng (simulation-hypothesis.com)"
---

[Thực thể](https://simulation-hypothesis.com/vi/entities) › Hệ thống nhân tạo

# Mô hình ngôn ngữ lớn

Các mạng nơ-ron Transformer được huấn luyện để dự đoán token tiếp theo trong các kho văn bản rất lớn, rồi thường được tinh chỉnh theo phản hồi của con người.

Các mạng nơ-ron Transformer được huấn luyện để dự đoán token tiếp theo trong các kho văn bản rất lớn, rồi thường được tinh chỉnh theo phản hồi của con người. Chúng dùng tự chú ý trên toàn bộ cửa sổ ngữ cảnh. Một bài báo năm 2020 báo cáo quy mô 175 tỷ tham số. Chúng tạo ra ngôn ngữ trôi chảy, nên đầu ra nghe giống con người là một phép thử kém cho đời sống nội tâm.

Trong các cây

[Kiến trúc Transformer · Công nghệ](https://simulation-hypothesis.com/vi/trees/technology?n=transformer)[Tác nhân sinh tạo · Mô phỏng](https://simulation-hypothesis.com/vi/trees/simulations?n=min-park)[Các chỉ báo về nhận thức của AI · Đạo đức](https://simulation-hypothesis.com/vi/trees/ethics?n=c-butlin)[Taking AI welfare seriously · Đạo đức](https://simulation-hypothesis.com/vi/trees/ethics?n=c-long)

## Nguồn

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

Đánh giá nó theo các tiêu chí đã công bố