---
title: "대규모 언어 모델 · Artificial systems · 개체 · 시뮬레이션 가설"
url: https://simulation-hypothesis.com/ko/entities/ai-llm
description: "매우 큰 텍스트 말뭉치에서 다음 토큰을 예측하도록 훈련한 트랜스포머 신경망으로, 이후 사람의 피드백으로 조정하는 경우가 많아요."
license: https://creativecommons.org/licenses/by/4.0/
credit: "Ross Allan Dahl, 시뮬레이션 가설(simulation-hypothesis.com)"
---

[개체](https://simulation-hypothesis.com/ko/entities) › 인공 시스템

# 대규모 언어 모델

매우 큰 텍스트 말뭉치에서 다음 토큰을 예측하도록 훈련한 트랜스포머 신경망으로, 이후 사람의 피드백으로 조정하는 경우가 많아요.

매우 큰 텍스트 말뭉치에서 다음 토큰을 예측하도록 훈련한 트랜스포머 신경망으로, 이후 사람의 피드백으로 조정하는 경우가 많아요. 전체 컨텍스트 창에 걸쳐 셀프 어텐션을 써요. 2020년의 한 논문은 1750억 개의 매개변수 규모를 보고했어요. 유창한 언어를 만들어 내기 때문에, 사람처럼 들리는 출력은 내면 경험의 시험으로 적절하지 않아요.

트리에서

[트랜스포머 아키텍처 · 기술](https://simulation-hypothesis.com/ko/trees/technology?n=transformer)[생성 에이전트 · 시뮬레이션](https://simulation-hypothesis.com/ko/trees/simulations?n=min-park)[AI 인식의 지표 · 윤리](https://simulation-hypothesis.com/ko/trees/ethics?n=c-butlin)[Taking AI welfare seriously · 윤리](https://simulation-hypothesis.com/ko/trees/ethics?n=c-long)

## 출처

* Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
* Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33\. arXiv:2005.14165 (175B parameters).

공개된 기준에 비춰 평가하기