개체 › 인공 시스템
대규모 언어 모델
매우 큰 텍스트 말뭉치에서 다음 토큰을 예측하도록 훈련한 트랜스포머 신경망으로, 이후 사람의 피드백으로 조정하는 경우가 많아요.
매우 큰 텍스트 말뭉치에서 다음 토큰을 예측하도록 훈련한 트랜스포머 신경망으로, 이후 사람의 피드백으로 조정하는 경우가 많아요. 전체 컨텍스트 창에 걸쳐 셀프 어텐션을 써요. 2020년의 한 논문은 1750억 개의 매개변수 규모를 보고했어요. 유창한 언어를 만들어 내기 때문에, 사람처럼 들리는 출력은 내면 경험의 시험으로 적절하지 않아요.
출처
- Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
- Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).