Thực thể › Hệ thống nhân tạo

Mô hình ngôn ngữ lớn

Các mạng nơ-ron Transformer được huấn luyện để dự đoán token tiếp theo trong các kho văn bản rất lớn, rồi thường được tinh chỉnh theo phản hồi của con người.

Các mạng nơ-ron Transformer được huấn luyện để dự đoán token tiếp theo trong các kho văn bản rất lớn, rồi thường được tinh chỉnh theo phản hồi của con người. Chúng dùng tự chú ý trên toàn bộ cửa sổ ngữ cảnh. Một bài báo năm 2020 báo cáo quy mô 175 tỷ tham số. Chúng tạo ra ngôn ngữ trôi chảy, nên đầu ra nghe giống con người là một phép thử kém cho đời sống nội tâm.

Nguồn

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Đánh giá nó theo các tiêu chí đã công bố