Varlıklar › Yapay sistemler

Büyük dil modelleri

Çok büyük metin derlemlerinde bir sonraki token’ı tahmin edecek biçimde eğitilen, sonra çoğunlukla insan geri bildirimiyle ayarlanan Transformer sinir ağları.

Çok büyük metin derlemlerinde bir sonraki token’ı tahmin edecek biçimde eğitilen, sonra çoğunlukla insan geri bildirimiyle ayarlanan Transformer sinir ağları. Bütün bağlam penceresi üzerinde öz dikkat kullanırlar. 2020’den bir makale, 175 milyar parametrelik bir ölçek bildirdi. Akıcı dil üretirler; bu yüzden insana benzer çıktı, iç deneyim için kötü bir testtir.

Kaynaklar

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Yayımlanmış ölçütlere göre değerlendirin