موجودیت‌ها › سامانه‌های مصنوعی
مدل‌های زبانی بزرگ
شبکه‌های عصبی ترنسفورمر که برای پیش‌بینی توکن بعدی در پیکره‌های متنی بسیار بزرگ آموزش دیده‌اند، و اغلب سپس با بازخورد انسانی تنظیم می‌شوند.
شبکه‌های عصبی ترنسفورمر که برای پیش‌بینی توکن بعدی در پیکره‌های متنی بسیار بزرگ آموزش دیده‌اند، و اغلب سپس با بازخورد انسانی تنظیم می‌شوند. روی کل پنجرهٔ زمینه از خودتوجهی استفاده می‌کنند. یک مقالهٔ 2020 مقیاس 175 میلیارد پارامتر را گزارش کرد. زبانی روان تولید می‌کنند، پس خروجی انسان‌مانند آزمون ضعیفی برای زندگی درونی است.
در درخت‌ها
منابع
- Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
- Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).