الكيانات › أنظمة اصطناعية

النماذج اللغوية الكبيرة

شبكات عصبية من نوع المحوّل (Transformer) تُدرَّب على توقّع الرمز التالي في مدونات نصية ضخمة جدًا، ثم تُضبط غالبًا بتغذية راجعة بشرية.

شبكات عصبية من نوع المحوّل (Transformer) تُدرَّب على توقّع الرمز التالي في مدونات نصية ضخمة جدًا، ثم تُضبط غالبًا بتغذية راجعة بشرية. وتستخدم الانتباه الذاتي على نافذة السياق كلها. وأفادت ورقة من عام 2020 بحجم 175 مليار معلمة. وهي تنتج لغة سلسة، ولذلك فالمخرجات التي تبدو بشرية اختبار ضعيف للتجربة الداخلية.

في الأشجار

بنية المحوّل (Transformer) · التقنية وكلاء توليديون · المحاكيات مؤشرات وعي الذكاء الاصطناعي · الأخلاق Taking AI welfare seriously · الأخلاق

المصادر

Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).