Entités › Systèmes artificiels

Grands modèles de langage

Réseaux de neurones de type transformeur, entraînés à prédire le jeton suivant dans de très grands corpus de textes, puis souvent ajustés à partir de retours humains.

Réseaux de neurones de type transformeur, entraînés à prédire le jeton suivant dans de très grands corpus de textes, puis souvent ajustés à partir de retours humains. Ils utilisent l’auto-attention sur toute la fenêtre de contexte. Un article de 2020 a rapporté une échelle de 175 milliards de paramètres. Ils produisent un langage fluide : un texte à la tournure humaine est donc un mauvais test de l’expérience intérieure.

Sources

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Évaluez-le d’après les critères publiés