Entitäten › Künstliche Systeme

Große Sprachmodelle

Neuronale Transformer-Netze, trainiert darauf, das nächste Token in sehr großen Textsammlungen vorherzusagen, und danach oft mit menschlichem Feedback abgestimmt.

Neuronale Transformer-Netze, trainiert darauf, das nächste Token in sehr großen Textsammlungen vorherzusagen, und danach oft mit menschlichem Feedback abgestimmt. Sie nutzen Self-Attention über das gesamte Kontextfenster. Ein Aufsatz von 2020 berichtete von einer Größe von 175 Milliarden Parametern. Sie erzeugen flüssige Sprache, deshalb ist menschlich klingende Ausgabe ein schlechter Test für inneres Erleben.

Quellen

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Anhand der veröffentlichten Kriterien beurteilen