Entidades › Sistemas artificiales

Grandes modelos de lenguaje

Redes neuronales transformer entrenadas para predecir el siguiente token en corpus de texto muy grandes, y luego a menudo ajustadas con retroalimentación humana.

Redes neuronales transformer entrenadas para predecir el siguiente token en corpus de texto muy grandes, y luego a menudo ajustadas con retroalimentación humana. Usan autoatención sobre toda la ventana de contexto. Un artículo de 2020 informó de una escala de 175 mil millones de parámetros. Producen un lenguaje fluido, así que una salida que suena humana es una mala prueba de experiencia interior.

Fuentes

• Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
• Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B parameters).

Evalúalo con los criterios publicados