አካላት › ሰው ሠራሽ ሥርዓቶች

ትልልቅ የቋንቋ ሞዴሎች

በጣም ትልልቅ የጽሑፍ ስብስቦች ውስጥ ቀጣዩን ቶከን ለመተንበይ የሰለጠኑ የትራንስፎርመር የነርቭ መረቦች፣ ከዚያ ብዙ ጊዜ በሰው ግብረ መልስ የተስተካከሉ።

በጣም ትልልቅ የጽሑፍ ስብስቦች ውስጥ ቀጣዩን ቶከን ለመተንበይ የሰለጠኑ የትራንስፎርመር የነርቭ መረቦች፣ ከዚያ ብዙ ጊዜ በሰው ግብረ መልስ የተስተካከሉ። በመላው የአውድ መስኮት ላይ ራስ-ትኩረት (self-attention) ይጠቀማሉ። አንድ የ2020 ጽሑፍ የ175 ቢሊዮን ፓራሜትሮች መጠን ዘገበ። አቀላጥፎ ቋንቋ ያመርታሉ፤ ስለዚህ ሰው የሚመስል ውጤት የውስጣዊ ልምድ ደካማ ፈተና ነው።

በዛፎቹ ውስጥ

ትራንስፎርመር አርክቴክቸር · ቴክኖሎጂ አመንጪ ወኪሎች · ማስመሰሎች የAI ግንዛቤ አመልካቾች · ሥነ ምግባር የAI ደኅንነትን በቁም ነገር መውሰድ · ሥነ ምግባር

ምንጮች

Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B ፓራሜትሮች).