সত্তা › কৃত্রিম সিস্টেম
বৃহৎ ভাষা মডেল
ট্রান্সফর্মার নিউরাল নেটওয়ার্ক, যা অতি বৃহৎ পাঠ্য-সংকলনে পরবর্তী টোকেন অনুমান করতে প্রশিক্ষিত, পরে প্রায়ই মানুষের প্রতিক্রিয়া দিয়ে সুরবাঁধা।
ট্রান্সফর্মার নিউরাল নেটওয়ার্ক, যা অতি বৃহৎ পাঠ্য-সংকলনে পরবর্তী টোকেন অনুমান করতে প্রশিক্ষিত, পরে প্রায়ই মানুষের প্রতিক্রিয়া দিয়ে সুরবাঁধা। তারা পুরো প্রসঙ্গ-জানালা জুড়ে আত্ম-মনোযোগ ব্যবহার করে। 2020 সালের একটি প্রবন্ধে 175 বিলিয়ন প্যারামিটারের মাপের কথা জানানো হয়েছিল। তারা সাবলীল ভাষা তৈরি করে, তাই মানুষের মতো শোনানো ফল অন্তর্জীবন যাচাইয়ের একটি দুর্বল পরীক্ষা।
বৃক্ষগুলোতে
সূত্র
- Vaswani A et al. (2017). Attention is all you need. NeurIPS. arXiv:1706.03762.
- Brown TB et al. (2020). Language models are few-shot learners. NeurIPS 33. arXiv:2005.14165 (175B প্যারামিটার).