GPT-3

GPT-3 Algorithm (Generative Pre-trained Transformer 3)

เป็นอัลกอรีทึมโมเดลทางด้านภาษา ที่เรียกว่า an autoregression generative language model (โมเดลการสร้างภาษาด้วยสมการถดถอยแบบอัตโนมัติ) ที่พัฒนาขึ้นโดย OpenAI บริษัทวิจัยปัญญาประดิษฐ์ซึ่งมีสำนักงานใหญ่อยู่ในซาน ฟรานซิสโก

GPT-3 เป็นโมเดลทางภาษาในรุ่นที่ 3 พัฒนาต่อมาจาก GPT-2 สำหรับการเลียนแบบการใช้ภาษาของมนุษย์ ซึ่ง GPT-3 เป็นอัลกอริทึ่มที่สามารถสร้างประโยคที่สมบูรณ์ขึ้นมาได้ จากคำหรือคำสั่งที่ได้รับอินพุดเข้าไป (แม้ว่ายังเป็นภาษาอังกฤษเท่านั้น) ซึ่งจากการถูกนำไปใช้งานจริง พบว่า GPT-3 สร้างประโยคได้ทุกชนิด ทั้งการเขียนบทความ​เขียน การเขียนโปรแกรมโค๊ด การตอบคำถามเฉพาะทางซึ่งเคยต้องใช้ผู้เชียวชาญ เพราะข้อมูลชุดหนึ่งของการสร้าง GPT-3  มาจาก wikipedia, common crawl

GPT-3 มีตัวแปร (parameters) มากถึง 175 พันล้านตัวแปร ซึ่งมากกว่า GPT-2 ซึ่งมี 1.5 พันล้านตัวแปร,  Microsoft’s Turing NLG ซึ่งมี 17 พันล้านตัวแปร ทำให้ประโยคที่ถูกสร้างขึ้นโดย GPT-3 นั้นยากที่จะแยกออกได้ว่าเกิดจากคอมพิวเตอร์หรือว่ามนุษย์

GPT-3 เปิดแนะนำตัวอย่างเป็นทางการในเดือนพฤษภาคม 2020 แต่ว่าไม่ได้เปิดให้กับนักพัฒนาโปรแกรมตัวไปเข้าใช้งาน และมีเพียงแต่ Microsoft เท่านั้นที่ได้สิทธิในการเข้าถึงซอสโค๊ต