การฝึกโทเคไนเซอร์และการฝึกโมเดลใน NLP นั้นแตกต่างกันโดยพื้นฐาน แต่ก็มีความเชื่อมโยงกันอย่างลึกซึ้ง โดยการฝึกโทเคไนเซอร์จะสร้างคำศัพท์และกฎการเข้ารหัสที่ช่วยให้การฝึกโมเดลเรียนรู้รูปแบบภาษาจากข้อมูลตัวเลขได้
กระบวนการสร้างคำศัพท์ย่อยและเรียนรู้กฎการเข้ารหัสเพื่อแปลงข้อความให้เป็นโทเค็นตัวเลข
กระบวนการเพิ่มประสิทธิภาพโครงข่ายประสาทเทียม ซึ่งแบบจำลองภาษาเรียนรู้รูปแบบจากข้อมูลที่ถูกแบ่งเป็นโทเค็นผ่านวิธีการที่ใช้การไล่ระดับความชัน
| ฟีเจอร์ | การฝึกอบรมโทเคไนเซอร์ | การฝึกอบรมแบบจำลองใน NLP |
|---|---|---|
| เป้าหมายหลัก | สร้างคำศัพท์ย่อยและกฎการเข้ารหัส | เรียนรู้รูปแบบภาษาและการแสดงผลเฉพาะงาน |
| ข้อมูลป้อนเข้า | ชุดข้อมูลข้อความดิบ (มักมีขนาดหลายเทราไบต์ โดยไม่มีป้ายกำกับ) | ลำดับโทเค็นที่มีรหัสตัวเลข |
| วิธีการปรับให้เหมาะสม | การรวมข้อมูลตามความถี่แบบโลภ (BPE) หรือความน่าจะเป็นสูงสุด (SentencePiece) | การลดระดับความชันด้วยการแพร่ย้อนกลับ |
| ผลลัพธ์ที่ได้ | ไฟล์คำศัพท์และฟังก์ชันการเข้ารหัส/ถอดรหัส | น้ำหนักของโครงข่ายประสาทเทียมที่ได้รับการฝึกฝนและการกำหนดค่าสถาปัตยกรรม |
| ข้อกำหนดการคำนวณ | ค่อนข้างเรียบง่าย; ใช้เวลาหลายชั่วโมงกับเครื่องเดียว | มหาศาล; ใช้เวลาประมวลผล GPU/TPU หลายพันชั่วโมงสำหรับโมเดลขนาดใหญ่ |
| ความสามารถในการย้อนกลับ | สามารถย้อนกลับได้อย่างสมบูรณ์ สามารถสร้างข้อความขึ้นใหม่ได้อย่างแม่นยำจากโทเค็น | ไม่สามารถย้อนกลับได้ ผลลัพธ์ของแบบจำลองเป็นการคาดการณ์ ไม่ใช่การสร้างใหม่ |
| ระยะเวลาโดยทั่วไป | ใช้เวลาตั้งแต่ไม่กี่นาทีถึงหลายชั่วโมง ขึ้นอยู่กับขนาดของชุดข้อมูล | สำหรับแบบจำลองฐานรากนั้นใช้เวลาหลายวันถึงหลายเดือน |
| ความสัมพันธ์แบบพึ่งพา | ต้องดำเนินการให้เสร็จสิ้นก่อนเริ่มการฝึกอบรมแบบจำลอง | ขึ้นอยู่กับว่าโทเคไนเซอร์ได้รับการฝึกฝนและแก้ไขเรียบร้อยแล้วหรือไม่ |
การฝึกโทเคไนเซอร์ทำหน้าที่เป็นสะพานเชื่อมระหว่างภาษาของมนุษย์กับตัวเลขที่เครื่องอ่านได้ หน้าที่ของมันคือการตัดสินใจว่าคำต่างๆ จะถูกแบ่งออกอย่างไร ลำดับใดจะกลายเป็นโทเค็นพิเศษ และจะจัดการกับคำที่ไม่รู้จักอย่างไร ในทางกลับกัน การฝึกโมเดลคือส่วนที่การเรียนรู้เกิดขึ้นจริง—ซึ่งเครือข่ายประสาทเทียมจะค้นพบรูปแบบทางสถิติในภาษา สร้างการแสดงความหมาย และพัฒนาความสามารถในการสร้างหรือจำแนกข้อความ
อัลกอริทึมที่อยู่เบื้องหลังการฝึกโทเคไนเซอร์นั้นแตกต่างจากอัลกอริทึมที่ใช้ในการฝึกโมเดลอย่างน่าประหลาดใจ BPE เริ่มต้นด้วยไบต์แต่ละตัวและรวมคู่คำที่อยู่ติดกันที่พบบ่อยที่สุดเข้าด้วยกันซ้ำๆ จนกว่าจะถึงขนาดคำศัพท์ที่ต้องการ ส่วน SentencePiece มองปัญหาเป็นงานสร้างแบบจำลองภาษาโดยใช้อัลกอริทึม Expectation-Maximization ทั้งสองวิธีนี้ไม่ได้ใช้โครงข่ายประสาทเทียม การฝึกโมเดลใช้การปรับให้เหมาะสมที่สามารถหาอนุพันธ์ได้เท่านั้น โดยทั่วไปคือตัวปรับให้เหมาะสม Adam หรือ AdamW เพื่อนำทางในภูมิทัศน์การสูญเสียที่มีมิติสูง
ช่องว่างด้านประสิทธิภาพการประมวลผลระหว่างกระบวนการเหล่านี้ค่อนข้างมหาศาล การฝึกโทเคไนเซอร์ SentencePiece บนข้อความขนาด 100GB อาจใช้เวลาเพียงไม่กี่ชั่วโมงบนฮาร์ดแวร์มาตรฐาน แต่การฝึกโมเดลอย่าง Llama 3 บนชุดข้อมูลเดียวกันนั้น จำเป็นต้องใช้คลัสเตอร์ขนาดใหญ่ที่มีตัวเร่งความเร็วเชื่อมต่อกันหลายพันตัว และทำงานเป็นเวลาหลายสัปดาห์ ที่น่าสนใจคือ การฝึกโทเคไนเซอร์มักทำเพียงครั้งเดียวและนำกลับมาใช้ซ้ำในการฝึกโมเดลหลายครั้ง ทำให้เป็นต้นทุนที่ค่อนข้างคงที่ในกระบวนการพัฒนาโดยรวม
การเลือกใช้โทเค็นไลเซอร์ส่งผลต่อการเรียนรู้ของโมเดลอย่างละเอียดอ่อนแต่ทรงพลัง โทเค็นไลเซอร์ที่แบ่งคำว่า 'antidisestablishmentarianism' ออกเป็นหลายส่วนย่อย บังคับให้โมเดลต้องสร้างความหมายจากชิ้นส่วนเหล่านั้น ในขณะที่โทเค็นไลเซอร์ที่คงคำนั้นไว้ทั้งคำ จะมองว่ามันเป็นแนวคิดพื้นฐาน การเลือกโทเค็นไลเซอร์ที่ลำเอียงอาจส่งผลต่อความยุติธรรมด้วย ภาษาที่มีประสิทธิภาพในการแยกคำต่ำจะถูกบีบอัดเป็นลำดับที่ยาวขึ้น ทำให้โมเดลต้องใช้ต้นทุนในการประมวลผลสูงขึ้น และบางครั้งอาจนำไปสู่ประสิทธิภาพที่แย่ลง
ในทางปฏิบัติ การฝึกโทเคไนเซอร์มักเป็นการตัดสินใจเพียงครั้งเดียวในช่วงเริ่มต้นของโครงการ การเปลี่ยนโทเคไนเซอร์หลังจากฝึกโมเดลแล้วหมายถึงการฝึกใหม่ทั้งหมดตั้งแต่ต้น เนื่องจากรหัสโทเค็นนั้นไม่แน่นอน และการฝังข้อมูลของโมเดลนั้นผูกติดอยู่กับตำแหน่งโทเค็นเฉพาะ การฝึกโมเดลนั้นตรงกันข้าม เพราะเป็นกระบวนการที่ทำซ้ำได้สูง นักวิจัยทดลองกับสถาปัตยกรรม สูตรการฝึก และกลยุทธ์การปรับแต่งอย่างต่อเนื่อง ความไม่สมดุลนี้หมายความว่าการเลือกโทเคไนเซอร์ส่งผลกระทบในระยะยาวที่ยากต่อการแก้ไข
การฝึกฝนโทเคไนเซอร์เป็นเพียงขั้นตอนการประมวลผลเบื้องต้นเล็กน้อย ซึ่งมีผลกระทบต่อคุณภาพของโมเดลขั้นสุดท้ายเพียงเล็กน้อย
คุณภาพของตัวแยกคำ (tokenizer) มีผลโดยตรงต่อสิ่งที่แบบจำลองสามารถเรียนรู้ได้ การแยกคำที่ไม่ดีจะสร้างการแสดงผลที่ไม่ชัดเจน ทำให้ความยาวของลำดับเพิ่มขึ้น และอาจทำให้แบบจำลองเรียนรู้ปรากฏการณ์ทางภาษาบางอย่างได้ยากมาก นักวิจัยได้แสดงให้เห็นว่าการเลือกตัวแยกคำสามารถส่งผลต่อประสิทธิภาพการทดสอบได้หลายเปอร์เซ็นต์
คุณสามารถสลับตัวแยกโทเค็นได้หลังจากฝึกโมเดลเสร็จแล้ว โดยเพียงแค่แมปโทเค็นใหม่
การฝังข้อมูลของโมเดลนั้นเชื่อมโยงกับรหัสโทเค็นเฉพาะในตำแหน่งเฉพาะภายในพื้นที่พารามิเตอร์ที่เรียนรู้มา ตัวแยกโทเค็นที่แตกต่างกันจะสร้างการกระจายโทเค็นที่แตกต่างกันโดยสิ้นเชิง ทำให้ค่าถ่วงน้ำหนักที่ฝึกฝนไว้ล่วงหน้าไม่ตรงกันในเชิงความหมาย ทางออกเดียวที่เป็นไปได้คือการฝึกฝนใหม่ทั้งหมดตั้งแต่เริ่มต้น
คลังคำโทเค็นที่ใหญ่ขึ้นย่อมดีกว่าเสมอสำหรับประสิทธิภาพของโมเดล
แม้ว่าคำศัพท์ที่ใหญ่ขึ้นจะช่วยลดความยาวของลำดับ แต่ก็ทำให้ขนาดของเมทริกซ์ฝังตัวเพิ่มขึ้นและอาจส่งผลเสียต่อประสิทธิภาพของโมเดลได้ มีจุดที่เหมาะสมที่สุดอยู่ – ถ้าใหญ่เกินไป โมเดลจะใช้ประโยชน์จากโทเค็นที่หายากได้ไม่เต็มที่ ถ้าเล็กเกินไป ลำดับก็จะกระจัดกระจาย ผู้เชี่ยวชาญส่วนใหญ่พบว่าจำนวนโทเค็น 32,000–100,000 โทเค็นนั้นเหมาะสมที่สุดสำหรับโมเดลหลายภาษา
การฝึกโมเดลและการฝึกโทเคไนเซอร์เกิดขึ้นพร้อมกันในกระบวนการแบบครบวงจรเดียวกัน
นี่คือขั้นตอนที่แยกจากกันและต่อเนื่องกัน ตัวแยกคำต้องได้รับการฝึกฝนและตรึงไว้อย่างสมบูรณ์ก่อนที่การฝึกโมเดลจะเริ่มต้นขึ้น เนื่องจากสถาปัตยกรรมของโมเดลขึ้นอยู่กับขนาดของคำศัพท์สำหรับมิติของเลเยอร์ฝังตัว งานวิจัยล่าสุดบางส่วนได้สำรวจการเพิ่มประสิทธิภาพร่วมกัน แต่แนวปฏิบัติมาตรฐานยังคงเป็นแบบลำดับอย่างเคร่งครัด
โมเดลที่ฝึกฝนด้วยตัวแยกคำแบบหนึ่ง สามารถปรับแต่งเพิ่มเติมได้กับข้อความที่ถูกแยกคำด้วยวิธีอื่น
การปรับแต่งอย่างละเอียดจำเป็นต้องใช้การแบ่งคำแบบเดียวกัน การป้อนข้อมูลข้อความที่แบ่งคำแตกต่างกันจะทำให้โมเดลได้รับรหัสคำที่ไม่เคยเรียนรู้การฝังข้อมูลมาก่อน หรือแย่กว่านั้นคือ รหัสที่คุ้นเคยแต่มีความหมายผิดอย่างสิ้นเชิง นี่คือเหตุผลที่การเผยแพร่โมเดลทุกครั้งจะระบุอย่างชัดเจนว่าควรใช้ตัวแบ่งคำใด
การฝึกฝนโทเค็นไซเลอร์จำเป็นต้องใช้ข้อมูลที่มีป้ายกำกับ เช่นเดียวกับการฝึกฝนโมเดล
ตัวแยกคำ (Tokenizer) ฝึกฝนโดยใช้ข้อความดิบที่ไม่มีป้ายกำกับโดยสมบูรณ์ ไม่จำเป็นต้องมีคำอธิบายประกอบ แท็ก หรือการจัดรูปแบบเฉพาะงานใดๆ ลักษณะที่ไม่ต้องมีการกำกับดูแลนี้เองที่ทำให้สามารถฝึกฝนตัวแยกคำบนคลังข้อมูลขนาดใหญ่ระดับเว็บได้โดยไม่ต้องเสียค่าใช้จ่ายในการติดป้ายกำกับโดยมนุษย์
เลือกการฝึกฝนโทเคไนเซอร์เมื่อคุณต้องการประมวลผลข้อความล่วงหน้าสำหรับโดเมนภาษาใหม่ หรือเมื่อโทเคไนเซอร์ที่มีอยู่ไม่สามารถจัดการกับคำศัพท์เฉพาะของคุณได้อย่างดี ให้ความสำคัญกับการฝึกฝนโมเดลเมื่อเป้าหมายของคุณคือการสร้างระบบภาษาที่มีประสิทธิภาพ และนำโทเคไนเซอร์ที่มีอยู่แล้วมาใช้ซ้ำ เช่น โทเคไนเซอร์จาก GPT-2, BERT หรือ Llama เว้นแต่คุณจะมีหลักฐานที่น่าเชื่อถือสำหรับการสร้างโทเคไนเซอร์แบบกำหนดเอง
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
