การแบ่งคำย่อยจะแบ่งข้อความออกเป็นหน่วยย่อย เช่น ตัวอักษรหรือลำดับตัวอักษร ในขณะที่การแบ่งคำระดับคำจะแบ่งข้อความตามขอบเขตของช่องว่างและเครื่องหมายวรรคตอน ทั้งสองวิธีนี้เป็นหัวใจสำคัญของระบบ NLP สมัยใหม่ แต่จัดการกับขนาดของคำศัพท์ คำที่ไม่รู้จัก และความซับซ้อนทางสัณฐานวิทยาแตกต่างกันมาก
แบ่งข้อความออกเป็นหน่วยย่อยที่มีความยาวแปรผันได้ ซึ่งเล็กกว่าคำ เช่น โทเค็น Byte Pair Encoding หรือส่วน WordPiece
แบ่งข้อความตามขอบเขตคำโดยใช้ช่องว่างและเครื่องหมายวรรคตอน โดยถือว่าแต่ละคำที่แตกต่างกันเป็นโทเค็นเดียว
| ฟีเจอร์ | การแยกคำย่อย | การแยกคำระดับคำ |
|---|---|---|
| ขนาดคำศัพท์ | โทเค็น 8,000–100,000 โทเค็น | โดยทั่วไปจะมีโทเค็นมากกว่า 100,000 โทเค็น |
| การจัดการกับคำศัพท์ที่ไม่คุ้นเคย | แยกย่อยออกเป็นคำย่อยที่ทราบแล้ว | แผนที่ไปยังโทเค็น UNK ทำให้ข้อมูลสูญหาย |
| ภาษาที่มีโครงสร้างทางสัณฐานวิทยาที่ซับซ้อน | ช่วยจัดการการจับตัวเป็นก้อนและการผสมสารตามธรรมชาติ | ประสบปัญหาในการพัฒนาคำศัพท์อย่างรวดเร็ว |
| ประสิทธิภาพของข้อมูลการฝึกอบรม | เรียนรู้จากความคล้ายคลึงกันของคำย่อยในคำต่างๆ | ต้องใช้คลังข้อมูลขนาดใหญ่เพื่อครอบคลุมคำศัพท์ที่หายาก |
| ค่าใช้จ่ายในการคำนวณ | การเข้ารหัสและการถอดรหัสที่ซับซ้อนยิ่งขึ้น | การแยกคำที่ง่ายและรวดเร็วยิ่งขึ้น |
| ระดับความละเอียดของการแสดงผล | จับความหมายในระดับหน่วยคำ | ทำงานโดยใช้หลักความหมายของคำทั้งคำ |
| ตัวอย่างการใช้งานทั่วไป | การแปลภาษาด้วยเครื่องจักรโดยใช้โครงข่ายประสาทเทียม, โมเดลภาษาขนาดใหญ่ | ตัวจำแนกประเภทแบบง่าย การสกัดคำหลัก ระบบเดิม |
วิธีการแบบใช้คำย่อยมีประสิทธิภาพเมื่อการเติบโตของคำศัพท์กลายเป็นสิ่งที่จัดการได้ยาก โดยการแยกคำออกเป็นชิ้นส่วนที่นำกลับมาใช้ใหม่ได้ โมเดลสามารถแทนคำว่า 'เดิน' 'เดินแล้ว' 'กำลังเดิน' และ 'คนเดิน' ผ่านหน่วยย่อยที่ใช้ร่วมกัน แทนที่จะใช้รายการอิสระสี่รายการ ระบบระดับคำเผชิญกับการระเบิดของจำนวนการรวมกันในแต่ละรูปแบบทางสัณฐานวิทยา ทำให้ต้องมีคำศัพท์ขนาดใหญ่มากจนทำให้หน่วยความจำทำงานหนัก หรือต้องตัดแต่งอย่างรุนแรงจนทำให้ความครอบคลุมลดลง
เมื่อพบคำศัพท์ใหม่ เช่น 'Covfefe' หรือคำศัพท์ทางเทคนิคใหม่ๆ ตัวแยกคำย่อยจะแยกคำนั้นออกเป็นส่วนย่อยที่พอจะเข้าใจได้ ซึ่งแต่ละส่วนก็มีความหมายเพียงบางส่วน ในขณะที่ตัวแยกคำระดับคำจะแค่แสดงข้อความว่า UNK โดยถือว่าชื่อโรคหายากนั้นเหมือนกับคำที่พิมพ์ผิด ช่องว่างนี้กลายเป็นปัญหาสำคัญในสาขาต่างๆ เช่น การแพทย์หรือกฎหมาย ที่มีคำศัพท์เฉพาะทางมากมาย แต่กลับปรากฏไม่บ่อยนักในข้อมูลฝึกฝน
แต่ละภาษามีวิธีการสร้างความหมายที่แตกต่างกัน และวิธีการแยกคำย่อยสามารถปรับตัวให้เข้ากับความหลากหลายนี้ได้ดีกว่า คำนามประสมที่ยาวมากในภาษาเยอรมัน การผสมผสานรากศัพท์และรูปแบบต่างๆ ในภาษาอาหรับ และระบบการเขียนแบบผสมผสานในภาษาญี่ปุ่น ล้วนเป็นความท้าทายต่อสมมติฐานในระดับคำ การแยกคำย่อยไม่ได้ขจัดความท้าทายเหล่านี้ แต่ให้กรอบการทำงานที่เป็นมาตรฐานมากขึ้น ซึ่งต้องการการปรับแต่งเฉพาะภาษาลดลง
ความเรียบง่ายมีความสำคัญในสภาพแวดล้อมการผลิต การแยกคำเป็นโทเค็นระดับคำต้องการการประมวลผลล่วงหน้าน้อยที่สุดและแมปไปยังการค้นหาฝังตัวได้อย่างแม่นยำ วิธีการแยกคำย่อยทำให้เกิดความซับซ้อนในการเข้ารหัส ลำดับที่ยาวขึ้นสำหรับข้อความเดียวกัน และความจำเป็นในการสร้างคำดั้งเดิมขึ้นใหม่จากส่วนที่ขาดหายไป สำหรับแอปพลิเคชันที่มีปริมาณงานสูงและมีขอบเขตคำศัพท์จำกัด ค่าใช้จ่ายเพิ่มเติมเหล่านี้อาจไม่คุ้มค่ากับประโยชน์ที่ได้รับ
การมองคำว่า 'king' เป็นโทเค็นเดียว แทนที่จะเป็น ['k', 'ing'] หรือ ['kin', 'g'] นั้นให้ความรู้สึกพึงพอใจโดยสัญชาตญาณ ขอบเขตระดับคำสอดคล้องกับวิธีที่มนุษย์รับรู้ภาษา ทำให้การวิเคราะห์ข้อผิดพลาดตรงไปตรงมามากขึ้น อย่างไรก็ตาม ผลลัพธ์ระดับคำย่อยอาจทำให้แม้แต่ผู้เชี่ยวชาญสับสนได้ เมื่อการแยกคำเกิดขึ้นในตำแหน่งที่ไม่คาดคิด แม้ว่าเครื่องมือสำหรับการแสดงภาพจะได้รับการพัฒนาอย่างมากแล้วก็ตาม
การแยกคำย่อยก็คือการแยกคำระดับตัวอักษรที่มีขั้นตอนเพิ่มเติมเท่านั้นเอง
แม้ว่าทั้งสองวิธีจะทำงานในระดับต่ำกว่าคำ แต่เมธอดระดับย่อยของคำ เช่น BPE และ WordPiece จะระบุหน่วยที่มีความหมายทางสถิติ ซึ่งมักจะสอดคล้องกับหน่วยคำย่อยหรือพยางค์ การแยกคำโดยใช้ตัวอักษรจะถือว่า 'th' และ 'ing' เป็นลำดับที่กำหนดขึ้นเอง ในขณะที่เมธอดระดับย่อยของคำจะเรียนรู้สิ่งเหล่านี้ในฐานะหน่วยการทำงานผ่านการวิเคราะห์คลังข้อมูล
การแยกคำในระดับคำนั้นล้าสมัยแล้วและไม่ควรนำมาใช้
ระบบการผลิตจำนวนมากยังคงใช้แนวทางระดับคำ โดยเฉพาะอย่างยิ่งในโดเมนแคบๆ ที่มีคำศัพท์ควบคุม เช่น การเข้ารหัสทางการแพทย์ หรือการจำแนกประเภททางกฎหมาย ข้อดีด้านความเรียบง่ายและความเร็ว ยังคงมีความสำคัญเมื่อขอบเขตของปัญหาไม่ต้องการความยืดหยุ่นของวิธีการระดับย่อยคำ
การแยกคำย่อยออกเป็นโทเค็นช่วยแก้ปัญหาคำที่ไม่ตรงกับคำศัพท์ได้อย่างสมบูรณ์
วิธีการค้นหาคำที่ไม่รู้จัก (OOV) ในระดับย่อยช่วยลดปัญหาได้ แต่ไม่ได้ขจัดปัญหาทั้งหมด ชื่อที่หายากมาก การผสมผสานอีโมจิแปลกใหม่ หรือการสะกดคำที่ไม่เหมือนใคร อาจยังคงแตกออกเป็นชิ้นส่วนที่ไม่มีความหมาย การปรับปรุงนั้นดีขึ้นอย่างมากเมื่อเทียบกับวิธีการค้นหาในระดับคำ แต่การครอบคลุมที่สมบูรณ์แบบยังคงเป็นสิ่งที่ยากจะบรรลุ
โมเดล NLP สมัยใหม่ทั้งหมดใช้ขั้นตอนวิธีคำย่อยแบบเดียวกัน
วิธีการสร้างโทเค็นแบบต่างๆ ประกอบด้วย BPE, WordPiece, SentencePiece, Unigram tokenization และวิธีการใหม่ๆ เช่น BPE-dropout แต่ละวิธีมีข้อดีข้อเสียที่แตกต่างกันระหว่างขนาดของคำศัพท์ ความยาวของลำดับ และความสมเหตุสมผลทางภาษาศาสตร์ โดยทั่วไปแล้วโมเดล GPT จะใช้ BPE, BERT ใช้ WordPiece และ T5 ใช้ SentencePiece
การเลือกวิธีการแบ่งโทเค็นมีผลกระทบต่อประสิทธิภาพของโมเดลน้อยมาก
การแบ่งคำเป็นโทเค็นส่งผลโดยตรงต่อสิ่งที่โมเดลสามารถเรียนรู้ ประสิทธิภาพในการฝึกฝน และความสามารถในการสรุปผลของโมเดล การแบ่งคำเป็นโทเค็นที่ไม่ดีอาจทำให้แนวคิดที่เกี่ยวข้องกันแตกแยกหรือทำให้ความหมายที่แตกต่างกันปะปนกัน ส่งผลให้เกิดข้อจำกัดในการแสดงผลขั้นพื้นฐานที่ความสามารถของโมเดลไม่สามารถเอาชนะได้อย่างสมบูรณ์
เลือกใช้การแบ่งคำย่อยสำหรับสถาปัตยกรรมโครงข่ายประสาทเทียมสมัยใหม่ แอปพลิเคชันหลายภาษา และโดเมนที่มีคำศัพท์เปลี่ยนแปลงอยู่ตลอดเวลา ส่วนระบบเก่า สภาพแวดล้อมที่มีทรัพยากรจำกัด หรือปัญหาที่คำศัพท์มีขอบเขตจำกัดตามธรรมชาติและการตีความมีความสำคัญที่สุด ควรใช้วิธีการแบ่งคำระดับคำ
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
