การให้บริการแบบหลายโมเดล (Multi-model serving) คือการเรียกใช้โมเดล AI หลายตัวบนโครงสร้างพื้นฐานร่วมกัน เพื่อเพิ่มประสิทธิภาพการใช้ทรัพยากรและลดต้นทุน ในขณะที่การให้บริการแบบโมเดลเดียว (Single-model serving) จะจัดสรรทรัพยากรให้กับโมเดลเดียวเพื่อให้ได้ประสิทธิภาพสูงสุด การเลือกที่เหมาะสมขึ้นอยู่กับรูปแบบการรับส่งข้อมูล ความต้องการด้านความหน่วง และความซับซ้อนในการดำเนินงาน
แนวทางการใช้งานที่โมเดล AI หลายตัวใช้ฮาร์ดแวร์และโครงสร้างพื้นฐานการให้บริการเดียวกัน โดยโหลดโมเดลแบบไดนามิกเมื่อมีการร้องขอเข้ามา
กลยุทธ์การใช้งานที่โมเดล AI หนึ่งตัวทำงานบนโครงสร้างพื้นฐานเฉพาะ ซึ่งได้รับการปรับให้เหมาะสมเพื่อประสิทธิภาพที่สม่ำเสมอและความหน่วงที่คาดการณ์ได้
| ฟีเจอร์ | การให้บริการหลายรูปแบบ | การให้บริการโมเดลเดียว |
|---|---|---|
| การใช้ทรัพยากร | ใช้ร่วมกันได้ในหลายรุ่น มีประสิทธิภาพสูง | ออกแบบมาสำหรับโมเดลเดียวโดยเฉพาะ ซึ่งมักถูกใช้งานไม่เต็มที่ |
| ต้นทุนโครงสร้างพื้นฐาน | ลดลงเนื่องจากการควบรวมกิจการ | ราคาสูงขึ้นเนื่องจากแต่ละรุ่นใช้ฮาร์ดแวร์เฉพาะ |
| ความสม่ำเสมอของเวลาแฝง | ผันผวน อาจพุ่งสูงขึ้นระหว่างการเปลี่ยนรุ่น | มีความสม่ำเสมอและคาดการณ์ได้สูง |
| ความซับซ้อนในการดำเนินงาน | ระดับที่สูงขึ้น จำเป็นต้องใช้เครื่องมือจัดการกระบวนการทำงาน | การติดตั้งที่ง่ายและไม่ซับซ้อน |
| ความสามารถในการปรับขนาด | ขยายขนาดโดยการเพิ่มโมเดล ไม่ใช่ฮาร์ดแวร์ | ปรับขนาดได้โดยการเพิ่มจำนวนอินสแตนซ์ต่อโมเดล |
| ความเสี่ยงในการสตาร์ทเครื่องยนต์ในสภาพอากาศเย็น | แสดงผลหากโมเดลไม่ได้ถูกโหลดไว้ล่วงหน้า | น้อยที่สุด เนื่องจากโมเดลยังคงอยู่ในหน่วยความจำ |
| กรณีการใช้งานที่ดีที่สุด | กลุ่มผลิตภัณฑ์ที่หลากหลาย รูปแบบการทำงานที่คำนึงถึงต้นทุน | โมเดลเดียวที่มีปริมาณการใช้งานสูง และต้องการ SLA ที่เข้มงวด |
| การจัดการหน่วยความจำ GPU | จำเป็นต้องมีการโหลดและขนถ่ายแบบไดนามิก | โมเดลนี้ใช้งานอยู่ตลอดเวลา ไม่สามารถสลับเปลี่ยนได้ |
การให้บริการแบบหลายโมเดล (Multi-model serving) มีประสิทธิภาพโดดเด่นเมื่อคุณมีโมเดลหลายรุ่นที่มีปริมาณการใช้งานแตกต่างกัน แทนที่จะจัดสรร GPU แยกต่างหากสำหรับแต่ละโมเดล คุณสามารถรวมทรัพยากรและโหลดโมเดลตามความต้องการ ซึ่งสามารถลดกำลังการผลิตที่ไม่ได้ใช้งานได้อย่างมาก ในทางตรงกันข้าม การให้บริการแบบโมเดลเดียว (Single-model serving) มักทำให้ฮาร์ดแวร์ราคาแพงไม่ได้ใช้งานในช่วงที่มีปริมาณการใช้งานต่ำ ทำให้ยากที่จะหาเหตุผลในการลงทุน เว้นแต่คุณจะใช้งานในปริมาณมากในระบบการผลิต
หากแอปพลิเคชันของคุณต้องการเวลาตอบสนองต่ำกว่า 100 มิลลิวินาทีโดยไม่มีความคลาดเคลื่อน การใช้โมเดลเดียวในการให้บริการจะเป็นทางเลือกที่ปลอดภัยกว่า เนื่องจากโมเดลจะถูกเก็บไว้ในหน่วยความจำ GPU อย่างถาวร ดังนั้นทุกคำขอจึงเข้าถึงแคชที่พร้อมใช้งาน การตั้งค่าแบบหลายโมเดลอาจทำให้เกิดความหน่วงเพิ่มขึ้นเมื่อจำเป็นต้องสลับโมเดลเข้ามาใช้งาน แม้ว่าเทคนิคต่างๆ เช่น การตรึงโมเดลและการโหลดล่วงหน้าแบบคาดการณ์จะช่วยลดช่องว่างนี้ได้อย่างมากก็ตาม
การใช้งานโมเดลเดียวเป็นเรื่องง่ายในเชิงปฏิบัติการ: การปรับใช้เพียงครั้งเดียว ชุดเมตริกเพียงชุดเดียว และนโยบายการปรับขนาดเพียงนโยบายเดียว การให้บริการหลายโมเดลเพิ่มความซับซ้อนในด้านการกำหนดเส้นทาง การกำหนดเวอร์ชัน และการจัดตารางเวลาทรัพยากร คุณจะต้องมีเครื่องมือการจัดการระบบที่มีประสิทธิภาพและระบบตรวจสอบที่ชัดเจนเพื่อหลีกเลี่ยงสถานการณ์ที่โมเดลหนึ่งใช้ทรัพยากรมากเกินไปจนทำให้โมเดลอื่นขาดแคลน
การให้บริการแบบโมเดลเดียวจะขยายขนาดในแนวนอนโดยการสร้างสำเนาของโมเดลเดียวกันเพิ่มขึ้น ซึ่งทำได้ง่ายแต่มีค่าใช้จ่ายสูง ส่วนการให้บริการแบบหลายโมเดลจะขยายขนาดแตกต่างออกไป: คุณสามารถเพิ่มโมเดลใหม่ลงในคลัสเตอร์เดียวกันได้โดยไม่ต้องจัดหาฮาร์ดแวร์ใหม่ ทำให้เหมาะสำหรับองค์กรที่ใช้งานโมเดลเฉพาะทางหลายสิบรุ่นสำหรับงานหรือลูกค้าที่แตกต่างกัน
การให้บริการแบบหลายโมเดล (Multi-model serving) เป็นตัวเลือกที่เหมาะสมสำหรับแพลตฟอร์มที่ให้บริการหลายโมเดลโดยแต่ละโมเดลมีปริมาณการใช้งานปานกลาง เช่น ทีม MLOps ที่จัดการทะเบียนโมเดล ส่วนการให้บริการแบบโมเดลเดียว (Single-model serving) เหมาะสำหรับโมเดลหลักที่จัดการปริมาณคำขอจำนวนมหาศาลซึ่งทุกมิลลิวินาทีมีความสำคัญ เช่น ระบบแนะนำสินค้าหรือระบบตรวจจับการฉ้อโกงในองค์กรขนาดใหญ่
การให้บริการแบบหลายโมเดลมักมีความหน่วงมากกว่าการให้บริการแบบโมเดลเดียวเสมอ
ด้วยกลยุทธ์การโหลดโมเดลล่วงหน้าและการตรึงโมเดลที่เหมาะสม การให้บริการหลายโมเดลพร้อมกันสามารถลดเวลาแฝงได้เทียบเท่ากับการตั้งค่าแบบโมเดลเดียว ช่องว่างจะแคบลงอย่างมากเมื่อเก็บโมเดลไว้ในหน่วยความจำพร้อมใช้งานแทนที่จะโหลดเมื่อต้องการใช้งาน
การให้บริการด้วยโมเดลเดียวมักจะมีราคาแพงกว่าเสมอ
สำหรับโมเดลที่มีปริมาณการใช้งานสูงและทำงานใกล้เต็มประสิทธิภาพ การให้บริการด้วยโมเดลเดียวอาจคุ้มค่ากว่า เนื่องจากไม่มีค่าใช้จ่ายเพิ่มเติมจากการจัดการหรือการสลับโมเดล ค่าใช้จ่ายที่เพิ่มขึ้นจะปรากฏขึ้นก็ต่อเมื่อการใช้งานต่ำเท่านั้น
คุณไม่สามารถผสมผสานการให้บริการแบบหลายโมเดลและการให้บริการแบบโมเดลเดียวในสถาปัตยกรรมเดียวกันได้
ระบบการผลิตจำนวนมากใช้แนวทางแบบผสมผสาน: รุ่นหลักทำงานบนเครื่องปลายทางเฉพาะรุ่นเดียวเพื่อประสิทธิภาพ ในขณะที่รุ่นรองหรือรุ่นทดลองใช้คลัสเตอร์แบบหลายรุ่นร่วมกันเพื่อประหยัดต้นทุน
การให้บริการหลายรุ่นพร้อมกันนั้น จำเป็นต้องใช้ฮาร์ดแวร์เฉพาะทาง
การให้บริการแบบหลายโมเดลทำงานบนโครงสร้างพื้นฐาน GPU และ CPU มาตรฐาน ข้อกำหนดสำคัญคือต้องมีหน่วยความจำเพียงพอสำหรับจัดเก็บหลายโมเดล ซึ่งสามารถทำได้ด้วย GPU รุ่นใหม่ที่มี VRAM 40GB ขึ้นไป
การให้บริการด้วยโมเดลเดียวไม่จำเป็นต้องมีการตรวจสอบ
แม้แต่การใช้งานแบบโมเดลเดียวก็ยังต้องมีการตรวจสอบความคลาดเคลื่อน การเปลี่ยนแปลงของเวลาแฝง และความอิ่มตัวของทรัพยากร สถาปัตยกรรมที่เรียบง่ายกว่าไม่ได้หมายความว่าจะไม่ต้องมีระบบตรวจสอบการทำงานอีกต่อไป
เลือกใช้การให้บริการแบบหลายโมเดลเมื่อการเพิ่มประสิทธิภาพด้านต้นทุนและความยืดหยุ่นในพอร์ตโฟลิโอโมเดลที่หลากหลายมีความสำคัญมากกว่าความสม่ำเสมอของเวลาแฝงโดยรวม เลือกใช้การให้บริการแบบโมเดลเดียวเมื่อคุณใช้งานเวิร์กโหลดที่มีปริมาณการรับส่งข้อมูลสูงและมีความสำคัญต่อเวลาแฝง ซึ่งประสิทธิภาพที่คาดการณ์ได้นั้นคุ้มค่ากับค่าใช้จ่ายด้านโครงสร้างพื้นฐานที่สูงขึ้น
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
