ระบบ ML ที่ใช้งานจริงจะให้ความสำคัญกับความน่าเชื่อถือ ความสามารถในการขยายขนาด และความพร้อมใช้งานอย่างต่อเนื่องสำหรับผู้ใช้ในโลกแห่งความเป็นจริง ในขณะที่ระบบ ML ที่ใช้สำหรับการวิจัยจะเน้นไปที่การทดลอง สถาปัตยกรรมใหม่ ๆ และการผลักดันขีดจำกัดของความสามารถของโมเดล สภาพแวดล้อมทั้งสองแตกต่างกันอย่างมากในด้านโครงสร้างพื้นฐาน การตรวจสอบ และลำดับความสำคัญทางด้านวิศวกรรม
ระบบแมชชีนเลิร์นนิงที่ใช้งานได้จริงเพื่อให้บริการผู้ใช้ที่มีข้อกำหนดที่เข้มงวดในด้านความพร้อมใช้งาน ความหน่วงแฝง และความน่าเชื่อถือ
สภาพแวดล้อมการเรียนรู้ของเครื่องจักรเชิงทดลองที่ออกแบบมาเพื่อสำรวจอัลกอริธึม สถาปัตยกรรม และความก้าวหน้าทางทฤษฎีใหม่ๆ
| ฟีเจอร์ | ระบบ ML สำหรับการผลิต | ระบบวิจัย ML |
|---|---|---|
| เป้าหมายหลัก | การอนุมานที่น่าเชื่อถือในระดับใหญ่ | การพัฒนารูปแบบใหม่และการทดลอง |
| ข้อกำหนดด้านความพร้อมใช้งาน | 99.9% หรือสูงกว่า (ส่วนใหญ่คือ 99.99%) | พยายามอย่างเต็มที่; การหยุดทำงานชั่วคราวเป็นสิ่งที่ยอมรับได้ |
| ความไวต่อความหน่วง | วิกฤต (มิลลิวินาทีหลักเดียวถึงวินาทีต้นๆ) | ลำดับความสำคัญต่ำ การฝึกอบรมอาจใช้เวลาหลายวันหรือหลายสัปดาห์ |
| ความเสถียรของโค้ด | แช่แข็ง แบ่งเป็นเวอร์ชัน ผ่านการทดสอบอย่างละเอียดถี่ถ้วน | เปลี่ยนแปลงอย่างรวดเร็ว มักเป็นการทดลอง |
| ท่อส่งข้อมูล | การประมวลผล ETL แบบสตรีมมิ่งและแบบแบตช์ พร้อมข้อตกลงระดับบริการที่เข้มงวด | ชุดข้อมูลคงที่หรือสคริปต์การประมวลผลล่วงหน้าแบบเฉพาะกิจ |
| การติดตามจุดเน้น | ความหน่วงแฝง อัตราข้อผิดพลาด การเบี่ยงเบนของข้อมูล ตัวชี้วัดประสิทธิภาพทางธุรกิจ | กราฟแสดงการสูญเสีย, คะแนนมาตรฐาน, ตัวชี้วัดการฝึกอบรม |
| รูปแบบการคำนวณ | คำขออนุมานขนาดเล็กจำนวนมากกระจายอยู่ทั่วโลก | มีงานฝึกอบรมขนาดใหญ่ไม่กี่งานที่ใช้เครื่องเร่งอนุภาคประสิทธิภาพสูง |
| โครงสร้างทีม | วิศวกร ML, SRE, วิศวกรแพลตฟอร์ม | นักวิทยาศาสตร์วิจัย นักวิจัยระดับปริญญาเอก นักศึกษาฝึกงาน |
| ตัวชี้วัดความสำเร็จ | การมีส่วนร่วมของผู้ใช้ รายได้ ต้นทุนต่อการคาดการณ์ | ความแม่นยำของเกณฑ์มาตรฐาน การยอมรับการตีพิมพ์ ความแปลกใหม่ |
ระบบการผลิตมองโมเดลเป็นเหมือนสิ่งประดิษฐ์ที่หยุดนิ่ง ซึ่งต้องทำงานได้อย่างคาดเดาได้ภายใต้ทุกสภาวะ ทุกการเปลี่ยนแปลงต้องผ่านสภาพแวดล้อมการทดสอบ การปล่อยเวอร์ชันทดลอง และขั้นตอนการย้อนกลับ ในทางตรงกันข้าม ระบบการวิจัยยอมรับการเปลี่ยนแปลงอย่างต่อเนื่อง นักวิจัยอาจเขียนลูปการฝึกอบรมใหม่หลายครั้งในสัปดาห์เดียว และการเกิดข้อผิดพลาดเป็นส่วนหนึ่งของกระบวนการค้นพบมากกว่าความล้มเหลว
โดยทั่วไปแล้ว เวิร์คโหลดการผลิตจะทำงานบน CPU และ GPU ที่ได้รับการปรับแต่งเพื่อเพิ่มประสิทธิภาพการประมวลผลแบบอนุมาน โดยมักใช้เฟรมเวิร์กการให้บริการเฉพาะทาง เช่น TensorRT, Triton Inference Server หรือ ONNX Runtime ในขณะที่สภาพแวดล้อมการวิจัยจะเน้นหนักไปที่ตัวเร่งความเร็วระดับสูง เช่น NVIDIA H100 หรือ Google TPU โดยให้ความสำคัญกับความเร็วในการฝึกฝนมากกว่าความคุ้มค่า ฮาร์ดแวร์เดียวกันสามารถนำไปใช้ในวัตถุประสงค์ที่แตกต่างกันอย่างมาก ขึ้นอยู่กับว่าคุณอยู่ฝั่งใด
ในสภาพแวดล้อมการใช้งานจริง ข้อมูลจะไหลเวียนอย่างต่อเนื่องจากปฏิสัมพันธ์ของผู้ใช้ บันทึก และแหล่งข้อมูลภายนอกผ่านไปป์ไลน์ที่ได้รับการจัดการซึ่งสร้างขึ้นบนเครื่องมือต่างๆ เช่น Apache Kafka, Spark หรือ Airflow ฟีเจอร์สโตร์ช่วยให้มั่นใจได้ถึงความสม่ำเสมอระหว่างการฝึกฝนและการใช้งานจริง ส่วนสภาพแวดล้อมการวิจัยมักทำงานกับชุดข้อมูลทางวิชาการที่คัดสรรมาแล้วหรือคลังข้อมูลที่รวบรวมมาซึ่งไม่เปลี่ยนแปลงบ่อยนัก ดังนั้นความสามารถในการทำซ้ำจึงมีความสำคัญมากกว่าความสดใหม่
ทีมฝ่ายผลิตหมกมุ่นอยู่กับแดชบอร์ดที่แสดงค่าความหน่วง p99 ปริมาณคำขอ งบประมาณข้อผิดพลาด และสัญญาณการเปลี่ยนแปลงของข้อมูล เมื่อมีสิ่งผิดปกติเกิดขึ้น วิศวกรที่รับผิดชอบจะถูกเรียกตัวภายในไม่กี่นาที ทีมวิจัยตรวจสอบการสูญเสียในการฝึกอบรม ความแม่นยำในการตรวจสอบ และค่ามาตรฐานของเกรเดียนต์ แต่การทำงานที่ล้มเหลวมักหมายถึงการเริ่มต้นใหม่ด้วยการปรับพารามิเตอร์มากกว่าการปลุกใครขึ้นมาตอนตี 3
การเรียนรู้ของเครื่องในระดับการผลิต (Production ML) ต้องการความเข้มงวดทางด้านวิศวกรรมซอฟต์แวร์ เช่น การทดสอบ การตรวจสอบโค้ด การจัดทำเอกสาร และการตอบสนองต่อเหตุการณ์ ในขณะที่การเรียนรู้ของเครื่องในระดับการวิจัย (Research ML) ให้รางวัลแก่ความอยากรู้อยากเห็นทางปัญญา สัญชาตญาณทางคณิตศาสตร์ และความสามารถในการอ่านและสังเคราะห์เอกสารจำนวนมาก วัฒนธรรมทั้งสองนี้บางครั้งอาจขัดแย้งกันเมื่อจำเป็นต้องนำแบบจำลองการวิจัยไปใช้ในเชิงพาณิชย์ ซึ่งเป็นเหตุผลว่าทำไมจึงมีทีมวิศวกรรมเฉพาะทางเพื่อเชื่อมช่องว่างนี้
ระบบการผลิตจะได้รับการประเมินจากต้นทุนต่อการคาดการณ์หนึ่งล้านครั้งและต้นทุนรวมในการเป็นเจ้าของ โดยทีมการเงินจะคอยตรวจสอบค่าใช้จ่ายด้านคลาวด์อย่างใกล้ชิด งบประมาณการวิจัยมักได้รับการพิสูจน์โดยความก้าวหน้าที่อาจเกิดขึ้นมากกว่าผลตอบแทนจากการลงทุนในทันที และเงินทุนสนับสนุนด้านการคำนวณจากองค์กรต่างๆ เช่น NSF ห้องปฏิบัติการอุตสาหกรรม หรือเครดิตคลาวด์เป็นแหล่งทุนหลักของงานวิจัย การฝึกอบรมการวิจัยเพียงครั้งเดียวอาจมีค่าใช้จ่ายมากกว่าการอนุมานในระบบการผลิตเป็นเวลาหลายเดือน
โมเดลที่ใช้ได้ผลในการวิจัย ย่อมจะใช้ได้ผลในขั้นตอนการผลิตโดยอัตโนมัติ
แบบจำลองที่ใช้ในการวิจัยมักล้มเหลวในการใช้งานจริงเนื่องจากการเปลี่ยนแปลงการกระจายตัวของข้อมูล ข้อจำกัดด้านความหน่วง หรือปัญหาด้านการบูรณาการ บทความที่แสดงความแม่นยำ 95% บนเกณฑ์มาตรฐานไม่ได้หมายความว่าแบบจำลองนั้นจะสามารถรับมือกับการกระจายตัวของข้อมูลในโลกแห่งความเป็นจริงหรือตรงตามข้อกำหนดด้านเวลาตอบสนองได้
การเรียนรู้ของเครื่องในเชิงปฏิบัติ (Production ML) ก็คือการเรียนรู้ของเครื่องในเชิงวิจัย (Research ML) ที่มีโครงสร้างพื้นฐานที่ดีกว่านั่นเอง
ทั้งสองอย่างนี้ต้องการทักษะ กระบวนการ และวิธีคิดที่แตกต่างกันโดยพื้นฐาน การเรียนรู้ของเครื่องในระดับการผลิตนั้นใกล้เคียงกับวิศวกรรมระบบแบบกระจายมากกว่าการวิจัยเชิงวิชาการ โดยความซับซ้อนส่วนใหญ่จะอยู่ที่ไปป์ไลน์ข้อมูล การตรวจสอบ และความน่าเชื่อถือ มากกว่าตัวแบบจำลองเอง
ระบบวิจัยไม่จำเป็นต้องมีการตรวจสอบ
ระบบงานวิจัยจำเป็นอย่างยิ่งที่จะต้องมีเครื่องมือติดตามการทดลอง การตรวจสอบทรัพยากร และเครื่องมือตรวจสอบความสามารถในการทำซ้ำ เครื่องมืออย่าง Weights & Biases, MLflow และ TensorBoard มีอยู่ก็เพราะว่าการติดตามการทดลองหลายร้อยครั้งโดยปราศจากเครื่องมือที่เหมาะสมนั้นแทบเป็นไปไม่ได้เลย
ระบบ ML ที่ใช้งานจริงไม่สามารถใช้โมเดลล้ำสมัยได้
ปัจจุบันระบบการผลิตจำนวนมากรองรับโมเดลที่ใช้ Transformer รวมถึงโมเดลภาษาขนาดใหญ่ ผ่านกลไกการอนุมานที่ได้รับการปรับให้เหมาะสม ช่องว่างระหว่างการวิจัยและการผลิตแคบลงอย่างมากด้วยเทคนิคต่างๆ เช่น การหาปริมาณ การกลั่นกรอง และเฟรมเวิร์กการให้บริการเฉพาะทาง
ประสิทธิภาพการประมวลผลที่สูงขึ้นย่อมหมายถึงผลลัพธ์ที่ดีขึ้นในทั้งสองสภาพแวดล้อมเสมอ
ระบบการผลิตได้รับประโยชน์จากการประมวลผลที่มีประสิทธิภาพมากกว่าการคำนวณดิบๆ โดยที่เทคนิคต่างๆ เช่น การจัดกลุ่ม การแคช และการบีบอัดโมเดลมีความสำคัญมากกว่าจำนวน GPU ส่วนระบบการวิจัยนั้นได้รับประโยชน์จากการคำนวณที่มากขึ้นสำหรับกฎการปรับขนาด แต่การปรับปรุงอัลกอริทึมมักจะเหนือกว่าการปรับขนาดแบบใช้กำลังทั้งหมด
เลือกใช้ระบบ ML สำหรับการใช้งานจริงเมื่อโมเดลของคุณจำเป็นต้องให้บริการผู้ใช้จริงได้อย่างน่าเชื่อถือและสร้างมูลค่าทางธุรกิจในวงกว้าง เลือกใช้ระบบ ML สำหรับการวิจัยเมื่อคุณกำลังสำรวจเทคนิคใหม่ๆ ตีพิมพ์บทความ หรือสร้างความสามารถที่ยังไม่มีอยู่จริง องค์กรที่ประสบความสำเร็จส่วนใหญ่ต้องการทั้งสองอย่าง โดยการวิจัยจะนำไปสู่การพัฒนานวัตกรรมในขั้นตอนการผลิตผ่านกระบวนการส่งต่ออย่างรอบคอบ
การเปรียบเทียบนี้พิจารณา Amazon Web Services และ Google Cloud โดยการวิเคราะห์ข้อเสนอบริการ รูปแบบการกำหนดราคา โครงสร้างพื้นฐานระดับโลก ประสิทธิภาพ ประสบการณ์ของนักพัฒนา และกรณีการใช้งานที่เหมาะสม เพื่อช่วยให้องค์กรเลือกแพลตฟอร์มคลาวด์ที่ตรงกับความต้องการทางเทคนิคและธุรกิจมากที่สุด
Kafka และ Flink รวมกันเป็นระบบนิเวศการประมวลผลสตรีมแบบกระจายสำหรับไปป์ไลน์ข้อมูลแบบเรียลไทม์ ในขณะที่การประมวลผลในหน่วยความจำช่วยเร่งการวิเคราะห์โดยการเก็บข้อมูลทั้งหมดไว้ใน RAM ซึ่งแต่ละอย่างตอบสนองความต้องการทางสถาปัตยกรรมที่แตกต่างกันโดยพื้นฐานในด้านความเร็ว ขนาด และความคงทน
Operational Intelligence มุ่งเน้นการติดตามผลอย่างต่อเนื่อง การวิเคราะห์เชิงคาดการณ์ และการเพิ่มประสิทธิภาพระบบเชิงรุก ขณะที่ Reactive Incident Response เน้นไปที่การตรวจจับและแก้ไขปัญหาหลังจากที่เกิดขึ้นแล้ว ทั้งสองแนวทางมีบทบาทที่แตกต่างกันแต่เสริมซึ่งกันและกันในการบริหารจัดการโครงสร้างพื้นฐานด้าน IT และคลาวด์สมัยใหม่
Service mesh ที่สร้างขึ้นสำหรับงานด้านแมชชีนเลิร์นนิงนั้นสามารถจัดการกับทราฟฟิกการประมวลผลที่มีปริมาณมากและเปลี่ยนแปลงได้ตลอดเวลา ด้วยการจัดการทราฟฟิกแบบละเอียด ในขณะที่ API gateway แบบดั้งเดิมจะเน้นไปที่การกำหนดเส้นทางการร้องขอ การตรวจสอบสิทธิ์ และการจำกัดอัตราการใช้งานสำหรับไมโครเซอร์วิสมาตรฐาน การเลือกใช้ระหว่างสองแบบนี้ขึ้นอยู่กับว่าสิ่งที่คุณให้ความสำคัญเป็นหลักคือการตรวจสอบและการกำหนดเวอร์ชันโมเดลเฉพาะสำหรับงานแมชชีนเลิร์นนิง หรือการจัดการ API ทั่วไป
กลยุทธ์การแคชในระบบแมชชีนเลิร์นนิงจะจัดเก็บผลลัพธ์ของโมเดลที่คำนวณไว้ล่วงหน้าหรือข้อมูลระดับกลางเพื่อเร่งความเร็วในการเรียกใช้ข้อมูลซ้ำๆ ในขณะที่การคำนวณตามความต้องการจะสร้างผลลัพธ์ใหม่ทุกครั้ง โดยแลกความเร็วกับความเรียบง่ายและลดภาระการจัดเก็บข้อมูลเพิ่มเติม
