การประมวลผลแบบ Edge computing สำหรับแมชชีนเลิร์นนิง (ML) จะทำการประมวลผลโดยตรงบนอุปกรณ์ในพื้นที่ ช่วยลดความหน่วงและปริมาณการใช้แบนด์วิดท์ ในขณะที่การฝึกอบรม ML แบบคลาวด์เป็นศูนย์กลางจะใช้ประโยชน์จากเซิร์ฟเวอร์ระยะไกลที่มีประสิทธิภาพสูงในการสร้างและปรับปรุงโมเดลขนาดใหญ่ แต่ละแนวทางเหมาะสมกับขั้นตอนต่างๆ ของวงจรชีวิตของแมชชีนเลิร์นนิงและความต้องการในการดำเนินงานที่แตกต่างกัน
การเรียกใช้โมเดลแมชชีนเลิร์นนิงบนอุปกรณ์ต่างๆ เช่น โทรศัพท์ เซ็นเซอร์ และเกตเวย์ เพื่อให้ได้ผลลัพธ์ที่รวดเร็วและมีความหน่วงต่ำ
การฝึกอบรมและมักโฮสต์โมเดลการเรียนรู้ของเครื่องบนศูนย์ข้อมูลระยะไกลที่มีทรัพยากรการประมวลผลแทบไม่จำกัด
| ฟีเจอร์ | เอดจ์คอมพิวติ้ง เอ็มแอล | การฝึกอบรม ML ที่เน้นระบบคลาวด์ |
|---|---|---|
| กรณีการใช้งานหลัก | การอนุมานแบบเรียลไทม์บนอุปกรณ์ในพื้นที่ | การฝึกอบรมโมเดลขนาดใหญ่และการโฮสต์แบบรวมศูนย์ |
| ความหน่วงโดยทั่วไป | 1–10 มิลลิวินาที | 50–500 มิลลิวินาที ขึ้นอยู่กับเครือข่าย |
| ทรัพยากรการประมวลผล | มีข้อจำกัด (ซีพียู, ไมโครคอนโทรลเลอร์, เอ็นพียู) | แทบไม่จำกัด (คลัสเตอร์ GPU/TPU) |
| ตำแหน่งที่ตั้งข้อมูล | เกตเวย์บนอุปกรณ์หรือเกตเวย์ภายในเครื่อง | ศูนย์ข้อมูลระยะไกล |
| ความต้องการแบนด์วิดท์ | น้อยที่สุดหลังการติดตั้ง | สูงในช่วงการฝึกอบรมและการนำเข้าข้อมูล |
| ความเป็นส่วนตัวและการปฏิบัติตามกฎระเบียบ | มีความน่าเชื่อถือมากกว่า เนื่องจากข้อมูลดิบยังคงอยู่ในพื้นที่ | ขึ้นอยู่กับใบรับรองของผู้ให้บริการและภูมิภาค |
| แบบจำลองต้นทุน | จ่ายล่วงหน้าสำหรับฮาร์ดแวร์ ค่าใช้จ่ายต่อเนื่องต่ำ | การประมวลผลและการจัดเก็บข้อมูลแบบจ่ายตามการใช้งาน |
| ความสามารถในการปรับขนาด | จำกัดจำนวนอุปกรณ์ต่อเครื่อง และจะขยายตามขนาดของกลุ่มอุปกรณ์ | การปรับขนาดแบบยืดหยุ่นเกือบจะในทันที |
| กรอบงานทั่วไป | TensorFlow Lite, ONNX Runtime, PyTorch Mobile | TensorFlow, PyTorch, JAX บนบริการคลาวด์แบบจัดการ |
การเรียนรู้ของเครื่อง (ML) บน Edge computing ผลักดันการประมวลผลไปที่ตัวอุปกรณ์เอง ไม่ว่าจะเป็นสมาร์ทโฟน หุ่นยนต์ในโรงงาน หรือเซ็นเซอร์ริมถนน ในทางตรงกันข้าม การฝึกอบรม ML ที่เน้นระบบคลาวด์จะเก็บการประมวลผลหนักไว้ในศูนย์ข้อมูลระยะไกล ซึ่งมีตัวเร่งความเร็วจำนวนมากประมวลผลข้อมูลขนาดหลายเทราไบต์ ทั้งสองอย่างไม่ใช่คู่แข่งกันโดยตรง แต่เป็นส่วนเสริมซึ่งกันและกันในกระบวนการเดียวกัน
เมื่อรถยนต์ไร้คนขับจำเป็นต้องตรวจจับคนเดินเท้า การรอการตอบสนองจากระบบคลาวด์ครึ่งวินาทีนั้นไม่ใช่ทางเลือกที่ยอมรับได้ Edge ML ให้คำตอบได้ภายในไม่กี่มิลลิวินาที เนื่องจากโมเดลถูกโหลดลงบนฮาร์ดแวร์ในพื้นที่แล้ว การอนุมานบนคลาวด์ก็เร็วเช่นกัน แต่ทุกคำขอต้องเดินทางผ่านเครือข่าย ทำให้เกิดความล่าช้าในการรับส่งข้อมูลที่ไม่สามารถหลีกเลี่ยงได้
การฝึกฝนโมเดลพื้นฐานบนคลาวด์อาจมีค่าใช้จ่ายสูงถึงหลักแสนหรือหลักล้าน แต่คุณจะจ่ายเฉพาะขณะที่งานกำลังทำงานอยู่เท่านั้น การใช้งานแบบ Edge จะผลักภาระค่าใช้จ่ายไปที่ฮาร์ดแวร์เฉพาะทางในตอนแรก จากนั้นจึงรักษาค่าใช้จ่ายต่อเนื่องให้ต่ำ เนื่องจากแต่ละการประมวลผลนั้นแทบจะฟรี องค์กรต่างๆ มักจะผสมผสานทั้งสองอย่างเข้าด้วยกัน: ฝึกฝนบนคลาวด์ จากนั้นจึงส่งโมเดลที่เสร็จสมบูรณ์ไปยังโหนด Edge นับพันๆ โหนด
การเก็บข้อมูลดิบไว้ในอุปกรณ์เป็นข้อดีอย่างมากสำหรับแอปพลิเคชันที่คำนึงถึงความเป็นส่วนตัว เช่น การตรวจสอบทางการแพทย์ หรือการจดจำใบหน้าในพื้นที่สาธารณะ นอกจากนี้ Edge ML ยังช่วยหลีกเลี่ยงการอัปโหลดสตรีมวิดีโอจำนวนมาก ซึ่งอาจทำให้เครือข่ายติดขัดและทำให้ค่าใช้จ่ายในการถ่ายโอนข้อมูลสูงขึ้น ในขณะเดียวกัน การฝึกอบรมบนคลาวด์ก็ได้รับประโยชน์จากการรวบรวมชุดข้อมูลที่หลากหลาย ซึ่งยากที่จะรวบรวมได้ในพื้นที่
อุปกรณ์ Edge บังคับให้วิศวกรลดขนาดโมเดลลงผ่านกระบวนการควอนไทเซชัน การตัดแต่ง และการกลั่นกรองความรู้ เพื่อให้โมเดลนั้นพอดีกับหน่วยความจำเพียงไม่กี่ร้อยเมกะไบต์ ในขณะที่การฝึกฝนบนคลาวด์ไม่มีข้อจำกัดดังกล่าว ซึ่งเป็นเหตุผลว่าทำไมโมเดลขนาดใหญ่ที่สุดที่มีพารามิเตอร์หลายแสนล้านตัวจึงอยู่เฉพาะในศูนย์ข้อมูลเท่านั้น ศิลปะของการใช้งาน ML ในยุคปัจจุบันมักอยู่ที่การหาวิธีบีบอัดโมเดลขนาดใหญ่ที่ฝึกฝนบนคลาวด์ให้เหลือขนาดที่ชิป Edge สามารถทำงานได้จริง
Edge ML ยังคงทำงานได้แม้การเชื่อมต่ออินเทอร์เน็ตขาดหาย ทำให้เหมาะสำหรับแท่นขุดเจาะน้ำมันในพื้นที่ห่างไกล เรือกลางทะเล หรือฟาร์มในชนบท ระบบที่เน้นคลาวด์นั้นขึ้นอยู่กับความพร้อมใช้งานของเครือข่ายและเวลาการทำงานของผู้ให้บริการ แม้ว่าจะมีการกู้คืนระบบในกรณีเกิดภัยพิบัติและการอัปเดตโมเดลได้ง่ายกว่าก็ตาม ปัจจุบันระบบการผลิตจำนวนมากใช้ Edge เป็นรันไทม์หลัก โดยใช้คลาวด์เป็นระบบสำรองหรือเป็นไปป์ไลน์สำหรับการฝึกอบรมใหม่
Edge ML หมายความว่าการฝึกฝนจะเกิดขึ้นบนอุปกรณ์ด้วยเช่นกัน
การเรียนรู้ของเครื่องบนอุปกรณ์ปลายทาง (Edge ML) เกือบทั้งหมดเกี่ยวข้องกับการฝึกฝนในระบบคลาวด์ และปรับใช้โมเดลที่เสร็จสมบูรณ์แล้วในเครื่องโลคัลเท่านั้น การฝึกฝนบนอุปกรณ์โดยตรงมีอยู่ แต่พบได้น้อยและจำกัดเฉพาะโมเดลขนาดเล็กหรืองานปรับแต่งขั้นสุดท้ายเท่านั้น
การเรียนรู้ของเครื่องบนคลาวด์มีความแม่นยำกว่าการเรียนรู้ของเครื่องบนอุปกรณ์พกพาเสมอ
ความแม่นยำขึ้นอยู่กับสถาปัตยกรรมของโมเดลและข้อมูลการฝึกฝน ไม่ใช่ตำแหน่งที่โมเดลทำงาน โมเดลแบบ Edge ที่ได้รับการปรับแต่งอย่างดีสามารถเทียบเท่าความแม่นยำของโมเดลแบบ Cloud สำหรับงานเฉพาะด้านได้ แม้ว่าขอบเขตงานอาจจะเล็กกว่าก็ตาม
การประมวลผลแบบเอดจ์ช่วยขจัดความจำเป็นในการใช้คลาวด์ได้อย่างสิ้นเชิง
การประมวลผลแบบ Edge และ Cloud ทำงานร่วมกันได้ดีที่สุด Cloud ทำหน้าที่จัดการการฝึกฝน การตรวจสอบ และการอัปเดตโมเดล ในขณะที่ Edge ทำหน้าที่จัดการการอนุมานแบบเรียลไทม์ การใช้งาน Edge เพียงอย่างเดียวมักหมายถึงการสูญเสียไปป์ไลน์การฝึกฝนใหม่ที่มีประสิทธิภาพ
การฝึกอบรมบนระบบคลาวด์นั้นประหยัดกว่าการฝึกอบรมบนฮาร์ดแวร์แบบ Edge เสมอ
สำหรับการประมวลผลข้อมูลปริมาณมากในระดับขนาดใหญ่ การประมวลผลที่ Edge Computing อาจมีต้นทุนต่อคำขอถูกกว่าการจ่ายค่าใช้บริการ API บนคลาวด์มาก จุดคุ้มทุนขึ้นอยู่กับความถี่ในการเรียกใช้โมเดลและปริมาณข้อมูลที่ประมวลผล
อุปกรณ์ Edge ไม่สามารถใช้งานโมเดล AI สมัยใหม่ได้
ด้วยเทคโนโลยีการควอนไทเซชันและหน่วยประมวลผลโครงข่ายประสาทเทียม (NPU) เฉพาะทาง อุปกรณ์ต่างๆ เช่น สมาร์ทโฟนรุ่นล่าสุด สามารถประมวลผลโมเดลภาษาที่มีพารามิเตอร์นับพันล้านตัวได้ในเครื่อง ประสิทธิภาพดีขึ้นทุกปีเนื่องจากชิปประมวลผลพัฒนาขึ้นเรื่อยๆ
เลือกใช้ Edge Computing สำหรับ Machine Learning เมื่อคุณต้องการการตอบสนองแบบเรียลไทม์ ความน่าเชื่อถือแบบออฟไลน์ หรือความเป็นส่วนตัวของข้อมูลอย่างเข้มงวดบนฮาร์ดแวร์ที่มีข้อจำกัด เลือกใช้การฝึกอบรม Machine Learning ที่เน้นระบบคลาวด์เมื่อคุณกำลังสร้างโมเดลขนาดใหญ่ ต้องการการประมวลผลแบบยืดหยุ่น หรือต้องการเครื่องมือสำหรับการทำงานร่วมกันโดยไม่ต้องจัดการโครงสร้างพื้นฐานทางกายภาพ การใช้งาน Machine Learning ที่จริงจังส่วนใหญ่ลงเอยด้วยการใช้ทั้งสองแบบ: ฝึกอบรมในระบบคลาวด์ และอนุมานผลลัพธ์ที่ Edge
การเปรียบเทียบนี้พิจารณา Amazon Web Services และ Google Cloud โดยการวิเคราะห์ข้อเสนอบริการ รูปแบบการกำหนดราคา โครงสร้างพื้นฐานระดับโลก ประสิทธิภาพ ประสบการณ์ของนักพัฒนา และกรณีการใช้งานที่เหมาะสม เพื่อช่วยให้องค์กรเลือกแพลตฟอร์มคลาวด์ที่ตรงกับความต้องการทางเทคนิคและธุรกิจมากที่สุด
Kafka และ Flink รวมกันเป็นระบบนิเวศการประมวลผลสตรีมแบบกระจายสำหรับไปป์ไลน์ข้อมูลแบบเรียลไทม์ ในขณะที่การประมวลผลในหน่วยความจำช่วยเร่งการวิเคราะห์โดยการเก็บข้อมูลทั้งหมดไว้ใน RAM ซึ่งแต่ละอย่างตอบสนองความต้องการทางสถาปัตยกรรมที่แตกต่างกันโดยพื้นฐานในด้านความเร็ว ขนาด และความคงทน
Operational Intelligence มุ่งเน้นการติดตามผลอย่างต่อเนื่อง การวิเคราะห์เชิงคาดการณ์ และการเพิ่มประสิทธิภาพระบบเชิงรุก ขณะที่ Reactive Incident Response เน้นไปที่การตรวจจับและแก้ไขปัญหาหลังจากที่เกิดขึ้นแล้ว ทั้งสองแนวทางมีบทบาทที่แตกต่างกันแต่เสริมซึ่งกันและกันในการบริหารจัดการโครงสร้างพื้นฐานด้าน IT และคลาวด์สมัยใหม่
Service mesh ที่สร้างขึ้นสำหรับงานด้านแมชชีนเลิร์นนิงนั้นสามารถจัดการกับทราฟฟิกการประมวลผลที่มีปริมาณมากและเปลี่ยนแปลงได้ตลอดเวลา ด้วยการจัดการทราฟฟิกแบบละเอียด ในขณะที่ API gateway แบบดั้งเดิมจะเน้นไปที่การกำหนดเส้นทางการร้องขอ การตรวจสอบสิทธิ์ และการจำกัดอัตราการใช้งานสำหรับไมโครเซอร์วิสมาตรฐาน การเลือกใช้ระหว่างสองแบบนี้ขึ้นอยู่กับว่าสิ่งที่คุณให้ความสำคัญเป็นหลักคือการตรวจสอบและการกำหนดเวอร์ชันโมเดลเฉพาะสำหรับงานแมชชีนเลิร์นนิง หรือการจัดการ API ทั่วไป
กลยุทธ์การแคชในระบบแมชชีนเลิร์นนิงจะจัดเก็บผลลัพธ์ของโมเดลที่คำนวณไว้ล่วงหน้าหรือข้อมูลระดับกลางเพื่อเร่งความเร็วในการเรียกใช้ข้อมูลซ้ำๆ ในขณะที่การคำนวณตามความต้องการจะสร้างผลลัพธ์ใหม่ทุกครั้ง โดยแลกความเร็วกับความเรียบง่ายและลดภาระการจัดเก็บข้อมูลเพิ่มเติม
