ระบบแนะนำสินค้าที่มีประสิทธิภาพสูงมุ่งเน้นการจัดอันดับสินค้าหลายล้านรายการต่อคำขอในระดับขนาดใหญ่ ในขณะที่ระบบ API ที่มีความหน่วงต่ำจะให้ความสำคัญกับเวลาตอบสนองที่รวดเร็วและคาดการณ์ได้สำหรับคำค้นหาทั่วไป ทั้งสองระบบต้องการประสิทธิภาพต่ำกว่า 100 มิลลิวินาที แต่แก้ปัญหาทางวิศวกรรมที่แตกต่างกันโดยพื้นฐานในโครงสร้างพื้นฐานคลาวด์สมัยใหม่
โครงสร้างพื้นฐานเฉพาะทางที่ออกแบบมาเพื่อจัดอันดับและดึงข้อมูลเนื้อหาที่ปรับแต่งเฉพาะบุคคลจากฐานข้อมูลขนาดใหญ่ ภายใต้ข้อจำกัดด้านเวลาในการตอบสนองอย่างเข้มงวด
โครงสร้างพื้นฐานสำหรับการร้องขอและการตอบสนองแบบอเนกประสงค์ ออกแบบมาเพื่อส่งมอบเวลาตอบสนองที่สม่ำเสมอในระดับต่ำกว่ามิลลิวินาทีถึงมิลลิวินาทีต้นๆ
| ฟีเจอร์ | การให้บริการแนะนำที่มีปริมาณงานสูง | ระบบ API ที่มีความหน่วงต่ำ |
|---|---|---|
| กรณีการใช้งานหลัก | การจัดอันดับเนื้อหาเฉพาะบุคคลในวงกว้าง | บริการร้องขอและตอบกลับทั่วไป |
| เป้าหมายความหน่วงแฝงทั่วไป | 50-200 มิลลิวินาที ตั้งแต่ต้นจนจบ | 1-50ms p99 |
| การมุ่งเน้นปริมาณงาน | มีผู้สมัครหลายล้านคนได้รับการประเมินคะแนนต่อคำขอ | คำขอพร้อมกันหลายพันรายการต่อโหนด |
| สถาปัตยกรรมหลัก | กระบวนการค้นหาและจัดอันดับแบบหลายขั้นตอน | บริการที่มีสถานะแบบไร้สถานะหรือแบบแบ่งส่วน |
| การพึ่งพาข้อมูล | การพึ่งพาฟีเจอร์สโตร์และการฝังข้อมูลอย่างมาก | โดยทั่วไปแล้วจะมีแคชและฐานข้อมูลหลักเป็นตัวสำรองข้อมูล |
| คอมพิวเตอร์ทั่วไป | การอนุมานแบบไฮบริด GPU และ CPU | ปรับแต่งให้เหมาะสมกับการทำงานของ CPU โดยมีการเร่งความเร็วด้วย FPGA เป็นครั้งคราว |
| รูปแบบการปรับขนาด | แนวนอนพร้อมความขนานของแบบจำลอง | แนวนอนพร้อมการปรับสมดุลโหลดและการปรับขนาดอัตโนมัติ |
| ตัวชี้วัดหลัก | CTR, การมีส่วนร่วม, การเรียกคืน@K, NDCG | ความหน่วง p50/p95/p99 อัตราข้อผิดพลาด ความพร้อมใช้งาน |
| ตัวอย่างแพลตฟอร์ม | TensorFlow Serving, NVIDIA Triton, Merlin | Envoy, gRPC, Fastly Compute, Cloudflare Workers |
| ความไวต่อความล้มเหลว | การลดระดับอย่างนุ่มนวลพร้อมการจัดอันดับสำรอง | การหมดเวลาแบบแข็งกร้าวด้วยรูปแบบเบรกเกอร์วงจร |
ระบบแนะนำผลการค้นหาใช้สถาปัตยกรรมแบบกรวยที่ค่อยๆ คัดกรองผู้สมัครนับล้านรายให้เหลือเพียงไม่กี่ผลลัพธ์ที่ปรับให้เหมาะกับแต่ละบุคคล ในแต่ละขั้นตอนจะแลกเปลี่ยนความแม่นยำกับความเร็ว โดยโมเดลการค้นหาจะค้นหาในวงกว้างก่อนที่โมเดลการจัดอันดับจะใช้การให้คะแนนแบบละเอียด ในทางตรงกันข้าม ระบบ API ที่มีความหน่วงต่ำจะใช้รูปแบบการร้องขอและการตอบสนองที่สม่ำเสมอกว่า โดยแต่ละการเรียกใช้จะทำงานในปริมาณคงที่โดยไม่คำนึงถึงความซับซ้อนของข้อมูลป้อนเข้า
แม้ว่าทั้งสองระบบจะมุ่งเน้นที่ความหน่วงต่ำ แต่ระบบแนะนำมักยอมรับความหน่วงที่สูงกว่าเล็กน้อย (100-200 มิลลิวินาที) เพื่อแลกกับการประเมินตัวเลือกจำนวนมากขึ้นต่อคำขอ ระบบ API ที่มีความหน่วงต่ำถือว่าทุกมิลลิวินาทีมีความสำคัญ เพราะทำหน้าที่เป็นตัวเชื่อมต่อระหว่างไมโครเซอร์วิส ซึ่งความล่าช้าที่เกิดขึ้นต่อเนื่องกันอาจทำให้แอปพลิเคชันทั้งหมดไม่เสถียร ความอดทนต่อความแปรปรวนจึงแตกต่างกันอย่างมากระหว่างทั้งสองระบบ
ระบบแนะนำสินค้าหรือบริการพึ่งพาโมเดลการเรียนรู้ของเครื่อง การค้นหาข้อมูลฝังตัว และแหล่งเก็บคุณลักษณะแบบเรียลไทม์ที่ต้องอัปเดตให้ทันสมัยอยู่เสมอด้วยข้อมูลแบบสตรีมมิ่ง เลเยอร์การให้บริการต้องประสานงานการอนุมานโมเดลกับการดึงคุณลักษณะภายในงบประมาณความหน่วงที่จำกัด API ที่มีความหน่วงต่ำจะจัดการกับรูปแบบการเข้าถึงข้อมูลที่ง่ายกว่า โดยทั่วไปจะอ่านจากแคชหรือฐานข้อมูลแบบแบ่งส่วน ซึ่งทำให้คาดเดาได้ง่ายกว่า แต่มีความเป็นส่วนตัวน้อยกว่า
ระบบแนะนำสินค้าหรือบริการ (Recommendation serving) พึ่งพาหน่วยประมวลผลกราฟิก (GPU) และตัวเร่งความเร็วเฉพาะทาง เช่น NVIDIA Triton หรือ TPU มากขึ้นเรื่อยๆ เพื่อจัดการกับภาระการคำนวณของโมเดลการจัดอันดับแบบโครงข่ายประสาทเทียม ส่วน API ที่มีความหน่วงต่ำโดยทั่วไปจะใช้การทำงานที่ปรับให้เหมาะสมกับ CPU บางครั้งอาจใช้การเชื่อมต่อเครือข่ายแบบบายพาสเคอร์เนล (DPDK, RDMA) หรือการเร่งความเร็ว FPGA สำหรับงานด้านการเงินที่ต้องการประสิทธิภาพสูงที่สุด โปรไฟล์การลงทุนด้านฮาร์ดแวร์จึงแตกต่างกันอย่างมากระหว่างสองด้านนี้
ระบบแนะนำจะตรวจสอบตัวชี้วัดทางธุรกิจ เช่น อัตราการคลิกผ่านและการมีส่วนร่วม ควบคู่ไปกับตัวชี้วัดทางเทคนิค เนื่องจากคุณภาพของโมเดลส่งผลกระทบโดยตรงต่อรายได้ ระบบเหล่านี้มักจะลดประสิทธิภาพลงอย่างราบรื่นโดยการเปลี่ยนไปใช้โมเดลที่ง่ายกว่าหรือการจัดอันดับตามความนิยม API ที่มีความหน่วงต่ำจะให้ความสำคัญกับการตรวจสอบตาม SLO (Service Level Objectives) โดยใช้ตัวตัดวงจร การลองใหม่ และการหมดเวลาที่เข้มงวดเพื่อป้องกันความล้มเหลวที่ลุกลามไปยังเครือข่ายบริการต่างๆ
ระบบแนะนำสินค้าหรือบริการก็คือการค้นหาข้อมูลในฐานข้อมูลอย่างรวดเร็วแล้วนำมาจัดอันดับนั่นเอง
ระบบแนะนำสมัยใหม่ผสานรวมการดึงข้อมูลฝังตัว การจัดอันดับด้วยโครงข่ายประสาทเทียม และการค้นหาคุณลักษณะแบบเรียลไทม์ในรูปแบบที่เหนือกว่าการทำงานของฐานข้อมูลแบบดั้งเดิม กระบวนการเรียนรู้ของเครื่อง ความสดใหม่ของคุณลักษณะ และการกำหนดเวอร์ชันของโมเดล เพิ่มความซับซ้อนในระดับที่เครื่องมือค้นหาแบบง่ายๆ ไม่สามารถรับมือได้
ความหน่วงต่ำหมายถึงประสบการณ์การใช้งานที่ดีขึ้นเสมอสำหรับทุกระบบ
การเพิ่มประสิทธิภาพความหน่วงแฝงมีผลตอบแทนที่ลดลง สำหรับระบบแนะนำ การใช้เวลาเพิ่มอีกไม่กี่มิลลิวินาทีเพื่อการจัดอันดับที่ดีขึ้นมักจะช่วยเพิ่มการมีส่วนร่วมได้มากกว่าการลดเวลาตอบสนองลง 10 มิลลิวินาทีสุดท้าย เป้าหมายความหน่วงแฝงที่เหมาะสมที่สุดขึ้นอยู่กับบริบทของผู้ใช้และเป้าหมายทางธุรกิจ
GPU นั้นเร็วกว่า CPU เสมอสำหรับการประมวลผลการคาดการณ์
GPU มีประสิทธิภาพโดดเด่นในการประมวลผลแบบกลุ่ม (batch inference) และโครงข่ายประสาทเทียมขนาดใหญ่ แต่สำหรับโมเดลขนาดเล็กหรือการประมวลผลแบบร้องขอครั้งเดียว ค่าใช้จ่ายในการเริ่มต้นใช้งาน GPU อาจทำให้ CPU ทำงานได้เร็วกว่า จุดที่ประสิทธิภาพเปลี่ยนผ่านนั้นขึ้นอยู่กับขนาดของโมเดล ขนาดของชุดข้อมูล และรูปแบบการรับส่งข้อมูล
การแคชช่วยแก้ปัญหาความล่าช้าทั้งหมดในระบบ API
แคชช่วยจัดการกับงานที่เน้นการอ่านข้อมูลจำนวนมาก แต่ก็ทำให้เกิดปัญหาเรื่องความสม่ำเสมอของข้อมูลและความเสี่ยงจากการเข้าถึงแคชผิดพลาด สำหรับ API ที่เน้นการเขียนข้อมูลจำนวนมากหรือ API ที่ปรับแต่งเฉพาะบุคคล แคชให้ประโยชน์จำกัดและอาจทำให้ความซับซ้อนเพิ่มขึ้นโดยไม่ได้รับประโยชน์ด้านความเร็วในการตอบสนองอย่างมีนัยสำคัญ
การประมวลผลแบบ Edge computing ช่วยลดความจำเป็นในการออกแบบ API ที่มีความหน่วงต่ำ
แพลตฟอร์ม Edge ช่วยลดความหน่วงของเครือข่าย แต่ไม่สามารถแก้ไขปัญหา API ที่ออกแบบมาไม่ดีได้ การเริ่มต้นระบบในสภาพเย็นจัด (cold starts) ข้อมูลขนาดใหญ่ และห่วงโซ่การพึ่งพาแบบซิงโครนัส ยังคงสร้างปัญหาคอขวดอยู่ดี ไม่ว่าผู้ใช้จะอยู่ใกล้กันแค่ไหนในเชิงภูมิศาสตร์ก็ตาม
เลือกใช้ระบบแนะนำที่มีปริมาณงานสูงเมื่อผลิตภัณฑ์ของคุณขึ้นอยู่กับการค้นหาเนื้อหาเฉพาะบุคคลในระดับอินเทอร์เน็ต โดยยอมรับงบประมาณความหน่วงที่สูงขึ้นเล็กน้อยเพื่อแลกกับคุณภาพการจัดอันดับ เลือกใช้ระบบ API ที่มีความหน่วงต่ำเมื่อสร้างโครงสร้างพื้นฐานบริการพื้นฐานซึ่งเวลาตอบสนองที่รวดเร็วและคาดการณ์ได้มีความสำคัญมากกว่าความลึกของการประมวลผลต่อคำขอ
การเปรียบเทียบนี้พิจารณา Amazon Web Services และ Google Cloud โดยการวิเคราะห์ข้อเสนอบริการ รูปแบบการกำหนดราคา โครงสร้างพื้นฐานระดับโลก ประสิทธิภาพ ประสบการณ์ของนักพัฒนา และกรณีการใช้งานที่เหมาะสม เพื่อช่วยให้องค์กรเลือกแพลตฟอร์มคลาวด์ที่ตรงกับความต้องการทางเทคนิคและธุรกิจมากที่สุด
Kafka และ Flink รวมกันเป็นระบบนิเวศการประมวลผลสตรีมแบบกระจายสำหรับไปป์ไลน์ข้อมูลแบบเรียลไทม์ ในขณะที่การประมวลผลในหน่วยความจำช่วยเร่งการวิเคราะห์โดยการเก็บข้อมูลทั้งหมดไว้ใน RAM ซึ่งแต่ละอย่างตอบสนองความต้องการทางสถาปัตยกรรมที่แตกต่างกันโดยพื้นฐานในด้านความเร็ว ขนาด และความคงทน
Operational Intelligence มุ่งเน้นการติดตามผลอย่างต่อเนื่อง การวิเคราะห์เชิงคาดการณ์ และการเพิ่มประสิทธิภาพระบบเชิงรุก ขณะที่ Reactive Incident Response เน้นไปที่การตรวจจับและแก้ไขปัญหาหลังจากที่เกิดขึ้นแล้ว ทั้งสองแนวทางมีบทบาทที่แตกต่างกันแต่เสริมซึ่งกันและกันในการบริหารจัดการโครงสร้างพื้นฐานด้าน IT และคลาวด์สมัยใหม่
Service mesh ที่สร้างขึ้นสำหรับงานด้านแมชชีนเลิร์นนิงนั้นสามารถจัดการกับทราฟฟิกการประมวลผลที่มีปริมาณมากและเปลี่ยนแปลงได้ตลอดเวลา ด้วยการจัดการทราฟฟิกแบบละเอียด ในขณะที่ API gateway แบบดั้งเดิมจะเน้นไปที่การกำหนดเส้นทางการร้องขอ การตรวจสอบสิทธิ์ และการจำกัดอัตราการใช้งานสำหรับไมโครเซอร์วิสมาตรฐาน การเลือกใช้ระหว่างสองแบบนี้ขึ้นอยู่กับว่าสิ่งที่คุณให้ความสำคัญเป็นหลักคือการตรวจสอบและการกำหนดเวอร์ชันโมเดลเฉพาะสำหรับงานแมชชีนเลิร์นนิง หรือการจัดการ API ทั่วไป
กลยุทธ์การแคชในระบบแมชชีนเลิร์นนิงจะจัดเก็บผลลัพธ์ของโมเดลที่คำนวณไว้ล่วงหน้าหรือข้อมูลระดับกลางเพื่อเร่งความเร็วในการเรียกใช้ข้อมูลซ้ำๆ ในขณะที่การคำนวณตามความต้องการจะสร้างผลลัพธ์ใหม่ทุกครั้ง โดยแลกความเร็วกับความเรียบง่ายและลดภาระการจัดเก็บข้อมูลเพิ่มเติม
