A kézbesítetlen levelek sorai és a memórián belüli újrapróbálkozások két alapvetően eltérő megközelítést képviselnek az üzenetfeldolgozási hibák kezelésében elosztott rendszerekben: a DLQ-k tartósan elkülönítik a problémás üzeneteket, míg a memórián belüli újrapróbálkozások könnyűsúlyú, alacsony késleltetésű helyreállítást kínálnak a perzisztencia terhelése nélkül.
Állandó üzenetsorok, amelyek rögzítik a sikertelen üzeneteket későbbi ellenőrzés és újrafeldolgozás céljából.
Azonnali újrapróbálkozási logika végrehajtása ugyanazon a folyamaton belül, külső üzenetmegőrzés nélkül.
| Funkció | Kéznélküli levelek sorai | Memórián belüli újrapróbálkozások |
|---|---|---|
| Kitartás | Tartós üzenettárolás külön sorban | Efemer, csak az alkalmazás memóriájában él |
| Hibaelhárítás | Túléli az alkalmazás összeomlását és újraindítását | Elveszett, ha a folyamat leáll az újrapróbálkozás során |
| Infrastruktúra költsége | További sortárolási és átviteli költségek | Nincs további infrastruktúra az alkalmazáson túl |
| Működési láthatóság | Beépített mérőszámok, riasztások és visszajátszási lehetőségek | Egyéni naplózást és monitorozást igényel |
| A késleltetés hatása | Nagyobb késleltetés a sorműveletek miatt | Minimális késleltetés, azonnali újrapróbálkozás |
| Használati eset illeszkedése | Kritikus munkafolyamatok, amelyek garantált feldolgozást igényelnek | Nem kritikus műveletek átmeneti hibákkal |
| Üzenetsorrend | Megőrizheti vagy megzavarhatja az eredeti sorrendet | Természetes módon fenntartja a folyamat közbeni sorrendet |
| Csapatmunka | Lehetővé teszi a javítás és a visszajátszás külön csapattulajdonlását | Szorosan összekapcsolva az alkalmazástelepítéssel |
A kézbesítetlen levelek sorai akkor remekelnek, ha egyáltalán nem veszíthetsz el üzeneteket. Amint egy üzenet megérkezik egy DLQ-ba, ott is marad, amíg valaki explicit módon nem foglalkozik vele, még akkor is, ha a teljes szolgáltatás újraindul. Ezzel szemben a memóriában lévő újrapróbálkozások a levegőbe olvadnak, ha a pod összeomlik, vagy a folyamat leáll a telepítés során. Ez teszi a DLQ-kat kézenfekvő választássá pénzügyi tranzakciókhoz, készletfrissítésekhez vagy bármilyen megfelelőséggel kapcsolatos feladathoz.
memórián belüli újrapróbálkozások kétségtelenül gyorsak. Nincs hálózati ugrás, nincs sor API-hívás, nincs szerializálási terhelés, csak egy gyors alvás és újrapróbálkozás. Nagy áteresztőképességű rendszereknél, amelyek másodpercenként több ezer üzenetet dolgoznak fel, ez a különbség összeadódik. A DLQ-k mérhető késleltetést okoznak, különösen akkor, ha az üzeneteknek át kell haladniuk a hálózati határokon, hogy elérjék a különálló sorszolgáltatást. Egyes csapatok hibridizálnak, memórián belüli újrapróbálkozásokat használnak a gyors átmeneti javításokhoz, és DLQ-kat végső biztonsági hálóként.
A DLQ-k egyértelmű működési határokat hoznak létre. Az ügyeletes mérnököt értesítik, megvizsgálja a kézbesítetlen levelek várólistáját, kijavítja a mögöttes hibát, és visszajátssza az üzeneteket. Ez egy jól érthető munkafolyamat. A memórián belüli újrapróbálkozások eltemetik a hibákat az alkalmazásnaplókban, ami gyakran naplóösszesítést és egyéni irányítópultokat igényel ahhoz, hogy egyáltalán tudjuk, mi történik az újrapróbálkozásokkal. Amikor az újrapróbálkozások kimerülnek, a hibafeloldók rémálma, különösen a mikroszolgáltatásokban, ahol a hiba a későbbiekben is továbbterjedhet, mielőtt bárki észrevenné.
A felhőalapú várólista-szolgáltatások kérésenként és tárolt üzenetenként számláznak. Egy forgalmas, több millió üzenettel rendelkező DLQ nem triviálisan befolyásolhatja a számlát, különösen, ha a megőrzési szabályzatok nagylelkűek. A memórián belüli újrapróbálkozások lényegében ingyenesek az infrastruktúra szempontjából, bár memóriát fogyasztanak, és más szálakat kiéheztethetnek, ha az újrapróbálkozási viharok nincsenek korlátozva. A költségérzékeny induló vállalkozások esetében ez gyakran a memórián belüli megközelítések felé billenti a mérleget, amíg a bevétel nem indokolja a megbízhatósági prémiumot.
Az eseményvezérelt architektúrák és a szerver nélküli függvények minden eddiginél relevánsabbá tették a DLQ-kat. Az AWS Lambda, az Azure Functions és a Google Cloud Functions mind natívan támogatják a kézbesítetlen betűk konfigurációit. A memórián belüli újrapróbálkozások természetesebben illeszkednek a hagyományos alkalmazásszerverekbe és a hosszan futó folyamatokba. A Kubernetes és az efemer számítás térnyerése valójában bonyolulttá tette a memórián belüli stratégiákat, a konténerek kevés figyelmeztetéssel leállíthatók, így a DLQ-k egyre vonzóbbak még azoknak a csapatoknak is, amelyek korábban kerülték őket.
A kézbesítetlen levelek sorai kiküszöbölik az alkalmazásokban az újrapróbálkozási logika szükségességét.
A DLQ-k a célállomások az újrapróbálkozások kimerülése után, nem pedig az újrapróbálkozási logika helyettesítője. A legtöbb implementáció továbbra is azonnali vagy késleltetett újrapróbálkozásokat hajt végre, mielőtt egy üzenetet halottnak tekintene. Köztes újrapróbálkozások nélkül minden átmeneti hiba azonnal elárasztaná a DLQ-t.
A memórián belüli újrapróbálkozások mindig gyorsabbak, és ezért jobbak a teljesítmény szempontjából.
Míg az egyes újrapróbálkozások gyorsabbak, a korlátlan memórián belüli újrapróbálkozások telíthetik a szálkészleteket és ronthatják a rendszer teljes átviteli sebességét. A teljesítménybeli előny gyorsan eltűnik, amikor az újrapróbálkozási viharok megszakítókat váltanak ki, vagy túlterhelik a downstream szolgáltatásokat.
A kézbesítetlen levelek várólistáján lévő üzenetek később automatikusan feldolgozásra kerülnek.
DLQ-k passzív tárolók, semmi sem történik ezekkel az üzenetekkel, amíg kifejezett emberi vagy automatizált beavatkozás nem történik. Sok csapat fedezett fel hónapokkal ezelőtti üzeneteket a DLQ-kban, mivel senki sem építette fel a visszajátszási folyamatot.
Kizárólag a DLQ-k és a memórián belüli újrapróbálkozások között kell választania.
Ezek a minták gyönyörűen kiegészítik egymást. A legellenállóbb rendszerek a memórián belüli újrapróbálkozásokat exponenciális visszalépéssel használják a gyors helyreállítás érdekében, majd egy ésszerű küszöbérték után DLQ-kra eszkalálódnak. Ez a rétegzett megközelítés mind az átmeneti, mind az állandó hibamódokat lefedi.
A memórián belüli újrapróbálkozások nem alkalmasak elosztott rendszerek esetén.
Bár kevésbé robusztusak, mint a DLQ-k, a memórián belüli újrapróbálkozások továbbra is gyakoriak és megfelelőek az elosztott rendszerekben idempotens, nem kritikus műveletekhez. A kulcs az újrapróbálkozási stratégia összehangolása a hiba tényleges üzleti következményével, és nem az egyetlen minta mindenkire illeszkedő feltételezése.
A kézbesítetlen levelek sorai megakadályozzák az üzenetek elvesztését rendszerkiesések esetén.
DLQ-k csak azoknál az üzeneteknél segítenek, amelyeket a sorkezelő rendszer már elfogadott. Ha az üzenet hálózati partíció vagy a létrehozó hibája miatt soha nem éri el az elsődleges várólistát, a DLQ nem tudja varázsütésre helyreállítani. A teljes körű megbízhatósághoz a létrehozói oldali perzisztencia is szükséges.
Válassza a kézbesítetlen levelek sorát, ha az üzenetvesztés elfogadhatatlan, és az operatív csapatoknak egyértelmű hibahatárokat kell kezelniük. Válassza a memórián belüli újrapróbálkozásokat, ha a sebesség a legfontosabb, az infrastruktúra egyszerűsége az elsődleges, és a hibák valóban átmenetiek, nem pedig szisztémásak. Sok fejlett rendszer valójában mindkettőt kombinálja, memórián belüli újrapróbálkozásokat használva az azonnali helyreállításhoz, és DLQ-kat végső biztonsági megoldásként.
Az adaptív infrastruktúra dinamikusan alkalmazkodik a változó munkaterhelésekhez automatizálás és valós idejű skálázás révén, míg a statikus infrastruktúra-tervezés fix, előre konfigurált erőforrásokra támaszkodik. A köztük való választás a munkaterhelés változékonyságától, a költségvetés kiszámíthatóságától és a felhőkörnyezeten belüli működési érettségtől függ.
Az adatátviteli szűk keresztmetszetek lelassítják a gépi tanulási folyamatokat azáltal, hogy korlátozzák az információk sebességét a tároló, a memória és a számítási erőforrások között, míg a modellszámítási szűk keresztmetszetek akkor keletkeznek, amikor a GPU vagy a CPU feldolgozási teljesítménye válik korlátozó tényezővé. A különbség megértése segít a csapatoknak optimalizálni az infrastrukturális kiadásokat és a képzési hatékonyságot.
felhasználói azonosító szerinti adatfelosztás egyedi felhasználói azonosítók alapján osztja el a rekordokat az előre látható hozzáférési minták érdekében, míg a földrajzi hely szerinti felosztás régiók szerint osztja fel az adatokat a késleltetés minimalizálása és az adatszuverenitási törvények betartása érdekében. Mindkét stratégia megoldja a méretezési kihívásokat, de alapvetően eltérő prioritásokhoz optimalizál.
Az adatfolyam-optimalizálás a nyers adatok hatékony mozgatására és elemzési célú átalakítására összpontosít, míg a modellfolyamat-optimalizálás a gépi tanulási modellek betanítását, validálását és telepítését egyszerűsíti. Mindkettő kritikus fontosságú a skálázható MI-rendszerek számára, de a gépi tanulási életciklus különböző szakaszait célozzák meg.
Az adatinfrastruktúra réteg kezeli a nyers adatfolyamatok tárolását, feldolgozását és kezelését, míg a modellképzési réteg az algoritmusok futtatására összpontosít a gépi tanulási modellek betanításához. Mindkettő elengedhetetlen a mesterséges intelligencia rendszerekben, de alapvetően eltérő szerepet töltenek be a fejlesztési életciklusban.
