Neišsamūs žurnalai fiksuoja dalinius sistemos įvykius paprasto teksto formatu, dažnai praleidžiant svarbų kontekstą, o struktūrizuoti stebimumo duomenys tvarko metrikas, pėdsakus ir žurnalus į užklausoms tinkamus formatus. Struktūrizuotas metodas leidžia greičiau derinti, atlikti gilesnę koreliaciją ir aktyviai reaguoti į incidentus šiuolaikinėse paskirstytose sistemose.
Fragmentuoti paprasto teksto žurnalo įrašai, kuriuose trūksta konteksto, laiko žymų ar koreliacijos identifikatorių, reikalingų visai sistemos rekonstrukcijai.
Schemomis pagrįsta telemetrija, apjungianti žurnalus, metriką ir pėdsakus tokiais formatais kaip JSON arba „OpenTelemetry“, kad būtų galima atlikti vieningą analizę.
| Funkcija | Neišsamūs žurnalai | Struktūrizuoti stebimumo duomenys |
|---|---|---|
| Duomenų formatas | Paprastas tekstas arba pusiau struktūruotos eilutės | JSON, Protobuf arba OpenTelemetry užkoduoti naudingieji kroviniai |
| Užklausų galimybė | Reikalingos paieškos, pagrįstos reguliariosiomis išraiškomis arba grep | Gimtosios lauko lygio užklausos su SQL arba DSL |
| Koreliacijos palaikymas | Rankinis susiuvimas naudojant laiko žymas | Automatiškai naudojant sekimo ID ir aprėpties kontekstą |
| Sandėliavimo efektyvumas | Didelis perteklius, mažas suspaudimo laipsnis | Deduplikuoti laukai, geresnis glaudinimas |
| Derinimo greitis | Lėtas, reikia rankinio nardymo | Greitas, su kryžminio signalo pasukimu |
| Schemos vykdymas | Nėra, formatas priklauso nuo kūrėjo | Apibrėžta „OpenTelemetry“ arba pasirinktinių schemų |
| Įspėjimų integracija | Apribota žurnalais pagrįstais paleidikliais | Metrika, pėdsakai ir žurnalai sujungti viename sraute |
| Kaina pagal mastą | Brangus dėl apimties ir analizavimo išlaidų | Nuspėjama naudojant pakopines saugojimo politikas |
Neišsamūs žurnalai dažnai praranda tokius laukus kaip naudotojų ID, užklausų keliai arba klaidų rinkiniai, kai programos užstringa rašymo metu. Struktūrizuoti stebimumo duomenys užtikrina schemą, kuri nuosekliai fiksuoja šiuos laukus, todėl net daliniai įvykiai išlaiko pakankamai konteksto, kad būtų naudingi. Inžinieriai, tiriantys sutrikimus, gali atkurti visą užklausos gyvavimo ciklą iš struktūrizuotų pėdsakų, o paprasti žurnalai dažnai leidžia jiems spėlioti, kas nutiko tarp dviejų išlikusių įrašų.
Darbas su nepilnais žurnalais paprastai reiškia sudėtingų reguliariųjų išraiškų šablonų arba grep kanalų rašymą, kad būtų išgauti prasmingi laukai. Struktūrizuoti duomenys apverčia šį darbo eigą aukštyn kojomis: kiekvienas laukas jau yra pažymėtas, todėl užklausa, pvz., „rodyti visas vartotojo 4521 užklausas, kurių delsa viršija 2 sekundes“, vykdoma tiesiai duomenų saugykloje. Šis pokytis daugumoje gamybinių scenarijų sutrumpina tyrimo laiką nuo kelių valandų iki minučių.
Paskirstytos sistemos vienu metu generuoja telemetriją iš dešimčių paslaugų, o nepilni žurnalai retai turi bendrą identifikatorių. Struktūrizuotas stebimumas šią problemą išsprendžia sekimo konteksto sklaidos būdu, kai vienas sekimo ID seka užklausą iš krašto apkrovos balansavimo įrenginio per kiekvieną žemesnio lygio mikropaslaugą. Be to, komandos naudojasi laiko žymų suderinimu, kuris sugenda, kai laikrodžiai pasislenka arba įvykiai sujungiami paketais.
Nestruktūrizuoti žurnalai linkę užimti daug vietos saugykloje, nes kiekvienas įrašas kartoja panašias eilutes, pvz., laiko žymas ir paslaugų pavadinimus, be deduplikacijos. Struktūrizuoti formatai suspaudžiami efektyviau, nes pasikartojantys raktai užkoduojami žodynu, o lauko lygio indeksavimas sumažina nuskaitomų duomenų kiekį vienai užklausai. Per metus organizacijos dažnai sutaupo 40–60 % saugyklos vietos, pereidamos nuo neapdorotų žurnalų prie struktūrizuotų stebėjimo srautų.
Stebėjimo ekosistema iš esmės standartizuota „OpenTelemetry“ platformoje, kuri teikia SDK daugumai pagrindinių kalbų ir automatinius instrumentus įprastoms platformoms. Senesniems žurnalų srautams trūksta šios standartizacijos, todėl komandos turi kiekvienai paslaugai palaikyti individualius analizatorius. Tokie tiekėjai kaip „Datadog“, „New Relic“ ir „Grafana“ dabar teikia pirmenybę struktūrizuotam įkėlimui, todėl nepilnus žurnalus vis sunkiau integruoti su šiuolaikiniais įrankiais.
Kai įspėjimai suveikia dėl nepilnų žurnalų, gelbėtojai dažnai neturi aplinkinio konteksto, reikalingo greitam reagavimui. Struktūrizuoti stebimumo duomenys sujungia žurnalus su susijusiais rodikliais ir pėdsakais, todėl įspėjimas apie padidėjusį klaidų dažnį gali būti tiesiogiai susietas su pažeidimo laikotarpiu ir jo priklausomybėmis. Tai sutrumpina vidutinį sprendimo laiką ir padeda komandoms pereiti nuo reaktyvaus gaisrų gesinimo prie proaktyvaus patikimumo inžinerijos.
Daugiau žurnalų visada reiškia geresnį derinimą.
Vien apimtis nepadeda, jei žurnalams trūksta struktūros ar koreliacijos. Tūkstantis nestruktūrizuotų eilučių dažnai atskleidžia mažiau nei dešimt gerai koreliuotų struktūrizuotų įvykių. Kokybė ir kontekstas yra daug svarbesni nei neapdorotas kiekis.
Struktūrizuotas stebimumas tėra išgalvotas registravimas.
Stebimumas apima ne tik žurnalus, bet ir metriką bei pėdsakus, visus susietus bendru kontekstu. Šis trijų pakopų modelis leidžia užduoti klausimus apie sistemos elgseną, į kuriuos vien žurnalai negali atsakyti, pavyzdžiui, kodėl konkrečiame diegime smarkiai padidėjo delsa.
Norint pereiti prie struktūrizuotų duomenų, reikia perrašyti kiekvieną programą.
„OpenTelemetry“ automatinė instrumentacija fiksuoja didžiąją dalį telemetrijos duomenų be kodo pakeitimų, o šalutiniai rinkėjai gali praturtinti esamus žurnalų srautus. Daugelis komandų migruoja palaipsniui, pradėdamos nuo triukšmingiausių paslaugų.
Neišsamūs žurnalai yra pigesni, nes juose saugoma mažiau duomenų.
Nestruktūrizuoti žurnalai dažnai kainuoja brangiau, nes jų neįmanoma suspausti, juos reikia pakartotinai analizuoti ir jie generuoja didesnius indekso failus. Struktūrizuoti formatai pašalina pasikartojančius laukus ir efektyviau suspaudžia, taip sumažindami bendras saugojimo išlaidas.
Žurnalai ir metrika atlieka visiškai skirtingus tikslus ir turėtų likti atskiri.
Šiuolaikinės stebėjimo platformos žurnalus, metriką ir pėdsakus traktuoja kaip vienas kitą papildančius tos pačios sistemos signalus. Jų laikymas atskirai neleidžia atlikti kryžminės signalų analizės, kuri anksti aptinka incidentus ir sutrumpina diagnostikos laiką.
Nepilnus žurnalus rinkitės tik dirbdami su pasenusiomis sistemomis, kurių negalima modifikuoti, arba kai dėl biudžeto apribojimų struktūrizuoti srautai yra neįmanomi. Bet kurioje modernioje paskirstytoje architektūroje struktūrizuoti stebimumo duomenys užtikrina greitesnį derinimą, geresnę koreliaciją ir mažesnes ilgalaikes išlaidas. Komandos, rimtai žiūrinčios į patikimumą, turėtų vertinti perkėlimą kaip pagrindinę investiciją, o ne kaip pasirenkamą atnaujinimą.
„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.
„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.
Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.
Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.
Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.
