Uz žurnāliem balstīta uzraudzība salīdzinājumā ar metriku balstītu uzraudzību
Uz žurnāliem balstīta uzraudzība tver detalizētus notikumu ierakstus padziļinātai problēmu novēršanai, savukārt uz metrikām balstīta uzraudzība laika gaitā izseko skaitliskus datu punktus, lai iegūtu reāllaika ieskatu veiktspējā. Abas pieejas mūsdienu novērošanas sistēmās kalpo atšķirīgiem mērķiem, un lielākā daļa komandu gūst labumu no to kopīgas izmantošanas, nevis vienas izvēles pār otru.
Iezīmes
Žurnāli saglabā notikumu kontekstu kriminālistiskai izmeklēšanai, savukārt metrikas apkopo sistēmas stāvokli ātrai vaicājumu veikšanai.
Metrika nodrošina gandrīz tūlītēju, uz sliekšņiem balstītu brīdināšanu, savukārt žurnālu brīdināšanai ir nepieciešama parsēšana un modeļu saskaņošana.
Žurnālu glabāšanas izmaksas palielinās līdz ar notikumu apjomu un detalizētību, savukārt metrisko datu glabāšana saglabājas kompakta un paredzama.
Abu pieeju apvienošana sniedz pilnīgu novērojamības ainu, kas nepieciešama mūsdienu izkliedētajām sistēmām.
Kas ir Uz žurnāliem balstīta uzraudzība?
Reģistrē atsevišķus notikumus ar kontekstuālām detaļām, nodrošinot kriminālistisko analīzi un cēloņu izpēti izkliedētās sistēmās.
Žurnāli ir strukturēti vai nestrukturēti ar laika zīmogu apzīmēti notikumu ieraksti, ko ģenerē lietojumprogrammas, serveri un infrastruktūras komponenti.
Katrā žurnāla ierakstā parasti ir laika zīmogs, nopietnības līmenis, avota identifikators un aprakstošs ziņojums par notikušo.
Žurnāla datu apkopošanai un meklēšanai parasti tiek izmantoti tādi rīki kā ELK Stack (Elasticsearch, Logstash, Kibana), Splunk un Loki.
Uz žurnāliem balstīta uzraudzība izceļas ar atbildes sniegšanu uz jautājumu “kāpēc tas notika”, jo tā saglabā atsevišķu notikumu pilnu kontekstu.
Žurnālu glabāšanas izmaksas parasti ir augstākas nekā metrikas, jo katrs notikums var saturēt simtiem baitu detalizētas informācijas.
Kas ir Uz metriku balstīta uzraudzība?
Apkopo skaitliskus laika rindu datu punktus, lai reāllaikā izsekotu sistēmas stāvokli, veiktspējas tendences un resursu izmantošanu.
Metrika ir skaitliski mērījumi, kas tiek ņemti paraugos regulāros intervālos, piemēram, centrālā procesora izmantošanas procentuālā daļa, pieprasījuma latentums vai atmiņas patēriņš.
Laika rindu datubāzes, piemēram, Prometheus, InfluxDB un Graphite, ir īpaši izstrādātas, lai efektīvi uzglabātu un vaicātu metriskos datus.
Uz metriku balstīta uzraudzība sniedz atbildes uz jautājumu, "kas notiek tieši tagad", izmantojot informācijas paneļus, brīdinājumus un uz sliekšņiem balstītus paziņojumus.
Viens metrikas datu punkts parasti ir daudz mazāks nekā žurnāla ieraksts, bieži vien tikai nosaukums, laika zīmogs un vērtība.
Pie populāriem vizualizācijas rīkiem pieder Grafana, Datadog informācijas paneļi un CloudWatch metrikas skati.
Salīdzinājuma tabula
Funkcija
Uz žurnāliem balstīta uzraudzība
Uz metriku balstīta uzraudzība
Datu tips
Notikumu ieraksti ar bagātīgu kontekstu
Skaitliski laika rindas datu punkti
Primārais lietošanas gadījums
Cēloņu analīze un atkļūdošana
Reāllaika brīdināšana un tendenču analīze
Uzglabāšanas platība
Lielāks par ierakstu, augstākas uzglabāšanas izmaksas
Kompakti datu punkti, zemākas uzglabāšanas izmaksas
Vaicājuma metode
Pilnteksta meklēšana un filtrēšana
Apkopošana, matemātiskās funkcijas, laika loga vaicājumi
Atbildes laiks
Lēnāks liela mēroga vaicājumiem
Gandrīz tūlītēja informācijas paneļa vaicājumu apstrāde
Vislabāk atbildēšanai
Kāpēc tieši šis notikums notika?
Kāds ir pašreizējais sistēmas stāvoklis?
Bieži sastopamie rīki
ELK Stack, Splunk, Loki, Fluentd
Prometejs, Grafana, Datadog, CloudWatch
Brīdināšanas iespējas
Ierobežots, bieži vien nepieciešami žurnālu parsēšanas noteikumi
Vietējie sliekšņi un uz anomālijām balstīti brīdinājumi
Detalizēts salīdzinājums
Datu granularitāte un konteksts
Uz žurnāliem balstīta uzraudzība fiksē katru atsevišķu notikumu ar apkārtējo kontekstu, tostarp lietotāju ID, pieprasījumu vērtumu, kļūdu kaudzes izsekošanas datus un vides mainīgos. Tas padara žurnālus nenovērtējamus, ja nepieciešams precīzi rekonstruēt notikušo konkrēta incidenta laikā. Turpretī uzraudzība, kuras pamatā ir metrika, apkopo sistēmas darbību skaitliskās vērtībās, upurējot atsevišķu notikumu detaļas kompaktam, vaicājumiem piemērotam formātam, kas labi darbojas ilgtermiņā.
Veiktspēja un mērogojamība
Metriku datubāzes ir optimizētas augstai rakstīšanas caurlaidspējai un ātrai apkopošanai, tāpēc tādas platformas kā Prometheus var viegli apstrādāt tūkstošiem mērķu ik pēc dažām sekundēm. Žurnālu sistēmām ir nepieciešamas lielākas skaitļošanas izmaksas, jo tās indeksē brīvas formas tekstu un atbalsta sarežģītus meklēšanas vaicājumus. Žurnālu apjomiem pieaugot līdz terabaitiem dienā, komandām bieži vien ir jāiegulda daudzpakāpju krātuvē, izlases stratēģijās vai saglabāšanas politikās, lai saglabātu izmaksas pārvaldāmas.
Brīdināšana un redzamība reāllaikā
Metrika izceļas reāllaika brīdināšanā, jo skaitliskā sliekšņa novērtēšana attiecībā pret laika rindu ir skaitļošanas ziņā triviāla. Varat iestatīt brīdinājumus, piemēram, "CPU virs 90% 5 minūtes", ar minimālām papildu izmaksām. Uz žurnāliem balstīta brīdināšana ir iespējama, taču parasti ir nepieciešami parsēšanas noteikumi vai žurnālu vaicājumu dzinēji, lai noteiktu modeļus, kas palielina latentumu un sarežģītību. Lai saņemtu tūlītējus paziņojumus par sistēmas veselību, metrika parasti ir ātrākais veids, kā to izdarīt.
Kļūdu novēršana un kriminālistiskā analīze
Kad kaut kas nedarbojas, žurnāli bieži vien ir pirmā vieta, kur inženieri meklē informāciju, jo tie saglabā notikušā aprakstu. Viens žurnāla ieraksts var atklāt precīzu kļūdas ziņojumu, skarto lietotāju un koda ceļu, kas izraisīja kļūmi. Metrika var pateikt, ka kļūdu līmenis strauji pieauga plkst. 14:34, taču tā reti izskaidro, kāpēc. Tāpēc nobriedušas inženieru komandas žurnālus uzskata par savu izmeklēšanas rīku, bet metrikas - par savu agrīnās brīdināšanas sistēmu.
Izmaksu un uzglabāšanas apsvērumi
Žurnālu glabāšana parasti ir dārgāka nekā metriku glabāšana, jo katrs ieraksts satur vairāk datu un glabāšanas periodi atbilstības vai audita apsvērumu dēļ bieži vien ir ilgāki. Vidēja lieluma lietojumprogramma katru dienu var ģenerēt miljoniem žurnāla rindiņu, vienlaikus radot tikai dažus simtus unikālu metriku sēriju. Daudzas organizācijas ievieš žurnālu izlasi, filtrēšanu avotā vai daudzpakāpju glabāšanu, lai kontrolētu izmaksas, savukārt metriku saglabāšana parasti var ilgt mēnešus vai gadus lēti.
Integrācija mūsdienu novērojamībā
Trīs novērojamības pīlāri ir žurnāli, metrikas un izsekošanas dati, un lielākā daļa ražošanas līmeņa sistēmu balstās uz visiem trim. Metrikas sniedz augsta līmeņa veselības pārskatu, žurnāli piedāvā padziļinātu diagnostikas informāciju, un izkliedētās izsekošanas dati savieno abus, parādot pieprasījumu plūsmas pakalpojumos. Izvēle starp žurnālos balstītu un metrikās balstītu uzraudzību reti ir “vai nu” lēmums; tā vietā komandas izlemj, kā līdzsvarot ieguldījumus katrā no tiem, pamatojoties uz savām darbības vajadzībām un budžetu.
Priekšrocības un trūkumi
Uz žurnāliem balstīta uzraudzība
Iepriekšējumi
+Bagātīga kontekstuālā informācija
+Lieliski piemērots atkļūdošanai
+Atbalsta pilna teksta meklēšanu
+Ieraksta retus notikumus
Ievietots
−Augstākas uzglabāšanas izmaksas
−Lēnāka vaicājumu veiktspēja
−Sarežģīta brīdināšanas iestatīšana
−Nepieciešami parsēšanas noteikumi
Uz metriku balstīta uzraudzība
Iepriekšējumi
+Ātra brīdināšana reāllaikā
+Zemas krātuves izmaksas
+Vienkārša informācijas paneļa izmantošana
+Efektīva apkopošana
Ievietots
−Ierobežots notikuma konteksts
−Nepamana retas anomālijas
−Nepieciešami iepriekš definēti rādītāji
−Mazāk kriminālistikas detaļu
Biežas maldības
Mīts
Lai sistēma darbotos uzticami, nepieciešams tikai viena veida monitorings.
Realitāte
Lielākā daļa ražošanas sistēmu gūst labumu no abām pieejām. Metrika laikus atklāj problēmas, izmantojot brīdinājumus, savukārt žurnāli palīdz inženieriem izprast galveno cēloni, tiklīdz problēma ir atklāta. Paļaušanās tikai uz vienu rada aklās zonas, kas var paildzināt elektroenerģijas padeves pārtraukumus.
Mīts
Baļķi vienmēr ir pārāk dārgi, lai tos ilgstoši turētu.
Realitāte
Lai gan neapstrādātu žurnālu glabāšana var būt dārga, daudzpakāpju glabāšanas stratēģijas, saspiešana un vieda izlase padara ilgtermiņa saglabāšanu iespējamu. Daudzas atbilstības sistēmas faktiski pieprasa glabāt noteiktus žurnālus mēnešiem vai gadiem ilgi, tāpēc izmaksu pārvaldība ir saistīta ar stratēģiju, nevis izvairīšanos.
Mīts
Metrika var aizstāt žurnālus atkļūdošanai.
Realitāte
Metrika norāda, ka kaut kas ir mainījies, bet reti izskaidro, kāpēc. Izmeklējot konkrētu lietotāja sūdzību vai retu kļūdu, žurnāli parasti ir vienīgais veids, kā atrast faktisko cēloni. Metrikai un žurnāliem ir papildinošas lomas incidentu reaģēšanā.
Mīts
Vairāk žurnāla datu vienmēr nozīmē labāku uzraudzību.
Realitāte
Pārmērīga reģistrēšana rada troksni, palielina izmaksas un faktiski var palēnināt problēmu novēršanu. Efektīva, uz žurnāliem balstīta uzraudzība koncentrējas uz jēgpilnu notikumu fiksēšanu, izmantojot strukturētus laukus, nevis visu iespējamo detaļu apkopošanu nestrukturētā tekstā.
Mīts
Uz metriku balstīta uzraudzība automātiski konstatē katru anomāliju.
Realitāte
Metrika nosaka tikai to, ko jūs skaidri mērāt. Ja parādās jauns kļūmes režīms, kuru neviens neiedomājās izsekot, metrika to pilnībā nepamanīs. Turpretī žurnāli fiksē negaidītus notikumus, kamēr lietojumprogramma tos raksta.
Bieži uzdotie jautājumi
Kāda ir galvenā atšķirība starp uz žurnāliem balstītu un uz metrikām balstītu uzraudzību?
Uz žurnāliem balstīta uzraudzība reģistrē atsevišķus notikumus ar detalizētu kontekstu, padarot to ideāli piemērotu atkļūdošanai un kriminālistikas analīzei. Uz metrikām balstīta uzraudzība laika gaitā apkopo skaitliskus datu punktus, padarot to ideāli piemērotu brīdināšanai reāllaikā un tendenču vizualizācijai. Žurnāli atbild uz jautājumiem “kāpēc”, savukārt metrika atbild uz jautājumiem “ko” un “cik daudz”.
Kas ir lētāk — žurnālu uzraudzība vai metriku uzraudzība?
Metriku uzraudzība parasti ir lētāka, jo katrs datu punkts ir mazs un kompakts. Žurnālu uzraudzība izmaksā vairāk žurnālu ierakstu apjoma un detalizētības dēļ, īpaši plašā mērogā. Tomēr izmaksas ir ļoti atkarīgas no saglabāšanas politikām, datu uzņemšanas rādītājiem un konkrētā pārdevēja cenu modeļa.
Vai var veikt brīdināšanu, izmantojot uz žurnāliem balstītu uzraudzību?
Jā, bet tas ir sarežģītāk nekā uz metriku balstīta brīdināšana. Tādi rīki kā Elasticsearch, Splunk un Loki atbalsta brīdinājumu noteikumus, kas tiek aktivizēti, kad parādās konkrēti žurnāla modeļi. Kompromiss ir augstāka latentuma pakāpe un lielākas apstrādes izmaksas salīdzinājumā ar vienkārša skaitliska sliekšņa novērtēšanu.
Kādi rīki ir vislabākie žurnālos balstītai uzraudzībai?
Populāras izvēles iespējas ir ELK Stack (Elasticsearch, Logstash, Kibana), Splunk, Grafana Loki un Fluentd datu apkopošanai. Mākoņpakalpojumu sniedzēji piedāvā arī pārvaldītus pakalpojumus, piemēram, AWS CloudWatch Logs, Google Cloud Logging un Azure Monitor Logs komandām, kas nevēlas pārvaldīt savu infrastruktūru.
Kādi rīki ir vislabākie uz metriku balstītai uzraudzībai?
Prometheus ir visplašāk izmantotā atvērtā pirmkoda opcija, kas vizualizācijai bieži tiek apvienota ar Grafana. Komerciālās platformas, piemēram, Datadog, New Relic un Dynatrace, piedāvā pārvaldītu metriku apkopošanu ar iebūvētu brīdinājumu funkciju. Mākonī bāzētās opcijas ietver AWS CloudWatch Metrics un Google Cloud Monitoring.
Vai ražošanas kļūdu labošanai man vajadzētu izmantot žurnālus vai metrikas?
Vispirms izmantojiet metrikas, lai noteiktu, ka kaut kas nav kārtībā, un pēc tam pārejiet uz žurnāliem, lai izpētītu cēloni. Metrikas sašaurina laika logu un skartās sistēmas, savukārt žurnāli sniedz detalizētu notikumu aprakstu, kas nepieciešams, lai identificētu pamatcēloņu. Šī divpakāpju pieeja ir standarta prakse SRE un DevOps komandās.
Kā žurnāli un metrika darbojas kopā novērojamības ietvaros?
Tie veido divus no trim novērojamības pīlāriem līdzās izkliedētajiem izsekošanas datiem. Metrika sniedz augsta līmeņa veselības ainu, žurnāli nodrošina dziļu diagnostikas informāciju, un izsekošanas dati savieno atsevišķus pieprasījumus dažādos pakalpojumos. Lielākā daļa mūsdienu platformu, piemēram, Datadog, Honeycomb un Grafana steks, integrē visus trīs.
Cik ilgi man jāglabā žurnāli, salīdzinot ar metriku?
Ierasta prakse ir saglabāt metriku 13 mēnešus vai ilgāk, jo to glabāšana ir lēta un tā ir noderīga jaudas plānošanai. Žurnāli bieži tiek glabāti 30 līdz 90 dienas karstā krātuvē, bet vecāki žurnāli tiek arhivēti aukstā krātuvē vai objektu krātuvē, piemēram, S3, atbilstības vai neregulāru izmeklēšanas vajadzību nodrošināšanai.
Vai strukturēta reģistrēšana ir labāka par nestrukturētu uzraudzībai?
Strukturēta reģistrēšana (parasti JSON formātā) ir ievērojami labāka uzraudzībai, jo tā nodrošina uzticamu parsēšanu, filtrēšanu un apkopošanu. Nestrukturētiem žurnāliem ir nepieciešami regulāro izteiksmju modeļi vai manuāla pārskatīšana, kas palēnina gan brīdināšanu, gan atkļūdošanu. Lielākā daļa mūsdienu lietojumprogrammu pēc noklusējuma ģenerē strukturētus žurnālus.
Vai uz metrikām balstīta uzraudzība var atklāt problēmas, kuras žurnālos netiek ievērotas?
Jā, īpaši pakāpeniskas veiktspējas degradācijas vai resursu piesātinājuma gadījumā. Lēna atmiņas noplūde, iespējams, nekad neradīs žurnāla ierakstu, bet laika gaitā tā skaidri parādīsies atmiņas izmantošanas rādītājos. Metrika arī labāk uztver apkopotus modeļus tūkstošos pieprasījumu, kur atsevišķi žurnāla ieraksti būtu pārāk trokšņaini, lai tos analizētu.
Spriedums
Izvēlieties uz žurnāliem balstītu uzraudzību, ja jūsu galvenā vajadzība ir padziļināta atkļūdošana, audita takas vai konkrētu notikumu konteksta izpratne. Izvēlieties uz metrikām balstītu uzraudzību, ja jums ir nepieciešami reāllaika informācijas paneļi, ātra brīdināšana un ilgtermiņa tendenču analīze plašā mērogā. Praksē spēcīgākās novērojamības stratēģijas apvieno abus, izmantojot metrikas agrīnai noteikšanai un žurnālus rūpīgai izmeklēšanai.