10 atvirojo kodo žurnalų, skirtų centralizuotai medienos ruošai

Skirtumas tarp vidutiniškų ir puikių gaminių yra medienos ruoša. Sužinokite, kodėl taip yra ir kaip visa tai susieti.


Kaip ir saugumas, registravimasis yra dar viena pagrindinė žiniatinklio programų (ar apskritai programų) sudedamoji dalis, dėl kurios pasensta dėl senų įpročių ir nesugebėjimo pamatyti ateities. Tai, ką daugelis mato kaip nenaudingą skaitmeninių juostų rėžimą, yra galingi įrankiai, skirti apžvelgti programas, ištaisyti klaidas, pagerinti silpnas vietas ir pradžiuginti klientus.

Prieš pradėdami centralizuotą registravimą, pirmiausia pažvelkime, kodėl medienos ruoša yra tokia didelė problema.

Du medienos ruošos tipai (lygiai)

Kompiuteriai yra deterministinės sistemos, išskyrus tuos atvejus, kai jų nėra.

Kaip profesionalus kūrėjas, Man teko susidurti su daugeliu atvejų, kai stebimas programos elgesys daugelį dienų trikdė visus, tačiau raktas visada buvo žurnaluose. Kiekvienas mūsų naudojamas programinės įrangos gaminys sukuria (arba bent jau turėtų sugeneruoti) žurnalus, kuriuose nurodoma, ką ji išgyveno iškilus probleminei situacijai..

Dabar, kaip matau, medienos ruoša yra dviejų tipų: automatiškai sugeneruotas rąstai ir programuotojo sukurtas rąstai. Atminkite, kad tai nėra jokio vadovėlio diferenciacija, ir cituodamas mane šioje terminijoje jūs pateksite į bėdą. ��

Aukščiau pateiktas paveikslėlis parodo, ką galima pavadinti automatiškai sugeneruotas žurnalas.

Šiuo konkrečiu atveju tai yra „WordPress“ sistema, registruojanti netikėtą sąlygą (pranešimas), kai paleidžiamas PHP kodas. Tokie žurnalai generuojami nenuilstamai visą laiką – naudojant duomenų bazių įrankius, tokius kaip „MySQL“, žiniatinklio serverius, tokius kaip „Apache“, programavimo kalbas ir aplinką, mobiliuosius įrenginius ir net operacines sistemas..

Jie retai kada turi didelę vertę, o programuotojai net nesivargina jų ieškoti, išskyrus atvejus, kai kažkas nutinka ne taip. Tokiais momentais jie gilinasi į žurnalus, bandydami suprasti, kas nutiko.

Bet automatiškai sugeneruoti žurnalai gali padėti tik tiek. Pavyzdžiui, jei keli žmonės turi administratoriaus prieigą prie svetainės ir, pavyzdžiui, vienas iš jų ištrina esminę informaciją, neįmanoma nustatyti kaltininko naudojant automatiškai sugeneruotus žurnalus. Žvelgiant iš sistemų, susietų kaip taikomoji programa, tai buvo tik dar viena darbo diena – kažkas turėjo reikalingus įgaliojimus atlikti užduotį, todėl sistema ją atliko.

Čia reikalingas papildomas aiškių ir išsamių duomenų registravimo sluoksnis, kuris sukuria pėdsakus žmogiškųjų dalykų pusėms. Tai yra tai, ką aš vadinu programuotojų sugeneruoti žurnalai, ir jie sudaro jautrių pramonės šakų, tokių kaip bankininkystė, stuburą. Štai pavyzdys, kaip gali atrodyti tokia registravimo schema:

Šaltinis: joomlatools.com

Miško kirtimas yra galia

Taigi, atsižvelgiant į šiuos du sistemos žurnalų tipus, štai kaip galite juos panaudoti ir sustiprinti poveikį.

Buvimas priešais klientą

„Klientų malonumas“ tapo žinomas kaip nenaudingas rinkodaros triukas, tačiau, naudodamasis medienos ruoša, jis gali būti labai realus. Aš žinau apie skaitmeninius produktus, kurie stebi jų žurnalus kaip vanagas, ir kai tik klientas ką nors sugadina puslapyje, gali paskambinti klientui ir pasiūlyti padėti.

Tik pagalvok apie tai – per kelias sekundes po negražios klaidos gauni skambutį iš bendrovės, kuri sako: „Ei, aš suprantu, kad jūs bandėte įtraukti šią prekę į krepšelį, tačiau ji vis mirdavo. Ar man tinka pridėti šį laiką ir užpildyti užsakymą jums? “

Ar malonus klientas? Jūs lažintis!

Komandos moralė ir produktyvumas

Kaip jau sakiau anksčiau, kai klaidos ilgą laiką netaikomos, jūsų komandos kūrėjai nusivilia ir vis daugiau laiko praranda persekiodami uodegas. Čia yra derinimo dalykas – nuo pat pradžių reikia gaivaus ir smalsumo. Jei WTF galvoja tiek, kiek patenka į tavo smegenis, visas procesas nugrimzta.

Ir kas apsunkina derinimo procesą? Mano patirtis rodo, kad trūksta medienos ruošos ar žinių apie medienos ruošą. Pradedantiesiems galite nesuvokti, kad mėgstama duomenų bazė taip pat yra tik dar viena programinė įranga, generuojanti žurnalus, arba jūs nesate intensyviai prisijungęs prie savo programos (žr. Aukščiau programuotojų sugeneruotus žurnalus).

Ypač prisimenu atvejį, kai paraiška neatsakė ir niekas nežinojo, kodėl. Po kelių dienų kaltininkas buvo disko I / O apribojimas, pasiektas dėl per didelio srauto. Kadangi niekas nesivargino ten ieškoti, niekas negalėjo suprasti, kodėl.

Audito pėdsakai

Ką daryti, jei po dvejų metų jūsų klientas sako, kad visus tuos užsakymus pateikė ne jie, o koks nors įsilaužėlis?

Kokį argumentą reikėtų patenkinti ar atmesti jų prašymą? Jei turite daug žurnalų (IP adresas, data ir laikas, kreditinė kortelė ir kt.), Galėsite analizuoti visa tai ir priimti sprendimą. Gerai ar blogai, jis bent jau turės tam tikrą objektyvų pagrindą, užuot priminęs kadrą tamsoje.

Šaltinis: signature-reads.com

Tas pats pasakytina ir apie tai, jei patenkate į kai kuriuos norminius objektyvus arba reikalaujate atlikti trečiosios šalies auditą kaip naujo svarbaus projekto dalį. Neturėdami tvirtos registravimo sistemos, parodysite blogą apšvietimą.

Esamų sistemų tobulinimas

Kaip sekasi tobulinti dabartinę sistemą?

Ar turėtumėte tik įmesti daugiau RAM ir CPU gijų? O kas, jei jūsų programa lėta, nepaisant pakankamai išteklių? Kur yra trūkumas? Dažniausiai atsakymas yra medienos ruoša.

Pavyzdžiui, visos pagrindinės duomenų bazių sistemos turi registravimo funkciją lėtos užklausos.

Šaltinis: speedawarenessmonth.com

Jei reguliariai lankotės lėtų užklausų žurnale, sužinosite, kurios operacijos ir užima daugiausiai laiko, taigi atskleisite mažas, bet svarbias sritis, kuriose reikia darbo. Dažnai toks nedidelis pakeitimas veikia geriau, nei dvigubai padidėja aparatinės įrangos talpa.

Neskaičiuojama, kiek būdų jums gali padėti gera registravimo sistema. Ko gero, geriausias argumentas yra tai, kad tai yra automatizuota veikla, kurią sukūrus nereikia jokio stebėjimo ir kuri jus išgelbės nuo žlugimo tam tikrą dieną.

Neatsižvelgdami į tai, pažvelkime į keletą nuostabių atvirojo kodo žurnalų kolekcionierių (vieningus registravimo įrankius). Tik tuo atveju, jei jums įdomu, ankstesniame įraše apžvelgėme komercinius debesijos pagrindu sukurtus registravimo įrankius.

„Greylog“

„Greylog“ yra vienas iš pirmaujančių pavadinimų pramonėje, kai kalbama apie pramonės lygio registravimo ir vizualizacijos galimybes. Jis taip pat išskirtinis tuo, kad nuskaito jūsų surinktus žurnalus, ar nėra saugumo spragų, ir nedelsdamas apie tai praneša.

Nors „Graylog“ yra centralizuota registravimo sistema, ji turi reikalingą lankstumą, leisdama jums pritaikyti įspėjimus, prietaisų skydelius ir dar daugiau.

Greylog yra atviro kodo, tačiau yra įmonės planas, jei jūsų poreikiai yra sudėtingi.

Turėdamas tokių klientų kaip SAP, „Cisco“ ir „LinkedIn“, „Graylog“ yra įrankis, kuriuo galite pasitikėti užmerkę akis.

„Logstash“

Jei esate „Elastic stack“ gerbėjas ar vartotojas, „Logstash“ verta patikrinti (ELK rietuvė jau yra dalykas, jei nežinojote). Kaip ir kiti registravimo įrankiai šiame sąraše, „Logstash“, jei visiškai atviro kodo, suteikiant jums laisvę diegti ir naudoti kaip norite.

Neapsigaukite: „Logstash“ yra motinystė, turinti daug didesnių galimybių nei bet koks nuolankus registravimo įrankis. Tai gali surinkti didžiulį duomenų kiekį iš kelių platformų, leidžia apibrėžti ir vykdyti savo duomenų kanalus, įprasminti nestruktūrizuotų žurnalų sąvartynus ir dar daugiau.

Žinoma, vienintelis apribojimas yra tai, kad jis veikia tik su „Elastic“ gaminių komplektu, tačiau jei jūs jau pradedate ir norite greitai padidinti mastelį, „Logstash“ yra būdas eiti!

Sklandžiai

Tarp centralizuotų registravimo įrankių, kurie veikia kaip vidurinis duomenų kaupimo sluoksnis, Flutend yra pirmasis tarp lygus. Turėdama puikią papildinių biblioteką, „Fluentd“ gali kaupti duomenis iš beveik bet kurios gamybos sistemos, sutalpinti juos į norimą struktūrą, sukurti pasirinktinį dujotiekį ir pateikti jį į savo mėgstamą analizės platformą, nesvarbu, ar tai būtų „MongoDB“, ar „Elasticsearch“..

Fluentd yra pastatytas ant Ruby, yra visiškai atviro kodo, ir yra labai populiarus dėl savo lankstumo ir moduliškumo.

Esant tokioms didelėms bendrovėms kaip „Microsoft“, „Atlassian“ ir „Twilio“, naudojančioms platformą, „Fluentd“ neturi nieko įrodyti. ��

Flumas

Jei tikrai, tikrai dideli duomenų rinkiniai yra jūsų iššūkis, ir jūs galų gale norite viską sukaupti į kažką panašaus į Hadoop, Flumas yra vienas geriausių pasirinkimų. Tai „grynas“ atvirojo kodo projektas ta prasme, kurį prižiūri mūsų mylimasis „Apache“ fondas, vadinasi, nėra įmonės plano.

Tai gali būti tai, ko tiksliai ieškote. ��

Šaltinis: outsidecoder.com

Parašytas „Java“ (kuris mane ir toliau stebina, kai kalbama apie novatoriškas technologijas), „Flume“ šaltinio kodas yra visiškai atviras. „Flume“ jums labiausiai tinka, jei ieškote paskirstytos, gedimams atsparios duomenų perdavimo platformos, skirtos sunkioms prekėms..

Aštuonkojis

Aš suteikiu jį nuliui iš dešimties už produktų įvardijimą, bet Aštuonkojis gali būti geras pasirinkimas, jei jūsų poreikiai yra paprasti ir jums įdomu, kas yra visas nerimas, susijęs su vamzdynais, prarijimu, sujungimu ir pan..

Mano nuomone, „Octopussy“ patenkina daugumos ten esančių produktų poreikius (apskaičiuota statistika yra nenaudinga, tačiau, jei turėčiau spėlioti, sakyčiau, ji priima 80% naudojimo atvejų realiame pasaulyje)..

„Octopussy“ neturi puikios vartotojo sąsajos (žr čia), bet tai kompensuoja dėl greičio ir pūtimo trūkumo. Šaltinis yra „GitHub“, kaip tikėtasi, ir aš manau, kad verta rimtai pasidomėti.

LOGalyze

LOGalyze buvo komercinis produktas, kuris neseniai tapo atvirojo kodo. Nors aš negalėjau sukurti projekto „GitHub“, jie sukuria „Windows“ diegimo programą ir atsisiunčia visą šaltinio kodą..

Jei ketinate kurti bendruomenę, galite rasti išsamios informacijos apie adresų sąrašą čia.

„LOGalyze“ yra gana lankstus ir galingas pasiūlymas, kuris puikiai tiks diegiant vienos sistemos įrenginius, kuriuose siekiama derinti registravimąsi iš žinomų šaltinių, tokių kaip „Postfix“, „Apache“ ir kt., Ir pateikti išvestį CSV, PDF, HTML ar panašiais formatais. Taip, tai daro ne viską, bet kadangi tai vienu metu buvo komercinis produktas, tai daro gana gerai.

„LogPacker“

Kai reikia pasirinkti įrankį šiam darbui, turiu du kriterijus: jis turi būti sutelktas ir pagrįstas aktyviu verslo modeliu. Apskritai atviro kodo programinės įrangos problema yra ta, kad kelis mėnesius / metus pakeliui yra didelė stagnacijos ar mirties tikimybė. Neįmanoma suskaičiuoti, kiek registravimo įrankių buvo paleista saugiai, tik dabar juos rasite „GitHub“ kapinėse..

Išmatuota pagal šį kriterijų, „LogPacker“ yra mano mėgstamiausia.

Kaip jūs galite pasakyti iš ekrano kopijos, „LogPacker“ yra viskas apie žurnalus, o ne kas kita. Jų pastangų neabejotinai siekiama jų debesies paslaugų teikimo link, tačiau jūs esate daugiau nei laukiami, jei norite atsisiųsti ir įdiegti jį savo serveriuose („GitHub“ puslapis čia).

Tvarkaraščiai ir agregacija yra prieinami norintiems naudoti ne trivialiu mastu, o galimi įmonių planai, kurie nori dirbti su API arba reikalauja didesnių diegimų. Mano nuomone, atnaujinantis minimalistinis (tikslingas, nors ir silpnas) bruožų tvarkymas!

Žurnalas

Esu tikras, kad tarp mūsų yra tokių, kurie nenori, kad visos ceremonijos būtų susijusios su „suvienodinta“, „centralizuota“ registravimo sistema. Jų verslas kyla iš atskirų serverių ir jie ieško kažko greito ir efektyvaus stebėdami savo žurnalinius failus. Na, pasisveikink Žurnalas.

Įdiegęs „LogWatch“ gali nuskaityti jūsų sistemos žurnalus ir sukurti norimo tipo ataskaitą. Vis dėlto tai šiek tiek pasenusi programinė įranga (skaitykite „patikima“), ji buvo parašyta Perle. Taigi, jums reikės serverio „Perl 5.6+“, kad jį paleistumėte. Neturiu jokių ekrano kopijų, kuriomis galėčiau bendrinti, nes tai yra tik komandinė eilutė, sudemonstruotas procesas.

Jei esate CLI narkomanas ir mėgstate senosios mokyklos elgsenos būdą, jums patiks „Logwatch“!

„Syslog-ng“

„Syslog-ng“ įrankis buvo sukurtas kaip būdas apdoroti syslog (nustatytą kliento ir serverio protokolą sistemos registravimui) duomenų failus realiuoju laiku. Tačiau laikui bėgant ji palaikė kitus duomenų formatus: nestruktūrizuotą, SQL ir NoSQL. Toliau pateiktoje iliustracijoje yra apibendrinta, kaip veikia „syslog“ protokolas.

syslog-ng yra gamybos lygio, patikimas žurnalų rinkimo ir klasifikavimo įrankis, kuris buvo parašytas C kalba ir jau seniai žinomas pramonėje. Geriausia yra jo išplėtimas, leidžiantis rašyti papildinius C, Python, Java, Lua ar Perl.

lnav

Trumpas („Log Navigator“), lnav yra gryno terminalo įrankis, veikiantis viename kompiuteryje, viename kataloge. Tai tiems, kurie savo žurnalus sujungia į vieną katalogą arba nori filtruoti ir rodyti realiojo laiko žurnalus iš vieno šaltinio.

Jei manėte, kad „lnav“ yra ne kas kita, kaip pašlovintas „tailf | grep“, jūs klystate. Yra keletas funkcijų, kurios privers jus įsimylėti: laiko eilučių vaizdas, gražus spausdinimas (JSON ir kitiems formatams), spalvomis pažymėti žurnalo šaltiniai, galingi filtrai, galimybė suprasti kelis registravimo protokolus ir dar daugiau.

Tiesiog kartais norisi be vargo, nulio nustatymo, galbūt laikino registravimo sluoksnio, o „lnav“ puikiai tinka sąskaitai!

Išvada

Ir ten jūs tai turite!

Atvirai sakant, sunku buvo sudaryti sąrašą, nes registracija nėra tokia populiari, kaip, tarkime, turinio valdymas, ir atrodo, kad visas „mindshare“ yra patrauktas trimis ar keturiais įrankiais. Vis dėlto kiekvieno poreikiai yra skirtingi ir aš stengiausi juos patenkinti.

Čia viskas – nuo kvailo komandinės eilutės, jokių sąrankos įrankių iki išsamių duomenų suvestinių – tai viskas! Ar aš kažko praleidau? Aš, žinoma, padariau! Praneškite man komentaruose ir aš su malonumu pridėsiu jį čia (žinoma, su kreditais!).

ŽENKLAI:

  • Atviro kodo

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map