Monitorovanie protokolov Nginx a Apache s GoAccess

Monitorujte a analyzujte protokoly webového servera pomocou open source analyzátora protokolov v reálnom čase – GoAccess


Riešenie problémov s webom je zábavné a môže byť frustrujúce, ak nemáte správne nástroje.

Ak podporujete webovú stránku s vysokou návštevnosťou, musíte často analyzovať a monitorovať výkonnosť protokolov webových serverov & plánovanie kapacity. Je to nevyhnutné pre webového inžiniera.

Ručná kontrola menšej veľkosti denníka je v poriadku, ale ak máte veľký súbor, nebolo by zábavné prejsť miliónmi riadkov, aby ste našli metriky..

Preto potrebujete nástroje, ktoré uľahčia prácu správcu a zvýšia jeho produktivitu.

GoAccess je a ľahký open-source log analyzátor ktorý podporuje formát viacerých protokolov a môže sa použiť s niektorým z nasledujúcich spôsobov.

  • Nginx
  • Apache HTTP
  • AWS ELB, S3, CloudFront
  • Google cloud storage

Aké metriky môžete analyzovať pomocou GoAccess?

Takmer všetko, čo zachytíte do denníkov. Na predstavu:

  • Na vybavenie žiadosti je potrebný čas
  • IP návštevníka, DNS, host
  • Prehliadač návštevníka & Podrobnosti o operačnom systéme
  • 404 nenájdené podrobnosti
  • Najlepšie požiadavky / návštevník
  • Bandwidth
  • Statické súbory
  • Geografická poloha
  • Stavový kód
  • a viac..

Hľadáte sledovanie týchto metrík vášho webu?

dobrý!

Na ktorý OS môžete nainštalovať?

GoAccess získal iba jednu závislosť – ncurses. Ak ho môžete nainštalovať, môžete ho použiť ľubovoľný OS.

Je k dispozícii v distribučnom balíku pre:

  • ubuntu
  • Debian
  • fedora
  • CentOS
  • FreeBSD / OpenBSD
  • Slackware
  • Arch Linux
  • gentoo
  • MacOS
  • Windows cez Cygwin

Môžete však tiež stavať zo zdroja alebo ho používať s Dockerom.

Ak ste Dockerom nováčikom, odporúčam vám to zobrať Docker Mastery kurz.

Inštalácia GoAccess na Ubuntu

  • Prihláste sa na server Ubuntu s oprávnením root
  • Na inštaláciu použite apt-get, ako je uvedené nižšie

apt-get install goaccess

jednoduchý.

Inštalácia na serveri CentOS

Prihláste sa na server a vykonajte príkaz yum

yum nainštalovať goaccess

Inštalácia pomocou zdroja na serveri CentOS / Ubuntu

Zostavovanie lásky zo zdroja?

Tu sú kroky.

  • Ak používate, nainštalujte nasledujúce závislosti CentOS

yum install gcc ncurses-devel glib2-devel geoip-devel tokyocabinet-devel

  • Ak používate ubuntu

apt-get install libncursesw5-dev libgeoip-dev make

  • Stiahnite si najnovší balík pomocou wget

wget http://tar.goaccess.io/goaccess-1.2.tar.gz

  • Extrahujte stiahnutý súbor

gunzip –c goaccess-1.2.tar.gz | decht xvf –

  • Prejdite do novovytvoreného priečinka, ktorý ste dostali po výpise

cd goaccess-1.2

  • Kompilujte s príkazom nižšie

./ configure –enable-geoip = dedičstvo –enable-utf8
urobiť
vykonať inštaláciu

Výborne, nainštalovali ste GoAccess a všetko nastavené na analýzu protokolov.

Overte inštaláciu

Po inštalácii stačí spustiť goaccess na príkazovom riadku a malo by vytlačiť použitie ako je uvedené nižšie.

[[Email protected] goaccess-1.2] # goaccess
GoAccess – 1.2
Použitie: goaccess [názov súboru] [možnosti …] [-c] [- M] [- H] [- q] [- d] […]
K príkazu môžu byť dodané aj tieto možnosti:
log & Možnosti formátu dátumu
  –date-format = – Zadajte formát dátumu záznamu. napr.% d /% b /% Y
  –log-format = – Zadajte formát protokolu. Vnútorné úvodzovky musia byť
                                    unikli alebo použite jednoduché úvodzovky.
  –time-format = – Zadajte formát času záznamu. napr.% H:% M:% S
Možnosti používateľského rozhrania
  -c –config-dialog – Okno s výzvou na konfiguráciu denníka / dátumu / času.
  -i –hl-header – Farebné zvýraznenie aktívneho panela.
  -m –with-mouse – Povolí podporu myši na hlavnom paneli.
  –color = – Zadajte vlastné farby. Viac informácií nájdete na stránke manpage
                                    podrobnosti a možnosti.
  –Farba-schéma =<1 | 2 | 3>          – Schémy: 1 => Šedá, 2 => Zelená, 3 => Monokai.
  –html-custom-css = – Zadajte vlastný súbor CSS v správe HTML.
  –html-custom-js = – V správe HTML zadajte vlastný súbor JS.
  –html-prefs = – Nastaviť predvolené preferencie správy HTML.
  –html-report-title = – Nastaví názov a hlavičku stránky správy HTML.
  –json-pretty-print – Formátovanie výstupov JSON bez kariet & odriadkovanie.
  –max-items – Maximálny počet položiek, ktoré sa majú zobraziť na paneli.
                                    Limity nájdete na manuálovej stránke.
  –no-color – Vypne farebný výstup.
  –no-column-names – Nepíšte názvy stĺpcov v termíne output.
  –no-csv-summary – Zakáže súhrnné metriky na výstupe CSV.
  –žiadny pokrok – zakáže metriky postupu.
  –no-tab-scroll – Zakáže rolovanie cez panely na TAB.
  –no-html-last-updated – Skryť naposledy aktualizované pole HTML.
Možnosti servera
  –addr = – Zadajte adresu IP, na ktorú sa má server naviazať.
  –daemonize – Spustiť ako démon (ak je povolený – real-time-html).
  –fifo-in = – Cesta na čítanie pomenovaného kanálu (FIFO).
  –fifo-out = – Cesta k zápisu pomenovaného kanálu (FIFO).
  –origin = – Uistite sa, že klienti posielajú zadanú hlavičku pôvodu
                                    na handshake WebSocket.
  –port = – Zadajte port, ktorý sa má použiť.
  –real-time-html – Povolí výstup HTML v reálnom čase.
  –ssl-cert = – Cesta k certifikátu TLS / SSL.
  –ssl-key = – Cesta k súkromnému kľúču TLS / SSL.
  –ws-url = – URL, na ktoré server WebSocket reaguje.
Možnosti súboru
  –                               – Súbor protokolu, ktorý sa má analyzovať, sa načíta zo stdin.
  -f –log-file = – Cesta k zadaniu súboru denníka.
  -l –debug-file = – Poslať všetky ladiace správy na zadané
                                    súbor.
  -p –config-file = – Vlastný konfiguračný súbor.
  –invalid-request = – Protokol neplatných požiadaviek do zadaného súboru.
  –no-global-config – Nenahrávajte globálny konfiguračný súbor.
Možnosti analýzy
  —agent-list – Povolí zoznam užívateľských agentov podľa hostiteľa.
  -d –with-output-resolver – Povolí IP resolver na výstupe HTML | JSON.
  -e –exclude-ip = – Vylúči jednu alebo viac IPv4 / 6. Umožňuje IP
                                    rozsahy napr. 192.168.0.1-192.168.0.10
  -H –http-protokol = – Nastaví / zruší protokol požiadavky HTTP, ak sa nájde.
  -M –http-method = – Nastavte / odinštalujte metódu požiadavky HTTP, ak je nájdená.
  -o –output = file.html | json | csv – Výstup buď súboru HTML, JSON alebo CSV.
  -q –no-query-string – Ignoruje reťazec dopytu žiadosti. Odstránenie
                                    reťazec dotazu môže výrazne znížiť pamäť
                                    spotreba.
  -r –no-term-resolver – Zakáže IP resolver na výstupe z terminálu.
  –444-as-404 – Neštandardný stavový kód 444 považujte za 404.
  –Počet 4xx-to-unique-count – Pridajte jedinečným návštevníkom chyby klienta 4xx
                                    počítať.
  –all-static-files – Zahrňte statické súbory do reťazca dotazu.
  –crawlers only only – Analyzovať a zobraziť iba prehľadávače.
  –date-spec = – Špecifickosť dátumu. Možné hodnoty: „dátum“
                                    (predvolené) alebo `hr`.
  –double-dekódovať – ​​dekódovať hodnoty s dvojitým kódovaním.
  –enable-panel = – Povolí analýzu / zobrazenie daného panela.
  –hour-spec = – hodinová špecifickosť. Možné hodnoty: “hr”
                                    (predvolené) alebo `min` (desatina min).
  –ignore-crawlers – Ignorovať prehľadávače.
  –ignore-panel = – Ignoruje analýzu / zobrazenie daného panela.
  –ignore-referer = – Ignorovať počítanie referera. Divoké karty
                                    sú povolené. t. j. * .bing.com
  –ignore-status = – Ignoruje analýzu daného stavového kódu.
  –num-tests = – Počet testovaných riadkov. >= 0 (10 predvolených)
  –process-and-exit – Analyzujte denník a výstup bez výstupných údajov.
  –real-os – Zobrazenie skutočných názvov OS. napr. Windows XP, Snow
                                    leopard.
  –sort-panel = PANEL, METRIC, ORDER – Zoradiť panel pri úvodnom načítaní. Napríklad:
                                    –sort-panel = návštevníkov, BY_HITS, ASC. vidieť
                                    Manpage pre zoznam panelov / polí.
  –static-file = – Pridajte príponu statického súboru. napr .: .mp3.
                                    Rozšírenia rozlišujú malé a veľké písmená.
Možnosti GeoIP
  -g –std-geoip – Štandardná GeoIP databáza pre menej pamäte
                                  spotreba.
  –geoip-database = – Zadajte cestu k súboru databázy GeoIP. tj.,
                                    GeoLiteCity.dat, GeoIPv6.dat …
Ďalšie možnosti
  -h –help – Táto pomoc.
  -V –verzia – Zobrazenie informácií o verzii a ukončenie.
  -s –storage – Zobrazenie aktuálnej metódy ukladania. napr. B+
                                    Strom, Haš.
  –dcf – Zobrazí cestu predvolenej konfigurácie
                                    súbor, keď sa nepoužije `-p`.
Príklady nájdete spustením `man goaccess`.
Pre viac informácií navštívte: http://goaccess.io
Autorské práva GoAccess (C) 2009-2016 Gerardo Orellana
[[Email protected] goaccess-1,2] #

Analyzuje sa Nginx & Apache s GoAccess

Jedným z najrýchlejších spôsobov, ako analyzovať access.log, je použitie fparametra.

ex:

goaccess -f access.log

Hore, dávam pokyn na otvorenie súboru access.log. Zobrazí sa vám celkový informačný panel a nasledujúcich 15 oddielov.

  • Jedineční návštevníci za deň
  • Požadované súbory
  • Statické požiadavky (fonty, obrázky, pdf atď.)
  • Nenašli sa (404) žiadosti
  • Podrobnosti o adrese IP hostiteľa
  • Návštevnícke OS
  • Podrobnosti prehliadača
  • Časové rozdelenie
  • referrer
  • Stavový kód HTTP
  • Geografická poloha

Ak sa vybraný súbor aktualizuje v reálnom čase, všimnete si aktualizáciu metrík na termináli. Tu môžete prejsť metriky, ktoré potrebujete analyzovať.

Monitorovanie v reálnom čase cez HTTP

GoAccess vám umožňuje presmerovať výstup do súboru HTML, ktorý môžete použiť na sledovanie v reálnom čase. Toto je užitočné, ak sa nechcete prihlásiť na server zakaždým, keď potrebujete overiť niektoré metriky.

goaccess /var/log/nginx/access.log -o /var/www/geekflare.com/htdocs/real-time.html –log-format = COMBINED – real-time-html

Hore smerujem výstup do súboru real-time.html, ktorý je k dispozícii pod htdocs. Keďže je to htdocs, k tomuto súboru mám prístup z https://geekflare.com/real-time.html, kedykoľvek potrebujem zobraziť metriky.

Krásny prístrojový panel!

Neodporúčam to však robiť vo výrobe. Určite nechcete, aby niekto čítal denníky webového servera a možno budete chcieť použiť nasledujúce obmedzenia.

  • Chráňte súbor pomocou používateľa a hesla
  • Povoliť prístup iba z vašej adresy IP
  • Použite inú adresu URL s vlastným portom a umiestnite ju za bránu firewall, aby mali prístup iba povolené adresy IP / používatelia

GoAccess vyzerá ako výkonný analyzátor protokolov s otvoreným zdrojom. Je ľahký a ZADARMO, takže choďte do toho a skúste to.

Možno vás bude zaujímať aj prehliadač protokolov typu cloud.

Tagy:

  • monitorovanie

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map