10 אספני יומן קוד פתוח לרישום ריכוזי

ההבדל בין מוצרים בינוניים למוצרים מעולים הוא כריתת עצים. למד מדוע זה כך ואיך לקשור את הכל זה לזה.


ממש כמו אבטחה, רישום כניסה הוא מרכיב מרכזי נוסף ביישומי אינטרנט (או אפליקציות בכלל) שנמצא בצד בגלל הרגלים ישנים וחוסר היכולת לראות קדימה. מה שרבים רואים כקצוות קלטת דיגיטלית חסרי תועלת הם כלים רבי עוצמה להסתכל בתוך היישומים שלך, לתקן שגיאות, לשפר אזורים חלשים ולענג לקוחות..

לפני שנמשיך ברישום ריכוזי, הבה נבדוק ראשית מדוע רישום הרישום הוא עניין כה גדול.

שני סוגים (רמות) רישום עצים

מחשבים הם מערכות דטרמיניסטיות, למעט כשהם לא.

כ מפתח מקצועי, נתקלתי במקרים רבים בהם ההתנהגות הנצפית של האפליקציה בלטה את כולם במשך ימים ארוכים, אך המפתח היה תמיד ביומנים. כל פיסת תוכנה שאנו מנהלים מייצרת (או לפחות צריכה לייצר) יומנים, המספרים לנו מה עבר עליהם כאשר התרחש המצב הבעייתי.

כעת, רישום כריתת העין, הוא משני סוגים: מופעל אוטומטית יומנים ו מתכנת שנוצר יומנים. לידיעתך, אין זה הבדל בין ספרי לימוד, והציטוט שלי במינוח זה ינחת אותך בבעיה. ��

התמונה למעלה מציגה את מה שניתן לכנות כ- יומן שנוצר אוטומטית.

במקרה ספציפי זה, מדובר במערכת וורדפרס שרושמת מצב לא צפוי (הודעה) בעת הפעלת קוד PHP. יומנים כמו אלה נוצרים ללא לאות כל הזמן – על ידי כלי מסד נתונים כמו MySQL, שרתי אינטרנט כמו אפאצ’י, שפות תכנות וסביבות, מכשירים ניידים ואפילו מערכות הפעלה..

לעתים רחוקות אלה יש ערך רב, ומתכנתים אפילו לא טורחים לבדוק אותם, אלא כשמשהו משתבש. ברגעים כאלה הם חופרים לעומק היומנים, מנסים להבין מה השתבש.

אבל יומני שנוצר באופן אוטומטי יכולים לעזור רק כל כך הרבה. אם לדוגמה, לכמה אנשים יש גישה למנהל, ואחד מהם קורה במקרה של מחיקת מידע חיוני, אי אפשר לגלות את האשם בשימוש ביומנים שנוצרו אוטומטית. מנקודת המבט של המערכות שקשורות זו לזו כאפליקציה, זה היה עוד יום בעבודה – למישהו הייתה הסמכות הדרושה לבצע משימה, וכך המערכת ביצעה אותה.

מה שצריך כאן הוא שכבה נוספת של כריתת עצים מפורשת ורחבה שיוצרת מסלולים לצד האנושי של הדברים. זה מה שאני מכנה בשם יומנים שנוצרו על ידי מתכנת, והם מהווים את עמוד השדרה של תעשיות רגישות כמו בנקאות. להלן דוגמה כיצד יכולה להיראות ערכת רישום כזו:

מקור: joomlatools.com

רישום זה כוח

אז בהתחשב בשני סוגי היומנים האלה במערכת, כך תוכלו למנף אותם ולהעלות את ההשפעה.

להישאר לפני הלקוח

“תענוג לקוחות” התפרסם כגימיק שיווקי חסר תועלת, אך בזכות כריתת עצים ניתן להפוך אותו לאמיתי ביותר. אני יודע על מוצרים דיגיטליים שעוקבים אחר היומנים שלהם כמו נץ, וברגע שלקוח ישבור משהו בעמוד, הוא יכול להתקשר ללקוח ולהציע לעזור..

רק תחשוב על זה – תוך שניות מרגע שאתה מקבל שגיאה מכוערת, אתה מקבל שיחה מהחברה שאומרת, “היי, אני מבין שניסית להוסיף את הפריט הזה לעגלה, אבל הוא המשיך למות. האם זה בסדר מבחינתי להוסיף הפעם ולהשלים את ההזמנה עבורך? “

לקוח מרוצה? אתה מתערב!

מורל קבוצתי ופרודוקטיביות

כמו שאמרתי קודם, כאשר באגים מתגלים במשך זמן רב, המפתחים בצוות שלך מתוסכלים ומאבדים יותר ויותר זמן במרדף אחר הזנבות שלהם. והנה העניין עם ניפוי באגים – הוא דורש ראש רענן וסקרן. אם WTF חשב כל כך שהוא נכנס למוח שלך, כל התהליך הולך לזרוק.

ומה מקשה על ניפוי באגים? מניסיוני, חוסר כריתת עצים, או חוסר ידיעת כריתת עצים. בתור התחלה, יתכן שלא תבינו שבסיס הנתונים המועדף עליכם הוא גם רק עוד תוכנה שמייצרת יומנים, או שאתם לא רושמים בהרחבה את היישום שלכם (ראה יומנים שנוצרו על ידי מתכנת לעיל).

אני זוכר במיוחד מקרה בו היישום לא הגיב, ואף אחד לא ידע מדוע. כמה ימים לאחר מכן, האשם היה מגבלת הקלט / פלט של הדיסק שהושגה בגלל תנועה מוגזמת. מכיוון שאיש לא טרח להסתכל שם, איש לא הצליח להבין מדוע.

שבילי ביקורת

מה אם שנתיים בתור הלקוח שלך אומר שכל ההזמנות לא הוצאו על ידן אלא האקר כלשהו?

איזה טיעון יצטרך לבדר או לדחות את בקשתם? אם יש לך רישום נרחב (כתובת IP, תאריך ושעה, כרטיס אשראי וכו ‘), תוכל לנתח את כל זה ולהגיע להחלטה. טוב או רע, לפחות יהיה לזה בסיס אובייקטיבי, במקום להידמות לזריקה בחושך.

מקור: חתימה-reads.com

הדבר נכון גם אם אתה נתון תחת עדשה רגולטורית כלשהי או שאתה נדרש לעבור ביקורת של צד ג ‘כחלק מפרויקט חשוב וחדש. אי-שימוש במערכת רישום חזקה תראה אותך באור רע.

שיפור מערכות קיימות

איך אתה הולך בשיפור מערכת נוכחית?

האם עליכם רק לזרוק עליו עוד חוטי זיכרון RAM ומעבד? מה אם האפליקציה שלך איטית למרות מספיק משאבים? איפה צוואר הבקבוק? לעתים קרובות יותר מאשר לא, רישום כניסה הוא התשובה.

למשל, לכל מערכות מסדי הנתונים העיקריות יש תכונה לרישום שאילתות איטיות.

מקור: speedawarenessmonth.com

אם אתה מבקר ביומן השאילתות האיטיות באופן קבוע, תדע אילו פעולות לוקח זמן רב ומכאן תחשוף אזורים קטנים אך חשובים הזקוקים לעבודה. לעתים קרובות, שינוי קטן כזה עובד טוב יותר מכפלת קיבולת החומרה.

אין ספירה כמה דרכים מערכת כניסה טובה עוזרת לך. אולי הטענה הטובה ביותר היא שמדובר בפעילות אוטומטית שברגע שהוקמה, אינה זקוקה למעקב כלשהו, ​​ותחסוך מכם להרוס יום אחד.

אם זה לא יוצא מהדרך, בואו נסתכל על כמה מאספי היומן המפתיעים של קוד פתוח (כלי רישום אחידים) שם בחוץ. למקרה שתהיתם, כיסינו בכלי רישום מסחריים מבוססי ענן בפוסט קודם.

גריילוג

גריילוג הוא אחד השמות המובילים בענף כשמדובר ביכולות כניסה ויזואליזציה בכיתה בתעשייה. זה גם ייחודי בכך שהוא סורק את היומנים שנאספו אחר סימנים של פגיעויות אבטחה ומודיע לך מייד.

בעוד שגריילוג היא מערכת רישום ריכוזית, היא בעלת הגמישות הדרושה לך ומאפשרת לך להתאים התראות, לוחות מחוונים ועוד.

גריילוג זה קוד פתוח, אבל יש תוכנית ארגונית אם הצרכים שלך מורכבים.

כאשר לקוחות כמו SAP, סיסקו ולינקדאין נמצאים בסגל שלה, Graylog הוא כלי שאפשר לסמוך עליו בעיניים עצומות.

Logstash

אם אתה מעריץ או משתמש בערימה האלסטית, Logstash שווה לבדוק (ערימת ELK היא כבר דבר, למקרה שלא ידעת). כמו כלי כניסה אחרים ברשימה זו, התחבר אם מלא קוד פתוח, מה שמאפשר לך את החופש לפרוס ולהשתמש כרצונך.

אך אל תטעה: Logstash הוא ספינת אמהות עם יכולות שעולות בהרבה על כל כלי רישום צנוע. היא מסוגלת לאסוף כמויות עצומות של נתונים ממספר פלטפורמות, מאפשרת לך להגדיר ולבצע צינורות נתונים משלך, להבין מהיכלים לא מובנים של יומנים ועוד.

כמובן שהמגבלה היחידה היא שהיא עובדת עם חבילת המוצרים האלסטית בלבד, אבל אם אתם מתחילים ומחפשים להתארגן בקרוב, Logstash היא הדרך ללכת!

פלואנטד

בין כלי רישום ריכוזיים העובדים כשכבה אמצעית לבליעת נתונים, פלוטנד הוא הראשון בין שווים. עם ספריית תוספים מעולה, פלואנט מסוגלת ללכוד נתונים מכל מערכת ייצור כמעט, ללוש אותם במבנה הרצוי, לבנות צינור מותאם אישית ולהאכיל אותם לפלטפורמת הניתוח האהובה עליך, יהיה זה MongoDB או Elasticsearch..

פלואנט בנויה על רובי, היא לגמרי קוד פתוח, והוא פופולרי בהרבה בגלל הגמישות והמודולריות שלו.

כאשר חברות גדולות כמו מיקרוסופט, אטלסיאן וטוויליו משתמשים בפלטפורמה, לפלואנט אין מה להוכיח. ��

פלומה

אם באמת, מערכי נתונים גדולים באמת הם האתגר שלך, ובסופו של דבר אתה רוצה להזין הכל למשהו כמו Hadoop, פלומה היא אחת האפשרויות הטובות ביותר בסביבה. זהו פרויקט קוד פתוח “טהור”, במובן זה שהוא מתוחזק על ידי קרן אפאצ’ה האהובה שלנו, שמשמעותה שאין תוכנית ארגונית.

יתכן וזה לא מה שאתה מחפש בדיוק. ��

מקור :yondcoder.com

כתוב בג’אווה (שממשיך להדהים אותי בכל מה שקשור לטכנולוגיה פורצת דרך), קוד המקור של פלום הוא כולו פתוח. פלום הוא הטוב ביותר עבורך אם אתה מחפש פלטפורמת צריכת נתונים מבוזרת וסובלנית לתקלות עבור דברים כבד.

אוקטופוסי

אני נותן לו אפס מתוך עשרה לשמות מוצרים, אבל אוקטופוסי יכולה להיות בחירה טובה אם הצרכים שלך פשוטים ואתה תוהה על מה כל המהומה שקשורה לצינורות, בליעה, צבירה וכו ‘..

לדעתי אוקטופוסי מכסה את הצרכים של מרבית המוצרים שבחוץ (הסטטיסטיקה המשוערת היא חסרת תועלת, אבל אם הייתי צריך לנחש, הייתי אומר שזה דואג ל 80% ממקרי השימוש בעולם האמיתי).

לאוקטופוסי אין ממשק משתמש נהדר (ראה כאן) בכלל, אבל זה מפצה על מהירות וחוסר נפיחות. המקור זמין ב GitHub, כצפוי, ואני חושב שזה שווה מבט רציני.

LOGalyze

LOGalyze היה מוצר מסחרי שלאחרונה נעשה קוד פתוח. למרות שלא יכולתי לפרויקט ב- GitHub, הם כן מאפשרים להתקין את התקנת Windows ואת כל קוד המקור.

אם אתה מתכוון לקהילה, תוכל למצוא פרטים על רשימת תפוצה כאן.

LOGalyze הוא הצעה גמישה וחזקה יחסית שתעבוד יפה לפריסה של מערכת יחידה המבקשת לשלב רישום ממקורות ידועים כמו Postfix, Apache וכו ‘, ותפיק את הפלט בפורמטים של CSV, PDF, HTML או דומים. כן, זה לא עושה הכל, אך מכיוון שהיה מוצר מסחרי בפעם אחת, הוא עושה זאת בצורה די טובה.

LogPacker

כשמדובר בבחירת כלי לתפקיד, יש לי שני קריטריונים: זה צריך להיות ממוקד, וזה צריך להיות מגובה על ידי מודל עסקי פעיל. הבעיה עם תוכנת קוד פתוח, באופן כללי, היא שכמה חודשים / שנים בהמשך הדרך, הסיכוי לקיפאון או למוות הם גבוהים. אין ספור כמה כלי רישום הושקו באמצעות גוסטו, רק שנמצא כעת בבית הקברות GitHub.

נמדד במדד זה, LogPacker הוא המועדף עלי.

כפי שאתה יכול לדעת מהמסך המסך, LogPacker עוסק ביומנים ותו לא. הדחיפה שלהם היא בהחלט לקראת הצעות הענן שלהם, אבל אתם יותר ממוזמנים להוריד ולהתקין אותם בשרתים שלכם (דף GitHub כאן).

אשכולות וצבירה זמינים למי שרוצה להשתמש בה בקנה מידה לא טריוויאלי, ותוכניות ארגוניות זמינות שרוצות לעבוד עם ה- API או זקוקות לפריסה גדולה יותר. מינימליסטי מרענן (ממוקד, אם כי לא גרוע בתכונות) לוקח לניהול כריתת עצים לדעתי!

שעון עצים

אני בטוח שיש כאלו שבינינו שלא רוצים את כל הטקס הקשור למערכת רישום “מאוחדת”, “מרכזית”. העסק שלהם מגיע משרתים בודדים, והם מחפשים משהו מהיר ויעיל לצפייה בקבצי היומן שלהם. ובכן, תגיד שלום ל שעון עצים.

לאחר ההתקנה, LogWatch יכול לסרוק את יומני המערכת שלך וליצור דוח מהסוג הרצוי. זוהי פיסת תוכנה מתוארכת במקצת (נקרא “אמין”) ונכתבה בפרל. אז, תזדקק לפרל 5.6+ בשרת שלך כדי להריץ אותו. אין לי צילומי מסך לשתף מכיוון שזהו שורת פקודה בלבד, שזכתה להפגנה.

אם אתה נרקומני של CLI ואוהב את הדרך לעשות דברים בבית הספר הישן, תאהב את Logwatch!

Syslog-ng

ה Syslog-ng הכלי פותח כדרך לעבד קבצי נתונים של סיסלוג (פרוטוקול שרת לקוח לרישום מערכת) בזמן אמת. עם זאת, עם הזמן הוא בא לתמוך בפורמטים אחרים של נתונים: לא מובנים, SQL ו- NoSQL. איך עובד פרוטוקול syslog מסוכמים בצורה די יפה באיור הבא.

syslog-ng הוא כלי איסוף וסיווג יומן אמין וייצור שנכתב ב- C והיה שם מבוסס בענף זה זמן רב. החלק הטוב ביותר הוא ההרחבה שלו, ומאפשר לך לכתוב תוספים ב- C, Python, Java, Lua או Perl..

lnav

קיצור של (יומן ניווט), lnav הוא כלי מסוף טהור שעובד על מכונה יחידה, ספרייה יחידה. זה מיועד לאנשים שביומן שלהם מאוחד לספרייה אחת, או שרוצים לסנן ולהציג יומני זמן אמת ממקור יחיד.

אם חשבתם ש- lnav הוא לא יותר מאשר זנב מפואר, היית טועה. יש כמה תכונות שיגרמו לך להתאהב בזה: תצוגת סדרת זמן, הדפסה יפה (עבור JSON ופורמטים אחרים), מקורות יומן עם קידוד צבע, פילטרים חזקים, יכולת להבין כמה פרוטוקולי כניסה, ועוד.

זה רק שלפעמים אתה רוצה טרחה אפסית, אפס הגדרה, אולי-שכבת רישום זמנית, ו- lnav מתאים לחשבון בצורה מושלמת!

סיכום

ושם יש לך את זה!

זו הייתה רשימה קשה להכין, להיות גלוי, שכן רישום כניסה אינו פופולרי כמו, למשל, ניהול תוכן, ונראה כי כל שיתוף המוח תפס על ידי שלושה או ארבעה כלים. ובכל זאת, הצרכים של כולם שונים, וניסיתי לכסות אותם בהרחבה.

משורת פקודה מטופשת, ללא הגדרת כלים וכלה בביצים מלאים של נתונים, הכל כאן! האם פספסתי משהו? ברור שעשיתי! אנא הודע לי בתגובות, ואשמח להוסיף את זה כאן (עם נקודות זכות, כמובן!).

תגיות:

  • קוד פתוח

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map