Nagios日志服務(wù)器 - 完整的架構(gòu)概述

高層概述

Nagios Log Server 是一個為企業(yè)提供一個集中的位置來發(fā)送他們的機(jī)器生成的事件數(shù)據(jù)（例如，Windows事件日志，Linux系統(tǒng)日志，郵件服務(wù)器日志，網(wǎng)頁服務(wù)器日志，應(yīng)用程序日志）的應(yīng)用程序，它將對消息的內(nèi)容進(jìn)行索引并存儲數(shù)據(jù)，以便以后以近乎實(shí)時的方式進(jìn)行檢索，查詢和分析。

一旦日志數(shù)據(jù)被索引（索引通常在到達(dá)后5秒內(nèi)發(fā)生），就可以使用操作板上的圖形查詢和過濾工具輕松地進(jìn)行分析。Log Server 包括一個快速搜索工具，它將在Google、Bing或Stack Overflow上搜索任何日志事件項(xiàng)目。可以根據(jù)查詢創(chuàng)建警示，并能夠通過電子郵件發(fā)送給您選擇的用戶。警示也可以通過NRDP發(fā)送到Nagios XI/Nagios Core，發(fā)送SNMP Trap，甚至啟動一個自定義腳本。

發(fā)送到Nagios Log Server的數(shù)據(jù)可以自動歸檔到共享的網(wǎng)絡(luò)驅(qū)動器上。歸檔后的數(shù)據(jù)可以在未來的任何時候進(jìn)行恢復(fù)和重新分析。

通俗地說，這意味著它可以用來記錄組織范圍內(nèi)所有機(jī)器和網(wǎng)絡(luò)設(shè)備上發(fā)生的任何日志事件。Log Server的用戶可以通過用戶界面進(jìn)行搜索，在一個中心位置訪問所有這些數(shù)據(jù)。將所有數(shù)據(jù)集中在一個位置的好處是可以比較或關(guān)聯(lián)來自多個設(shè)備的日志數(shù)據(jù)。此外，日志數(shù)據(jù)的自動歸檔將有助于維持某些標(biāo)準(zhǔn)的合規(guī)性，這些標(biāo)準(zhǔn)要求將日志數(shù)據(jù)存儲不同的時間。

常見的應(yīng)用案例

l  一個顯而易見的應(yīng)用是將日志服務(wù)器作為一個高級系統(tǒng)來分析接收到的日志事件，并將重要的項(xiàng)目（如關(guān)鍵錯誤或安全相關(guān)項(xiàng)目）發(fā)送到Nagios Core或Nagios XI

其他的應(yīng)用案例

l  開發(fā)者可以將調(diào)試日志發(fā)送到Log Server，并輕松地過濾掉不重要的信息，只留下感興趣的關(guān)鍵項(xiàng)目

l  企業(yè)可以利用Log Server的圖形和分析功能來分析網(wǎng)頁服務(wù)器日志，不僅可以分析錯誤，還可以確定哪些是常被請求的頁面，訪問者的地理位置，流行的瀏覽器等等

l  通過一個小腳本，用戶可以將Nagios XI或Core的檢查結(jié)果（包括性能數(shù)據(jù)）歸檔，并可以設(shè)置自定義的操作面板，將數(shù)據(jù)可視化（表格、柱狀圖、餅圖等）。

l  Log Server可以用來索引和歸檔IMAP郵箱中的信息，以保證安全或可歷史參考。

l  Log Server也可以接收SNMP陷阱，同樣允許在接收到的陷阱上使用之前的所有功能

Nagios Log Server比基于文本系統(tǒng)的優(yōu)點(diǎn)

Nagios Log Server允許將企業(yè)的所有機(jī)器生成的數(shù)據(jù)存儲在一個中央位置并進(jìn)行索引，允許對所有的日志數(shù)據(jù)進(jìn)行查詢，同時提供關(guān)聯(lián)分析的能力。此外，這些數(shù)據(jù)可以以稱為操作板的自定義視圖的方式呈現(xiàn)給運(yùn)行查詢的用戶，包括任何數(shù)據(jù)字段的結(jié)果表、條形圖、餅圖、折線圖等。此外，日志中被確定為數(shù)字的字段可以在創(chuàng)建/使用圖形/表格功能時進(jìn)行計(jì)算，以提供總計(jì)、最小、最大、平均值等數(shù)據(jù)。

重要的術(shù)語和詞匯

Nagios Log Server是由三個不同的開源組件組合而成：Elasticsearch, Logstash, Kibana. (ELK)

Elasticsearch：Log Server使用的可擴(kuò)展和冗余的數(shù)據(jù)存儲。

Logstash：Log Server的日志接收器--Logstash將日志輸出到Elasticsearch數(shù)據(jù)庫。

Kibana：ELK堆棧的可視化組件--它用于制作操作板，由表格、圖形和其他元素組成。

 

Nagios Log Server與ELK堆棧有何不同

l  系統(tǒng)管理員可以花更多的時間來制作日志可視化，而不是花更少的時間來調(diào)整他們的機(jī)器。

l  NLS由Nagios支持人員通過電話、電子郵件或論壇提供支持。

l  NLS內(nèi)置了認(rèn)證和安全功能。通常情況下，ELK堆棧對任何想要查詢它的人開放--這意味著系統(tǒng)管理員需要花時間為ELK堆棧開發(fā)保護(hù)方法。Nagios日志服務(wù)器內(nèi)置了安全和認(rèn)證功能。

l  NLS內(nèi)置了一個警報(bào)系統(tǒng)--你可以根據(jù)日志查詢通過電子郵件發(fā)出警報(bào)。它還可以與其他幾個Nagios產(chǎn)品結(jié)合，包括Nagios XI。

 

了解Elasticsearch

Elasticsearch是一個透明的組件--它不需要大量的調(diào)整，特別是當(dāng)你的集群很小的時候。

Elasticsearch是首選的數(shù)據(jù)庫，因?yàn)樗J(rèn)是分布式和冗余的。每當(dāng)一個實(shí)例被添加到你的集群中時，Elasticsearch都會通過移動各個碎片的方式確保其數(shù)據(jù)庫適當(dāng)?shù)胤植荚谒泄?jié)點(diǎn)上，從而提高數(shù)據(jù)的彈性。

在上圖中，一個集群中有兩個實(shí)例。 每個實(shí)例包含兩個主碎片（藍(lán)色）和兩個副本碎片（紅色）。 請注意，Elasticsearch永遠(yuǎn)不會將匹配的主分片和副本分片分配給同一實(shí)例，這就是實(shí)現(xiàn)高可用性的方式。

 

了解Logstash

Logstash是Nagios日志服務(wù)器中復(fù)雜的組件，管理員必須要處理。對logstash有一個很好的理解是很有必要的。logstash代理是一個處理流水線，有3個階段：輸入->過濾->輸出。輸入接收傳入的日志，并將這些日志傳遞給過濾器鏈，過濾器修改它們，輸出將它們運(yùn)送到其他地方--在我們的例子中，運(yùn)送到elasticsearch數(shù)據(jù)庫。

輸入

輸入是監(jiān)聽輸入的日志。目前常見的三種輸入是TCP、UDP和syslog。tcp輸入會監(jiān)聽一個指定的TCP端口，并接受該端口上傳來的任何日志。UDP輸入也是一樣的，但它會在UDP端口上監(jiān)聽。在syslog輸入端，事情變得更加復(fù)雜--每一條進(jìn)入syslog輸入端的日志都會自動應(yīng)用 "syslog "過濾器。作為參考，syslog過濾器是一個簡單的grok過濾器，看起來像這樣：

 

"match" => { "message" => "<%{POSINT:priority}>%{SYSLOGLINE}"

 

過濾器

過濾器是Logstash鏈中重要的部分。如果你花時間學(xué)習(xí)任何東西，請學(xué)習(xí)過濾器。如果你有正則表達(dá)式的背景，這將會有所幫助。正則表達(dá)式語法并不需要很長時間來學(xué)習(xí)，而且在生成自己的過濾器時，它對你的幫助是巨大的。網(wǎng)上有很多免費(fèi)的教程可以學(xué)習(xí)。

Logstash 過濾器將從輸入鏈傳遞下來的日志解析到你定義的 "過濾器"。在應(yīng)用過濾器之前，您的日志很可能是非結(jié)構(gòu)化的，并且沒有應(yīng)用到它們的 "字段"。過濾后，您可能會看到如下字段：

 

字段之所以重要，是因?yàn)樗鼈兡軌騽?chuàng)建圖形和可視化：

 

輸出

輸出允許您從外部發(fā)送日志數(shù)據(jù)，這是一個更復(fù)雜的主題，并且對于Nagios Log Server功能不是必需的。