Nginx के लिए लॉग एनालाइज़र [बंद]

Question

मेरे पास एक वेब ऐप है जो nginx के साथ चल रहा है और मैं लॉग्स का विश्लेषण करना चाहता हूं ताकि प्रत्येक फ़ाइल को कितनी हिट मिलें, और जो 404s और अन्य त्रुटियां हम पैदा कर रहे हैं (कुछ Google Analytics प्रदान नहीं कर सकते हैं) के बारे में जानकारी प्राप्त करने के लिए।

आम तौर पर मैं सिर्फ एक सर्वर में awstats छोड़ दूंगा, लेकिन nginx के साथ, cgi-bin की कमी के कारण, यह तुच्छ नहीं है। क्या यह जानकारी प्राप्त करने के लिए एक और तुच्छ समाधान है? मेरे लिए यह विश्लेषण करने के लिए किसी तीसरे पक्ष को भुगतान करने में कोई आपत्ति नहीं है।

Answer 1

आप अपने वेब लॉग का विश्लेषण करने और हिट, यूनिक आईपी, टॉप स्टैटिक फाइल्स, टॉप 404s, विभिन्न स्टेटस कोड और बहुत कुछ प्राप्त करने के लिए गोकास्ट का उपयोग कर सकते हैं । यह जानकारी के पहले शीर्ष-स्तरीय सारांश को प्रदर्शित करता है और फिर आपको प्रत्येक मुख्य अध्याय को अंतःक्रियात्मक रूप से ड्रिल करने देता है। आप इसे लॉगफ़ाइल या पाइप खिलाते हैं और यह बहुत तेज़ है।

मैंने इसे यहाँ SF पर खोजा और तब से इसने वेबसर्वर लॉग को देखने के अपने तरीके को बदल दिया है: मैं अवसरवादी, समस्या चालित लॉग विश्लेषण करता हूँ और एनालॉग, awstats और webalizer से असंतुष्ट था।

Comments

वाह, GoAccess का उल्लेख करने के लिए धन्यवाद, यह आश्चर्यजनक है!

— रिची ० Rich६

Answer 2

यदि आप अपने हाथ को गंदा करने के लिए तैयार हैं, तो मैं आपको Logstash + ElasticSearch + Kibana का उपयोग करने की सलाह दूंगा ।

यह आपके द्वारा पूछे जाने वाले कार्यों की तुलना में बहुत अधिक कर सकता है, लेकिन यह वही कर सकता है जो आप अच्छी तरह से पूछते हैं, और आपके पास वास्तव में यह समझने के लिए अपने लॉग ब्राउज़ करने के लिए एक वास्तविक अनुमान होगा कि क्या है - या चल रहा है।

यह किबाना डेमो वेबसाइट है

यह एक ब्लॉग पोस्ट है जो दिखाता है कि इस मंच के साथ Apache Tomcat का विश्लेषण करने के लिए इसे कैसे सेट किया गया है, आप बस इसे अपनी आवश्यकताओं के लिए अनुकूलित कर सकते हैं: http://spredzy.wordpress.com/2013/03/02/monitor-your-cluster -of-बिल्ला-अनुप्रयोगों-साथ-logstash और kibana /

Comments

सही उत्तर के लिए +1।

— टॉम ओ'कॉनर

Answer 3

मुझे इस हफ्ते नग्नेक्स के साथ awstats का उपयोग करना था और आपको आवश्यक रूप से cgi-bin का उपयोग करने की आवश्यकता नहीं है। Awstats awstats_buildstaticpages.pl स्क्रिप्ट के साथ आता है जो स्टैटिक html फाइल्स जेनरेट करेगा जिसे आप फिर ग्रैनेक्स के साथ सर्व कर सकते हैं। क्रॉन जॉब के साथ मैं नियमित रूप से html फाइल अपडेट करता हूं।

/usr/share/doc/awstats/examples/awstats_updateall.pl now -awstatsprog=/usr/lib/cgi-bin/awstats.pl

/usr/share/awstats/tools/awstats_buildstaticpages.pl -update -config=domain.com -dir=/path/to/save/html/files awstatsprog=/usr/lib/cgi-bin/awstats.pl (आपके OS के आधार पर रास्ते थोड़े अलग हो सकते हैं लेकिन आप स्क्रिप्ट ढूंढ पाएंगे)

लॉग रोटेशन के दौरान डेटा हानि को रोकने के लिए आप इस लाइन को अपनी awstats.domain.com.conf फ़ाइल में जोड़ सकते हैं:

LogFile="/usr/share/awstats/tools/logresolvemerge.pl /path/to/log/access.domain.tld.log /path/to/log/access.domain.tld.log.1 |"

जब भी आप अपने डेटा को अपडेट करने के लिए लॉग लाएंगे, स्क्रिप्ट आखिरी 2 लॉग्स को मर्ज कर देगी। या आप निगनेक्स पर एक प्री-लॉगोटेट हुक जोड़ सकते हैं जैसे वे यहां करते हैं: http://www.bytetouch.com/blog/system-administration/how-to-awstats-installation-and-configuration-on.bebian/

Answer 4

कार्यक्षमता के स्तर पर निर्भर करता है जिसकी आपको आवश्यकता होती है, लेकिन AFAIK यह संभव है कि AWStats स्टैटिक फाइलें उत्पन्न करे - इस प्रकार cgi की कोई आवश्यकता नहीं है।

आसपास का दूसरा तरीका - यह होना चाहिए कि फास्टस्टेजी लिपि के रूप में AWStats चल रहा हो। मैं कहूंगा कि यह बहुत ज्यादा हैकिंग नहीं होगी।