लॉगोट्रोट के साथ लॉग को कैसे संपीड़ित और साफ करें लेकिन उन्हें घुमाएं नहीं

Question

मेरे पास एक टॉमकैट सर्वर है जो एक वाल्व ( org.apache.catalina.valves.FastCommonAccessLogValve ) के माध्यम से एक्सेस लॉग बनाता है । यह वाल्व एक्सेस लॉग फ़ाइल को घुमाने का ख्याल रखता है, लेकिन उन्हें संपीड़ित करने या कुछ समय बाद हटाने का नहीं।

फिलहाल, मेरे पास एक क्रॉन जॉब है जो find [...] -mtime +30 [...]लॉग्स को संपीड़ित करने और हटाने के लिए उपयोग करता है। मैं लॉग लॉग का उपयोग करूंगा, ताकि लॉग लॉग सभी लॉग्स के लिए एक केंद्रीकृत स्थान पर हो। मैं सिर्फ एक टोमेट के लिए अलग समाधान होने की तरह नहीं है।

मैंने लॉगरेट प्रलेखन को पढ़ने की कोशिश की, लेकिन मैं अभी भी थोड़ा खोया हुआ हूं। क्या मैं लॉग फ़ाइलों को केवल संपीड़ित और साफ़ करने के लिए लॉगरोट का उपयोग कर सकता हूं? मुझे यह कैसे करना है ?

या समस्या को घुमाते हुए, क्या एक टॉमकैट एक्सेस लॉग वाल्व है जो लॉग फ़ाइलों को संपीड़ित और साफ़ करेगा?

मदद के लिए शुक्रिया !

Comments

Btw: FastCommonAccessLogValve 6.0 में पदावनत है tomcat.apache.org/tomcat-6.0-doc/api/org/apache/catalina/valves/...

— Janning

Answer 1

बहुत आसान है कि मैंने इस तरह के काम देखे हैं।

/Etc/logrotate.d में एक फ़ाइल बनाएँ जिसे निम्नलिखित कहा जाता है:

/var/log/tomcat/catalina.out { 
  copytruncate 
  daily 
  rotate 7 
  compress 
  missingok 
}

यह दैनिक चलता है , फ़ाइल को सेक करता है, और 7 दिनों के मूल्य ( 7 को घुमाए ) रखता है । कॉपीरटकेट का मतलब है कि यह कॉपी करेगा और फिर मूल फ़ाइल को काट देगा ताकि टॉमकैट को पुनरारंभ करने की कोई आवश्यकता न हो। यदि यह नहीं है तो ओके गुम नहीं होगा।

Access.log वाल्व को घूर्णन योग्य या गलत जोड़कर घुमाने के लिए नहीं बदला जा सकता है: -

<Valve className="org.apache.catalina.valves.AccessLogValve
     ...
     ...
     suffix="log" rotatable="false" />

Comments

मेरी समस्या यह है कि catalina.out के विपरीत, मेरा एक्सेस लॉग पहले से ही घुमाया गया है।

— गिलियूम

ठीक है, वाल्व तर्क में रोटेटेबल = गलत सेट करके एक्सेस लॉग रोटेशन को अक्षम किया जा सकता है। इसे शामिल करने के लिए उत्तर दिया गया।

— डेकाडो

Answer 2

संशोधित टिमप की स्क्रिप्ट - बहुत पुरानी फ़ाइलों को हटाने, पुरानी संपीड़ित फ़ाइलों के लिए जोड़ा गया स्कैन।

#!/bin/bash
#
# TPP 2013-02-21
# RJK 2014-08-14
#
# Tomcat apps use a variety of loggers, mostly log4j.
# These rotate, conflicting with logrotate, the unix log rotation system.
#
# Some files eg catalina.out
# are rotated to a backup containing a date eg catalina.2013-01-06.log
# which can then be compressed with bz2 to catalina.2013-01-06.log.bz2
# or removed if older than a given number of days(MTIME).
#
cd /var/log/tomcat6
# 2013-02-21
DATE=`date --rfc-3339=date`
YEAR=`date +%Y`
MILLENIUM=20
# 2014-08-14
MTIME=14
# 2014-08-14
#for f in $(find catalina* |grep -v bz2 |grep -v '$DATE' |grep $YEAR)
for f in $(find catalina* |grep -v bz2 |grep -v '$DATE' |grep $MILLENIUM)
do
 # 2014-08-14
 if test `find $f -mtime +$MTIME`
 then
   echo "rm -f $f"
   rm -f $f
 else
   echo "bzip2 $f"
   bzip2 $f
 fi
done
# However others are active whilst containing a date
# so we will find all and not compress the most recent
for l in 'localhost*' 'opt-db*' 'opt*' 'host-manager*' 'manager*'
do
 export previous=
 for f in $(find $l |grep -v bz2 |sort)
 do
  if [ "${previous}" != "" ]
  then
    echo "bzip2 ${previous}"
    bzip2 $previous
  fi
  export previous=$f
 done
done
# 2014-08-14
for f in $(find *bz2)
do
 if test `find $f -mtime +$MTIME`
 then
   echo "rm -f $f"
   rm -f $f
 fi
done
exit 0 

Answer 3

मैं टॉमकैट कॉन्फ़िगरेशन को बदलना नहीं चाहता था, इसलिए एक स्क्रिप्ट बनाई जिसने घुमाए गए फ़ाइलों को संकुचित किया

#! / Bin / bash
#
# टीपीपी 2013-02-21
#
# टॉमकैट ऐप कई तरह के लॉगर का इस्तेमाल करते हैं, जिनमें ज्यादातर लॉग 4 जे हैं।
# ये रोटेट, लॉगरोट के साथ परस्पर विरोधी, यूनिक्स लॉग रोटेशन सिस्टम। 
#
# कुछ फाइलें जैसे जी हां catalina.out
# एक बैकअप के लिए एक तिथि पर घुमाया जाता है जैसे कि उत्प्रेरित
# जिसे फिर bz2 से उत्प्रेरित किया जा सकता है
#

cd / var / log / tomcat6

# 2013-02-21
DATE = `तिथि --rfc-3339 = date`
YEAR = `तिथि +% Y`

f में $ के लिए (कैटलिना * खोजें | grep -v bz2 | grep -v '$ DATE' | grep $ YEAR)
करना
 इको "bzip2 $ f" 
 bzip2 $ f
किया हुआ

# हालाँकि अन्य लोग डेट पर रहते हुए सक्रिय हैं
# इसलिए हम सभी पाएंगे और सबसे हाल ही में संपीड़ित नहीं करेंगे
'लोकलहोस्ट * *' ऑप्ट-डीबी * '' ऑप्ट * '' होस्ट-मैनेजर * '' मैनेजर * '' में l के लिए
करना
 निर्यात पिछले =
 f में $ के लिए ($ l खोजें | grep -v bz2 | Sort)
 करना
  अगर ["$ {पिछला}"! = ""]
  फिर
    गूंज "bzip2 $ {पिछले}" 
    bzip2 $ पिछला
  फाई
  निर्यात पिछले = $ f
 किया हुआ
किया हुआ

बाहर निकलें 0

Answer 4

यह आश्चर्यजनक रूप से सरल है। बस लोगरोट को बताएं कि आप किन फाइलों को विशेष रूप से घुमाना चाहते हैं। nocreateबताता है कि पुराने को स्थानांतरित करने के बाद एक खाली फ़ाइल को फिर से बनाना नहीं है (यदि आप फ़ाइलों को एक सबफ़ोल्डर में घुमा रहे हैं)।

/var/log/tomcat/catalina.out.* { 
  daily 
  nocreate
  compress 
  missingok 
}

Answer 5

Local_access_log.YYYY-MM-DD.txt संपीड़न के लिए मैंने इस पोस्ट को देखने के बाद यह स्क्रिप्ट लिखी है: -

#!/bin/bash
#
# If Tomcat uses server.xml config to rotate localhost_access_log,
# the daily rotated logs will need compressing and old ones deleted to stop filling
# the log partiton. Cannot use the system logrotate command as conficts with tomcat rotate
# therefore run this script in a daily cronjob
#
# localhost_access_log.2015-09-03.txt
#
# Add this script in /etc/cron.daily/ owned by root
#

CATALINA_BASE=`ps aux | grep catalina.base | awk -F'catalina.base\=' '{print $2}' | awk '{print $1}'`

if [ ! $CATALINA_BASE ]
then
    if [ -r /var/lib/tomcat8 ]
    then
        CATALINA_BASE=/var/lib/tomcat8
    else
        echo "Error: cannot find CATALINA_BASE"
        exit 1
    fi
fi

cd ${CATALINA_BASE}/logs

if [ $? -ne 0 ]
then
    echo "Error, cannot cd to logs directory, quitting...."
    exit 1
fi

# today's date (not to be gzipped)
DATE=`date --rfc-3339=date`
# number of days to keep
MTIME=28

# Compress all previous days uncompressed logs
for log in `ls localhost_access_log* | grep -v bz2 | grep -v $DATE`
do
    bzip2 $log
done

# delete old logs
find . -name "*.bz2" -mtime +$MTIME -exec rm {} \;

exit 0

Answer 6

एक सरल समाधान यहाँ प्रदान किया गया है। इसमें s3 अपलोड विकल्प भी शामिल है।

https://yottabrain.org/tomcat/tomcat-log-backup/

Comments

डोमेन चला गया है ... Wayback: web.archive.org/web/20170410025123/http://www.techiewiki.org/…

— बिल मैकगोनिगेल