मेरी चुनौती
मुझे बहुत सारे डेटा का tcpdumping करने की आवश्यकता है - वास्तव में 2 मोड से प्रोमिसस मोड में छोड़ दिया गया है जो बहुत सारे ट्रैफ़िक देखने में सक्षम हैं।
इसका सारांश प्रस्तुत करना
- सभी ट्रैफ़िक को 2 इंटरफ़ेस से प्रॉम्पस मोड में लॉग इन करें
- उन इंटरफेस को एक आईपी पता नहीं सौंपा गया है
- pcap फाइलें ~ 1G प्रति घुमाई जानी चाहिए
- जब 10 टीबी फ़ाइलों को संग्रहीत किया जाता है, तो सबसे पुरानी ट्रंकिंग शुरू करें
वर्तमान में मैं क्या करता हूं
अभी मैं इस तरह tcpdump का उपयोग करता हूं:
ifconfig ethX promisc
ifconfig ethX promisc
tcpdump -n -C 1000 -z /data/compress.sh -i any -w /data/livedump/capture.pcap $FILTER
$FILTERकि मैं उपयोग कर सकते हैं तो src / डीएसटी फ़िल्टर हैं -i any। इसका कारण यह है, कि मेरे पास दो इंटरफेस हैं और मैं दो के बजाय एक ही थ्रेड में डंप चलाना चाहूंगा।
compress.sh एक और सीपीयू कोर को टार असाइन करने का ख्याल रखता है, डेटा को संपीड़ित करता है, इसे एक उचित फ़ाइल नाम देता है और इसे एक संग्रह स्थान पर ले जाता है।
मैं दो इंटरफेस निर्दिष्ट नहीं कर सकता, इस प्रकार मैंने anyइंटरफ़ेस से फिल्टर और डंप का उपयोग करने के लिए चुना है ।
अभी, मैं कोई हाउसकीपिंग नहीं करता हूं, लेकिन मैं डिस्क पर नजर रखने की योजना बनाता हूं और जब मेरे पास 100 जी बचता है तो मैं सबसे पुरानी फाइलों को मिटा देना शुरू कर दूंगा - यह ठीक होना चाहिए।
और अब; मेरी समस्या
मुझे गिरा हुआ पैकेट दिख रहा है। यह एक ऐसे डंप से है जो कुछ घंटों से चल रहा है और लगभग 250 गीगा पाई फाइलों को इकट्ठा किया गया है:
430083369 packets captured
430115470 packets received by filter
32057 packets dropped by kernel <-- This is my concern
मैं इतने सारे पैकेट गिराए जाने से कैसे बच सकता हूं?
इन चीजों को मैंने पहले ही आजमा लिया या देख लिया
के मूल्य को बदल दिया /proc/sys/net/core/rmem_maxऔर /proc/sys/net/core/rmem_defaultजिसने वास्तव में मदद की - वास्तव में इसने गिराए गए पैकेटों के लगभग आधे हिस्से का ध्यान रखा।
मैंने gulp पर भी गौर किया है - gulp के साथ समस्या यह है, कि यह एक प्रक्रिया में कई इंटरफेस का समर्थन नहीं करता है और इंटरफ़ेस के आईपी एड्रेस नहीं होने पर यह गुस्सा हो जाता है। दुर्भाग्य से, यह मेरे मामले में एक सौदा ब्रेकर है।
अगली समस्या यह है, कि जब ट्रैफ़िक एक पाइप से बहता है, तो मुझे स्वचालित घुमाव नहीं मिल सकता है। एक बहुत बड़ी 10 टीबी फ़ाइल प्राप्त करना बहुत कारगर नहीं है और मेरे पास 10TB + RAM वाली मशीन नहीं है जिस पर मैं वायरशर्क चला सकता हूं, इसलिए यह बाहर है।
क्या तुम्हारे पास कोई सुझाव है? शायद पूरी तरह से मेरे यातायात डंप करने का एक बेहतर तरीका।