कफका: लगातार FETCH_SESSION_ID_NOT_FOUND प्राप्त करना

मुझे लगातार FETCH_SESSION_ID_NOT_FOUND मिल रहा है। मुझे यकीन नहीं है कि ऐसा क्यों हो रहा है। क्या कोई मुझे यहां बता सकता है कि समस्या क्या है और उपभोक्ताओं और दलालों पर क्या प्रभाव पड़ेगा।

काफ्का सर्वर लॉग:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

कफका उपभोक्ता लॉग:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

क्लस्टर विवरण:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)

apache-kafka

— हृषिकेश मिश्रा
स्रोत

मुझे कफ़्का जावा क्लाइंट संस्करण 2.3.1 के साथ यही त्रुटि मिल रही है। क्या किसी के पास कोई विचार है?

— बर्ट एस।

@ BertS.in इस मूल्य को बढ़ाएंmax.incremental.fetch.session.cache.slots

— हृषिकेश मिश्रा

Hi @HrishikeshMishra यह था (टिप्पणी के ऊपर) इस समस्या का हल क्या है? क्या आप इसे अपनी पोस्ट के उत्तर के रूप में और यदि संभव हो तो थोड़े बहुत स्पष्टीकरण के साथ जोड़ सकते हैं। मेरे पास एक ही मुद्दा है, मैं आपके उपरोक्त समाधान का परीक्षण करूंगा।

— जॉर्ज कैम्पोस

यह एक INFO लॉग है। इसे नजरअंदाज करने के क्या मायने हैं?

— बर्ट एस।

जवाबों:

का मान बढ़ाएँ max.incremental.fetch.session.cache.slots। डिफ़ॉल्ट मान 1K है, मेरे मामले में मैंने इसे 10K तक बढ़ा दिया है और इसे ठीक कर दिया है।

— हृषिकेश मिश्रा
स्रोत

क्या यह ब्रोकर पर एक सेटिंग है?

— बर्ट एस।

हां, इसकी ब्रोकर सेटिंग

— हृषिकेश मिश्रा

क्या ऐसा कुछ है जो उपभोक्ता या निर्माता की तरफ से किया जा सकता है?

— बर्ट एस।

निर्माता और उपभोक्ता अंत में कुछ भी आवश्यक नहीं है।

— हृषिकेश मिश्रा

मुझे अपने उपभोक्ता पर त्रुटि दिखाई देती है। मेरे पास ब्रोकर को संशोधित करने की पहुंच नहीं है। क्या यह मेरे लिए चिंता का विषय होना चाहिए?

— बर्ट एस।

मैंने इसे पहली बार 1K से बढ़ाकर 2K किया है, और दूसरे चरण में 2K से 4K तक, और जब तक यह सीमा समाप्त नहीं हुई थी, इसमें कोई त्रुटि नहीं थी:

जैसा कि यह मुझे कुछ अज्ञात उपभोक्ता द्वारा एक सत्र रिसाव की तरह लग रहा था, मैंने अभी तक 10K की सीमा की कोशिश नहीं की, लेकिन हृषिकेश मिश्रा के जवाब को पढ़कर, मैं निश्चित रूप से करूंगा। क्योंकि, सीमा बढ़ने से त्रुटि की आवृत्ति भी कम हो गई है, इसलिए व्यक्तिगत उपभोक्ता समूहों की पहचान करने का प्रश्न जो कि वृद्धिशील भ्रूण सत्रों की अत्यधिक संख्या को खोल रहा है, यहां उल्लेख किया गया है कि काफ्का क्लस्टर में उपयोग किए जाने वाले वृद्धिशील भ्रूण सत्र कैश स्लॉट की वास्तविक संख्या की जांच कैसे करें? , अंत में अप्रासंगिक हो सकता है।

— hdjur_jcv
स्रोत