एक अपस्ट्रीम यूनिक्स सॉकेट में नग्नेक्स थ्रूपुट को बढ़ाने की आवश्यकता है - लिनक्स कर्नेल ट्यूनिंग?


28

मैं एक nginx सर्वर चला रहा हूँ जो एक अपस्ट्रीम यूनिक्स सॉकेट के लिए एक प्रॉक्सी की तरह काम करता है:

upstream app_server {
        server unix:/tmp/app.sock fail_timeout=0;
}

server {
        listen ###.###.###.###;
        server_name whatever.server;
        root /web/root;

        try_files $uri @app;
        location @app {
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header X-Forwarded-Proto $scheme;
                proxy_set_header Host $http_host;
                proxy_redirect off;
                proxy_pass http://app_server;
        }
}

कुछ ऐप सर्वर प्रक्रियाएं, बदले में, अनुरोधों को /tmp/app.sockउपलब्ध होने के रूप में बंद कर देती हैं। यहां उपयोग में आने वाला विशेष ऐप सर्वर यूनिकॉर्न है, लेकिन मुझे नहीं लगता कि यह इस प्रश्न के लिए प्रासंगिक है।

मुद्दा यह है, यह सिर्फ लगता है कि लोड की एक निश्चित राशि पिछले है, nginx एक तेज पर्याप्त दर पर सॉकेट के माध्यम से अनुरोध प्राप्त नहीं कर सकता है। इससे कोई फर्क नहीं पड़ता कि मैंने कितने ऐप सर्वर प्रोसेस सेट किए हैं।

मुझे इन संदेशों की बाढ़ nginx त्रुटि लॉग में मिल रही है:

connect() to unix:/tmp/app.sock failed (11: Resource temporarily unavailable) while connecting to upstream

कई अनुरोधों के परिणामस्वरूप स्थिति कोड 502 है, और जो पूरा होने में लंबा समय नहीं लेते हैं। नेगनेक्स क़तार क़ानून को 1000 के आसपास बताता है।

वैसे भी, मुझे ऐसा लगता है कि मुझे यहाँ कुछ स्पष्ट याद आ रहा है, क्योंकि nginx और ऐप सर्वर का यह विशेष विन्यास बहुत सामान्य है, विशेषकर Unicorn के साथ (यह वास्तव में अनुशंसित विधि है)। क्या कोई लिनक्स कर्नेल विकल्प हैं जिन्हें सेट करने की आवश्यकता है, या नगनेक्स में कुछ है? अपस्ट्रीम सॉकेट में थ्रूपुट को कैसे बढ़ाया जाए, इसके बारे में कोई विचार? कुछ ऐसा जो मैं स्पष्ट रूप से गलत कर रहा हूं?

पर्यावरण पर अतिरिक्त जानकारी:

$ uname -a
Linux servername 2.6.35-32-server #67-Ubuntu SMP Mon Mar 5 21:13:25 UTC 2012 x86_64 GNU/Linux

$ ruby -v
ruby 1.9.3p194 (2012-04-20 revision 35410) [x86_64-linux]

$ unicorn -v
unicorn v4.3.1

$ nginx -V
nginx version: nginx/1.2.1
built by gcc 4.6.3 (Ubuntu/Linaro 4.6.3-1ubuntu5)
TLS SNI support enabled

वर्तमान कर्नेल ट्विक्स:

net.core.rmem_default = 65536
net.core.wmem_default = 65536
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_mem = 16777216 16777216 16777216
net.ipv4.tcp_window_scaling = 1
net.ipv4.route.flush = 1
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1
net.core.somaxconn = 8192
net.netfilter.nf_conntrack_max = 524288

एल्गिन उपयोगकर्ता के लिए यूलिमेट सेटिंग:

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 20
file size               (blocks, -f) unlimited
pending signals                 (-i) 16382
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65535
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

क्या आपने ulimitविशेष रूप से खुली फ़ाइलों की संख्या के आउटपुट की जांच की ?
खालिद

@ खालिद, ulimit -nकहते हैं 65535
बेन ली

जवाबों:


16

ऐसा लगता है कि टोंटी अपने आप में नगीनेक्स होने के बजाय सॉकेट को शक्ति प्रदान करने वाला ऐप है। जब हम एक टीसीपी / आईपी कनेक्शन के साथ सॉकेट के साथ उपयोग करते हैं, तो हम इसे पीएचपी के साथ बहुत कुछ देखते हैं। हमारे मामले में, Nginx की तुलना में PHP की अड़चनें पहले कभी थीं, हालाँकि।

क्या आपने sysctl.conf कनेक्शन ट्रैकिंग सीमा, सॉकेट बैकलॉग सीमा पर जाँच की है

  • net.core.somaxconn
  • net.core.netdev_max_backlog

2
मैने समस्या के बारे में पता लगाया। मैंने जो उत्तर पोस्ट किया है, उसे देखें। यह वास्तव में था , एप्लिकेशन bottlenecking, नहीं सॉकेट बस के रूप में आप का मानना है। मैंने गलत निदान के कारण पहले यह फैसला सुनाया था, लेकिन पता चला कि समस्या एक अन्य सर्वर के माध्यम से थ्रूपुट थी। कुछ घंटों पहले ही यह पता लगा। मैं आपको इनाम देने जा रहा हूं, क्योंकि आपने प्रश्न में गलत निदान के बावजूद भी समस्या के स्रोत को बहुत ज्यादा परेशान किया है; हालाँकि, मेरे जवाब के लिए चेकमार्क देने जा रहा हूँ, क्योंकि मेरा जवाब सटीक परिस्थितियों का वर्णन करता है ताकि भविष्य में इसी तरह के मुद्दे पर किसी को मदद मिल सके।
बेन ली

एक नया सर्वर पर्याप्त थ्रूपुट प्रदान करने के लिए एक स्थान पर चला गया, पूरी तरह से सिस्टम को फिर से बनाया, और अभी भी वही समस्या है। तो यह पता चला कि मेरी समस्या सब के बाद अनसुलझी है ... = (मुझे अभी भी लगता है कि यह ऐप-विशिष्ट है, लेकिन कुछ भी नहीं सोच सकता। यह नया सर्वर बिल्कुल दूसरे सर्वर की तरह सेट किया गया है जहां यह ठीक काम कर रहा है। हां, somaxconn netdev_max_backlog सही ढंग से तैयार हैं।
बेन ली

आपका मुद्दा nginx नहीं है, यह सक्षम से अधिक है - लेकिन यह कहना नहीं है कि आपके पास एक दुष्ट सेटिंग नहीं हो सकती है। जब सीमाएं सही तरीके से कॉन्फ़िगर नहीं की जाती हैं, तो सॉकेट उच्च लोड के तहत विशेष रूप से संवेदनशील होते हैं। क्या आप इसके बजाय अपने एप्लिकेशन को tcp / ip के साथ आज़मा सकते हैं?
बेन लेसानी - सोनासी 20

tcp / ip के उपयोग से और भी बदतर परिमाण के साथ एक ही समस्या (लिखो कतार तेजी से चढ़ती है)। मेरे पास एक अलग मशीन पर nginx / unicorn / कर्नेल है, जो बिल्कुल एक जैसा है (जहां तक ​​मैं बता सकता हूं) सेट किया गया है और दूसरी मशीन इस समस्या का प्रदर्शन नहीं कर रही है। (मैं दो मशीनों के बीच डीएनएस को स्विच कर सकता हूं, लाइव लोड परीक्षण प्राप्त करने के लिए, और 60 सेकंड के टीटीएल पर डीएनएस कर सकता हूं)
बेन ली

प्रत्येक मशीन और एक db मशीन के बीच थ्रूपुट अब एक ही है, और नई मशीन और db मशीन के बीच विलंबता पुरानी मशीन और db के बीच की तुलना में लगभग 30% अधिक है। लेकिन 30% अधिक कि एक मिलीसेकंड का दसवां हिस्सा समस्या नहीं है।
बेन ली

2

आप unix_dgram_qlenदेखने की कोशिश कर सकते हैं , खरीद डॉक्स देखें । यद्यपि यह कतार में अधिक इंगित करके समस्या को जटिल कर सकता है? आपको देखना होगा (netstat -x ...)


इसके साथ कोई प्रगति?
jmw

1
इस विचार के लिए धन्यवाद, लेकिन इससे कोई फर्क नहीं पड़ा।
बेन ली

0

मैंने config / unicorn.rb में बैकलॉग संख्या बढ़ाकर हल किया ... मेरे पास 64 का बैकलॉग हुआ करता था।

 listen "/path/tmp/sockets/manager_rails.sock", backlog: 64

और मुझे यह त्रुटि मिल रही थी:

 2014/11/11 15:24:09 [error] 12113#0: *400 connect() to unix:/path/tmp/sockets/manager_rails.sock failed (11: Resource temporarily unavailable) while connecting to upstream, client: 192.168.101.39, server: , request: "GET /welcome HTTP/1.0", upstream: "http://unix:/path/tmp/sockets/manager_rails.sock:/welcome", host: "192.168.101.93:3000"

अब, मैं बढ़कर 1024 हो गया और मुझे त्रुटि नहीं मिली:

 listen "/path/tmp/sockets/manager_rails.sock", backlog: 1024

0

tl; डॉ

  1. सुनिश्चित करें कि गेंडा बैकलॉग बड़ा है (सॉकेट का उपयोग करें, टीसीपी से तेज) listen("/var/www/unicorn.sock", backlog: 1024)
  2. उदाहरण के लिए, NGINX प्रदर्शन सेटिंग्स का अनुकूलन करेंworker_connections 10000;

विचार-विमर्श

हमें एक ही समस्या थी - एक NGINX रिवर्स प्रॉक्सी के पीछे यूनिकॉर्न द्वारा दिया गया एक रेल ऐप।

हमें Nginx त्रुटि लॉग में इस तरह की लाइनें मिल रही थीं:

2019/01/29 15:54:37 [error] 3999#3999: *846 connect() to unix:/../unicorn.sock failed (11: Resource temporarily unavailable) while connecting to upstream, client: xx.xx.xx.xx, request: "GET / HTTP/1.1"

अन्य उत्तरों को पढ़कर हमें लगा कि शायद यूनिकॉर्न को दोष देना है, इसलिए हमने इसे बढ़ा दिया है, लेकिन इससे समस्या का समाधान नहीं हुआ। सर्वर प्रक्रियाओं की निगरानी करना यह स्पष्ट था कि यूनिकॉर्न को काम करने के लिए अनुरोध नहीं मिल रहे थे, इसलिए एनजीआईएनएक्स को अड़चन प्रतीत हुई।

NGINX सेटिंग्स के लिए खोज nginx.confइस प्रदर्शन ट्यूनिंग लेख में tweak करने के लिए कई सेटिंग्स है कि कई समानांतर अनुरोध NGINX प्रक्रिया कर सकते हैं असर कर सकता है, विशेष रूप से बताया:

user www-data;
worker_processes auto;
pid /run/nginx.pid;
worker_rlimit_nofile 400000; # important

events {    
  worker_connections 10000; # important
  use epoll; # important
  multi_accept on; # important
}

http {
  sendfile on;
  tcp_nopush on;
  tcp_nodelay on;
  keepalive_timeout 65;
  types_hash_max_size 2048;
  keepalive_requests 100000; # important
  server_names_hash_bucket_size 256;
  include /etc/nginx/mime.types;
  default_type application/octet-stream;
  ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
  ssl_prefer_server_ciphers on;
  access_log /var/log/nginx/access.log;
  error_log /var/log/nginx/error.log;
  gzip on;
  gzip_disable "msie6";
  include /etc/nginx/conf.d/*.conf;
  include /etc/nginx/sites-enabled/*;
}

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.