पंडों को अल्पाइन लिनक्स पर स्थापित करने में उम्र क्यों लगती है

Question 1

मैंने देखा है कि डॉक कंटेनर में पंडों और नेम्पी (यह निर्भरता) स्थापित कर रहा है, बेस ओएस अल्पाइन बनाम सेंटोस या डेबियन का उपयोग करने में बहुत अधिक समय लगता है। मैंने समय के अंतर को दिखाने के लिए नीचे एक छोटा परीक्षण बनाया। कुछ सेकंड के लिए अल्पाइन पंडों और नेम्पी को स्थापित करने के लिए निर्भरता को अपडेट करने और डाउनलोड करने के लिए लेता है, क्यों सेटअप थिंकपैड को डेबियन इंस्टॉल की तुलना में लगभग 70x अधिक समय लगता है?

क्या आधार छवि के रूप में अल्पाइन का उपयोग कर स्थापित करने में तेजी लाने का कोई तरीका है या अल्पाइन की तुलना का एक और आधार छवि है जो पंडों और नम्पी जैसे पैकेजों के लिए उपयोग करना बेहतर है?

Dockerfile.debian

FROM python:3.6.4-slim-jessie

RUN pip install pandas

पंडों और Numpy के साथ डेबियन छवि बनाएँ:

[PandasDockerTest] time docker build -t debian-pandas -f Dockerfile.debian . --no-cache
    Sending build context to Docker daemon  3.072kB
    Step 1/2 : FROM python:3.6.4-slim-jessie
     ---> 43431c5410f3
    Step 2/2 : RUN pip install pandas
     ---> Running in 2e4c030f8051
    Collecting pandas
      Downloading pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl (26.2MB)
    Collecting numpy>=1.9.0 (from pandas)
      Downloading numpy-1.14.1-cp36-cp36m-manylinux1_x86_64.whl (12.2MB)
    Collecting pytz>=2011k (from pandas)
      Downloading pytz-2018.3-py2.py3-none-any.whl (509kB)
    Collecting python-dateutil>=2 (from pandas)
      Downloading python_dateutil-2.6.1-py2.py3-none-any.whl (194kB)
    Collecting six>=1.5 (from python-dateutil>=2->pandas)
      Downloading six-1.11.0-py2.py3-none-any.whl
    Installing collected packages: numpy, pytz, six, python-dateutil, pandas
    Successfully installed numpy-1.14.1 pandas-0.22.0 python-dateutil-2.6.1 pytz-2018.3 six-1.11.0
    Removing intermediate container 2e4c030f8051
     ---> a71e1c314897
    Successfully built a71e1c314897
    Successfully tagged debian-pandas:latest
    docker build -t debian-pandas -f Dockerfile.debian . --no-cache  0.07s user 0.06s system 0% cpu 13.605 total

Dockerfile.alpine

FROM python:3.6.4-alpine3.7

RUN apk --update add --no-cache g++

RUN pip install pandas

पंडों और Numpy के साथ अल्पाइन छवि बनाएँ:

[PandasDockerTest] time docker build -t alpine-pandas -f Dockerfile.alpine . --no-cache
Sending build context to Docker daemon   16.9kB
Step 1/3 : FROM python:3.6.4-alpine3.7
 ---> 4b00a94b6f26
Step 2/3 : RUN apk --update add --no-cache g++
 ---> Running in 4b0c32551e3f
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/x86_64/APKINDEX.tar.gz
(1/17) Upgrading musl (1.1.18-r2 -> 1.1.18-r3)
(2/17) Installing libgcc (6.4.0-r5)
(3/17) Installing libstdc++ (6.4.0-r5)
(4/17) Installing binutils-libs (2.28-r3)
(5/17) Installing binutils (2.28-r3)
(6/17) Installing gmp (6.1.2-r1)
(7/17) Installing isl (0.18-r0)
(8/17) Installing libgomp (6.4.0-r5)
(9/17) Installing libatomic (6.4.0-r5)
(10/17) Installing pkgconf (1.3.10-r0)
(11/17) Installing mpfr3 (3.1.5-r1)
(12/17) Installing mpc1 (1.0.3-r1)
(13/17) Installing gcc (6.4.0-r5)
(14/17) Installing musl-dev (1.1.18-r3)
(15/17) Installing libc-dev (0.7.1-r0)
(16/17) Installing g++ (6.4.0-r5)
(17/17) Upgrading musl-utils (1.1.18-r2 -> 1.1.18-r3)
Executing busybox-1.27.2-r7.trigger
OK: 184 MiB in 50 packages
Removing intermediate container 4b0c32551e3f
 ---> be26c3bf4e42
Step 3/3 : RUN pip install pandas
 ---> Running in 36f6024e5e2d
Collecting pandas
  Downloading pandas-0.22.0.tar.gz (11.3MB)
Collecting python-dateutil>=2 (from pandas)
  Downloading python_dateutil-2.6.1-py2.py3-none-any.whl (194kB)
Collecting pytz>=2011k (from pandas)
  Downloading pytz-2018.3-py2.py3-none-any.whl (509kB)
Collecting numpy>=1.9.0 (from pandas)
  Downloading numpy-1.14.1.zip (4.9MB)
Collecting six>=1.5 (from python-dateutil>=2->pandas)
  Downloading six-1.11.0-py2.py3-none-any.whl
Building wheels for collected packages: pandas, numpy
  Running setup.py bdist_wheel for pandas: started
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: finished with status 'done'
  Stored in directory: /root/.cache/pip/wheels/e8/ed/46/0596b51014f3cc49259e52dff9824e1c6fe352048a2656fc92
  Running setup.py bdist_wheel for numpy: started
  Running setup.py bdist_wheel for numpy: still running...
  Running setup.py bdist_wheel for numpy: still running...
  Running setup.py bdist_wheel for numpy: still running...
  Running setup.py bdist_wheel for numpy: finished with status 'done'
  Stored in directory: /root/.cache/pip/wheels/9d/cd/e1/4d418b16ea662e512349ef193ed9d9ff473af715110798c984
Successfully built pandas numpy
Installing collected packages: six, python-dateutil, pytz, numpy, pandas
Successfully installed numpy-1.14.1 pandas-0.22.0 python-dateutil-2.6.1 pytz-2018.3 six-1.11.0
Removing intermediate container 36f6024e5e2d
 ---> a93c59e6a106
Successfully built a93c59e6a106
Successfully tagged alpine-pandas:latest
docker build -t alpine-pandas -f Dockerfile.alpine . --no-cache  0.54s user 0.33s system 0% cpu 16:08.47 total

Question 2

डेबियन आधारित छवियां केवल प्रारूप के python pipसाथ पैकेज स्थापित करने के लिए उपयोग करती हैं .whl:

  Downloading pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl (26.2MB)
  Downloading numpy-1.14.1-cp36-cp36m-manylinux1_x86_64.whl (12.2MB)

WHL प्रारूप को हर बार स्रोत कोड से पुन: निर्माण की तुलना में पायथन सॉफ्टवेयर स्थापित करने के एक तेज और अधिक विश्वसनीय तरीके के रूप में विकसित किया गया था। WHL फाइलें केवल स्थापित की जाने वाली लक्ष्य प्रणाली पर सही स्थान पर ले जानी हैं, जबकि एक स्रोत वितरण के लिए स्थापना से पहले एक निर्माण चरण की आवश्यकता होती है।

व्हील पैकेज pandasऔर numpyअल्पाइन प्लेटफॉर्म पर आधारित छवियों में समर्थित नहीं हैं। इसीलिए जब हम python pipनिर्माण प्रक्रिया के दौरान उनका उपयोग करते हैं, तो हम हमेशा उन्हें स्रोत फ़ाइलों से अल्पाइन में संकलित करते हैं:

  Downloading pandas-0.22.0.tar.gz (11.3MB)
  Downloading numpy-1.14.1.zip (4.9MB)

और हम छवि निर्माण के दौरान कंटेनर के अंदर निम्नलिखित देख सकते हैं:

/ # ps aux
PID   USER     TIME   COMMAND
    1 root       0:00 /bin/sh -c pip install pandas
    7 root       0:04 {pip} /usr/local/bin/python /usr/local/bin/pip install pandas
   21 root       0:07 /usr/local/bin/python -c import setuptools, tokenize;__file__='/tmp/pip-build-en29h0ak/pandas/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n
  496 root       0:00 sh
  660 root       0:00 /bin/sh -c gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -DTHREAD_STACK_SIZE=0x100000 -fPIC -Ibuild/src.linux-x86_64-3.6/numpy/core/src/pri
  661 root       0:00 gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -DTHREAD_STACK_SIZE=0x100000 -fPIC -Ibuild/src.linux-x86_64-3.6/numpy/core/src/private -Inump
  662 root       0:00 /usr/libexec/gcc/x86_64-alpine-linux-musl/6.4.0/cc1 -quiet -I build/src.linux-x86_64-3.6/numpy/core/src/private -I numpy/core/include -I build/src.linux-x86_64-3.6/numpy/core/includ
  663 root       0:00 ps aux

यदि हम Dockerfileथोड़ा संशोधित करते हैं:

FROM python:3.6.4-alpine3.7
RUN apk add --no-cache g++ wget
RUN wget https://pypi.python.org/packages/da/c6/0936bc5814b429fddb5d6252566fe73a3e40372e6ceaf87de3dec1326f28/pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
RUN pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl

हमें निम्नलिखित त्रुटि मिलती है:

Step 4/4 : RUN pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
 ---> Running in 0faea63e2bda
pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl is not a supported wheel on this platform.
The command '/bin/sh -c pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl' returned a non-zero code: 1

दुर्भाग्य से, pandasअल्पाइन छवि पर स्थापित करने का एकमात्र तरीका है, जब तक कि निर्माण पूरा न हो जाए, तब तक प्रतीक्षा करें।

बेशक, यदि आप pandasउदाहरण के लिए CI में अल्पाइन छवि का उपयोग करना चाहते हैं , तो ऐसा करने का सबसे अच्छा तरीका है कि इसे एक बार संकलित करें, इसे किसी भी रजिस्ट्री पर धकेल दें और इसे अपनी आवश्यकताओं के लिए आधार छवि के रूप में उपयोग करें।

संपादित करें: यदि आप अल्पाइन छवि का उपयोग करना चाहते हैं, तो आप pandasमेरी निकृग / अल्पाइन-पांडा डॉक छवि को खींच सकते हैं । यह एक अजगर की छवि है pandasजिसे अल्पाइन मंच पर पूर्व-संकलित किया गया है। इसे अपना समय बचाना चाहिए।

Question 3

उत्तर: 3/9/2020 के रूप में, पायथन 3 के लिए, यह अभी भी नहीं है!

यहाँ एक पूरी तरह से काम कर रहा है Dockerfile:

FROM python:3.7-alpine
RUN echo "@testing http://dl-cdn.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories
RUN apk add --update --no-cache py3-numpy py3-pandas@testing

बिल्ड सटीक अजगर और अल्पाइन संस्करण संख्या के लिए बहुत संवेदनशील है - ये गलत हो जाना मैक्स लेवी की त्रुटि को भड़काने लगता है so:libpython3.7m.so.1.0 (missing) - लेकिन उपरोक्त अब मेरे लिए काम करता है।

मेरा अपडेटेड डॉकरीफाइल https://gist.github.com/jtlz2/b0f4bc07ce2ff04bc193337f2327c13b पर उपलब्ध है

[इससे पहले अद्यतन:]

उत्तर: यह नहीं है!

किसी भी अल्पाइन Dockerfile में आप बस * कर सकते हैं

RUN apk add py2-numpy@community py2-scipy@community py-pandas@edge

इसका कारण यह है numpy, scipyऔर अब pandasसभी उपलब्ध पूर्वनिर्मित हैं alpine:

https://pkgs.alpinelinux.org/packages?name=*numpy

https://pkgs.alpinelinux.org/packages?name=*scipy&branch=edge

https://pkgs.alpinelinux.org/packages?name=*pandas&branch=edge

हर बार पुनर्निर्माण से बचने के लिए या डॉकटर परत का उपयोग करने का एक तरीका है, एक पूर्वनिर्मित, देशी अल्पाइन लिनक्स / .apkपैकेज का उपयोग करना, जैसे।

https://github.com/sgerrand/alpine-pkg-py-pandas

https://github.com/nbgallery/apks

आप इन .apkएस का निर्माण एक बार कर सकते हैं और इन्हें अपने डॉकरीफाइल में कहीं भी उपयोग कर सकते हैं :)

यह आपको डॉकटर छवि में बाकी सब चीज़ों को सेंकने से भी बचाता है - यानी आपके द्वारा पसंद की जाने वाली किसी भी डॉकर छवि को पूर्व-निर्मित करने का लचीलापन।

PS मैंने https://gist.github.com/jtlz2/b0f4bc07ce2ff04bc193337f2327c13b पर एक Dockerfile स्टब लगाया है जो लगभग छवि को बनाने का तरीका दिखाता है। इनमें महत्वपूर्ण चरण (*) शामिल हैं:

RUN echo "@community http://dl-cdn.alpinelinux.org/alpine/edge/community" >> /etc/apk/repositories
RUN apk update
RUN apk add --update --no-cache libgfortran

Question 4

ध्यान
के साथ @ jtlz2 जवाब पर देखो नवीनतम अद्यतन

रगड़ा हुआ

तो, py3-pandas & py3-numpy संकुल परीक्षण अल्पाइन रिपॉजिटरी में चले गए, इसलिए, आप इन पंक्तियों को अपने Dockerfile में जोड़कर डाउनलोड कर सकते हैं:

RUN echo "http://dl-8.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories \
  && apk update \
  && apk add py3-numpy py3-pandas

आशा है कि यह किसी की मदद करता है!

अल्पाइन पैकेज लिंक:
- py3-pandas
- py3-numpy

अल्पाइन रिपॉजिटरी जानकारी डॉक ।

Question 5

बस इनमें से कुछ उत्तरों को एक उत्तर में लाने के लिए और एक विस्तार जोड़ने के लिए जो मुझे लगता है कि छूट गया था। कारण कुछ अजगर पुस्तकालयों, विशेष रूप से अनुकूलित गणित और डेटा पुस्तकालयों, अल्पाइन पर निर्माण करने के लिए इतना लंबा समय लगता है, क्योंकि इन पुस्तकालयों के लिए पाइप पहियों में शामिल हैं बायनेरिज़ c / c ++ से precompiled और glibcसी मानक पुस्तकालयों के एक आम सेट के खिलाफ जुड़ा हुआ है। डेबियन, फेडोरा, सेंटोस सभी (आम तौर पर) उपयोग करते हैं glibc, लेकिन अल्पाइन, हल्के रहने के लिए, musl-libcइसके बजाय उपयोग करता है । c / c ++ glibcसिस्टम पर बनी बायनेरिज़ बिना सिस्टम पर काम नहीं करेगी glibcऔर उसी के लिए जाती है musl।

पिप पहले सही बायनेरिज़ के साथ एक पहिया के लिए दिखता है, अगर यह एक नहीं मिल सकता है, तो यह बायनेरिज़ को सी / सी ++ स्रोत से संकलन करने की कोशिश करता है और उन्हें कस्तूरी के खिलाफ जोड़ता है। कई मामलों में, यह तब तक भी काम नहीं करेगा जब तक आपके पास अजगर हेडर न हों python3-devया जैसे उपकरण का निर्माण न करें make।

अब सिल्वर लाइनिंग, जैसा कि दूसरों ने उल्लेख किया है, apkसमुदाय द्वारा प्रदान की गई उचित बायनेरिज़ के साथ पैकेज हैं , इनका उपयोग करने से आप बायनेरिज़ के निर्माण की (कभी-कभी लंबी) प्रक्रिया को बचाएंगे।

Question 6

यहां वास्तविक ईमानदार सलाह, डेबियन आधारित छवि पर स्विच करें और फिर आपकी सभी समस्याएं दूर हो जाएंगी।

अजगर अनुप्रयोगों के लिए अल्पाइन अच्छी तरह से काम नहीं करता है।

यहाँ मेरा एक उदाहरण है dockerfile:

FROM python:3.7.6-buster

RUN pip install pandas==1.0.0
RUN pip install sklearn
RUN pip install Django==3.0.2
RUN pip install cx_Oracle==7.3.0
RUN pip install excel
RUN pip install djangorestframework==3.11.0

python:3.7.6-busterइस मामले में अधिक उपयुक्त है, इसके अलावा में, आप ओएस में किसी भी अतिरिक्त निर्भरता की जरूरत नहीं है।

एक उपयोगी और हाल के लेख का पालन करें: https://pythonspeed.com/articles/alpine-docker-python/ :

पायथन छवियों के लिए अल्पाइन लिनक्स का उपयोग न करें, जब तक आप बड़े पैमाने पर धीमी गति से निर्माण नहीं करना चाहते, बड़ी छवियां, अधिक काम, और अस्पष्ट बग की क्षमता, आप आधार छवि के रूप में अल्पाइन लिनक्स से बचना चाहेंगे। आपको क्या उपयोग करना चाहिए, इस बारे में कुछ सिफारिशों के लिए, एक अच्छी आधार छवि चुनने पर मेरा लेख देखें।

Question 7

यह मेरे लिए काम किया:

FROM python:3.8-alpine
RUN echo "@testing http://dl-cdn.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories
RUN apk add --update --no-cache py3-numpy py3-pandas@testing
ENV PYTHONPATH=/usr/lib/python3.8/site-packages

COPY . /app
WORKDIR /app

RUN pip install -r requirements.txt

EXPOSE 5003 
ENTRYPOINT [ "python" ] 
CMD [ "app.py" ]

कोड यहाँ के अधिकांश का जवाब से है jtlz2 यह एक ही धागा और से Faylixe एक और धागे से।

पांडा का हल्का संस्करण अल्पाइन भंडार में पाया जाता है, py3-numpyलेकिन यह उसी फ़ाइल पथ में स्थापित नहीं होता है जहां से पायथन डिफ़ॉल्ट रूप से आयात पढ़ता है। इसलिए आपको जोड़ने की आवश्यकता है ENV। अल्पाइन संस्करण के बारे में भी ध्यान रखें।

Question 8

pandasएक समुदाय समर्थित पैकेज माना जाता है, इसलिए यह इंगित करने वाले उत्तर edge/testingकाम नहीं करने वाले हैं कि अल्पाइन आधिकारिक रूप से पांडा को कोर पैकेज के रूप में समर्थन नहीं करता है (यह अभी भी काम करता है, यह सिर्फ मुख्य अल्पाइन डेवलपर्स द्वारा समर्थित नहीं है)।

इस Dockerfile का प्रयास करें:

FROM python:3.8-alpine
RUN echo "@community http://dl-cdn.alpinelinux.org/alpine/edge/community" >> /etc/apk/repositories \
&& apk add py3-pandas@community

यह वेनिला अल्पाइन छवि के लिए भी काम करता है FROM alpine:3.12।

Question 9

अल्पाइन को पंडों को स्थापित करने में बहुत समय लगता है और छवि का आकार भी विशाल होता है। मैंने अजगर की कोशिश की: अजगर बेस इमेज का 3.8-स्लिम-बस्टर वर्जन। छवि निर्माण बहुत तेज़ था और अल्पाइन पायथन डॉकटर छवि की तुलना में छवि का आकार आधे से भी कम था

https://github.com/dguyhasnoname/k8s-cluster-checker/blob/master/Dockerfile