scrapy पर टैग किए गए जवाब

बन्द है। यह प्रश्न स्टैक ओवरफ्लो दिशानिर्देशों को पूरा नहीं करता है । यह वर्तमान में उत्तर स्वीकार नहीं कर रहा है। इस प्रश्न को सुधारना चाहते हैं? सवाल को अपडेट करें ताकि यह स्टैक ओवरफ्लो के लिए विषय पर हो । 5 साल पहले बंद हुआ । मैं ब्राउज़र …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

मैं Lxml स्थापित करना चाहता हूं ताकि मैं फिर स्क्रैपी स्थापित कर सकूं। जब मैंने अपना मैक अपडेट किया तो यह मुझे lxml को फिर से स्थापित करने नहीं देगा, मुझे निम्न त्रुटि मिली: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 …

234 python  xcode  macos  scrapy  lxml 

मैं पाइप के माध्यम से OSX 10.11 (एल कैपिटन) में स्क्रेपी पायथन फ्रेमवर्क स्थापित करने की कोशिश कर रहा हूं। स्थापना स्क्रिप्ट आवश्यक मॉड्यूल डाउनलोड करता है और कुछ बिंदु पर निम्न त्रुटि देता है: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' मैंने OSX 10.11 में रूटलेस फीचर को कमांड …

206 python  macos  python-2.7  scrapy 

मैं हाल ही में पायथन सीख रहा हूं और एक वेब-स्क्रैपर के निर्माण में अपना हाथ डुबो रहा हूं। यह कुछ भी फैंसी नहीं है; इसका एकमात्र उद्देश्य सट्टेबाजी की वेबसाइट से डेटा प्राप्त करना और यह डेटा एक्सेल में डालना है। अधिकांश मुद्दे हल हैं और मैं चारों ओर …

145 javascript  python  ajax  screen-scraping  scrapy 

मैं एक ऐसी वेबसाइट बनाना चाहता हूं, जो अमेज़ॅन और ई-बे उत्पाद की कीमत के बीच तुलना दिखाती है। इनमें से कौन बेहतर काम करेगा और क्यों? मैं BeautifulSoup से कुछ हद तक परिचित हूं लेकिन स्क्रेपी क्रॉलर के साथ ऐसा नहीं है ।

134 python  beautifulsoup  scrapy  web-crawler 

मैं 'वेब स्क्रेपिंग विथ पायथन' के कोड का अभ्यास कर रहा हूं, और मुझे यह प्रमाणपत्र समस्या रहती है: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in …

123 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

मैं एक उपयोगकर्ता परिभाषित तर्क को एक स्क्रैपर्स मकड़ी को पारित करने की कोशिश कर रहा हूं। क्या कोई सुझाव दे सकता है कि वह कैसे करे? मैंने एक पैरामीटर के बारे में -aकहीं पढ़ा है लेकिन इसका उपयोग करने का कोई तरीका नहीं है।

100 python  scrapy  web-crawler 

मैं पाइथन 2.7 के साथ स्क्रेपी 0.20 पर काम कर रहा हूं। मैंने पाया कि Pyharm के पास एक अच्छा पायथन डिबगर है। मैं इसका उपयोग करके अपने स्क्रेपी मकड़ियों का परीक्षण करना चाहता हूं। किसी को पता है कि कृपया कैसे करना है? मैंने क्या कोशिश की है वास्तव …

97 python  debugging  python-2.7  scrapy  pycharm 

मैं एक वेबपेज से उत्पाद जानकारी को स्क्रैप करने के लिए उपयोग करने की कोशिश कर रहा हूं। इस तरह दिखता है मेरा-टू-स्क्रेप्ड वेबपेज: 10 उत्पादों के साथ एक product_list पृष्ठ से शुरू होता है "अगला" बटन पर क्लिक करने से अगले 10 उत्पाद लोड हो जाते हैं (दो पृष्ठों …

85 python  selenium  selenium-webdriver  web-scraping  scrapy 

मेरे पास एक स्क्रैपी प्रोजेक्ट है जिसमें कई स्पाइडर हैं। क्या कोई तरीका है जो मैं परिभाषित कर सकता हूं कि किस मकड़ी के लिए कौन सी पाइपलाइनों का उपयोग करना है? मेरे द्वारा परिभाषित सभी पाइपलाइन हर मकड़ी के लिए लागू नहीं हैं। धन्यवाद

84 python  scrapy  web-crawler