Cheerio का उपयोग कर एक साधारण क्रॉलर
Node.js. में एक सरल क्रॉलर बनाने के लिए यह मेरा सूत्र है यह सर्वर साइड पर DOM मैनिपुलेशन करने का मुख्य कारण है और शायद यही कारण है कि आप यहां आए।
सबसे पहले, requestपृष्ठ को पार्स करने के लिए डाउनलोड करने के लिए उपयोग करें। जब डाउनलोड पूरा हो जाता है, तो इसे हैंडल करें cheerioऔर जैसे कि jQuery का उपयोग कर डोम हेरफेर शुरू करें।
कार्य उदाहरण:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
यह उदाहरण SO होम पेज पर दिखाए जाने वाले सभी शीर्ष प्रश्नों के कंसोल पर प्रिंट होगा। यही कारण है कि मैं Node.js और इसके समुदाय से प्यार करता हूं। यह उससे आसान नहीं हो सकता है :-)
निर्भरता स्थापित करें:
npm स्थापित अनुरोध चीयरियो
और चला (ऊपर की स्क्रिप्ट फ़ाइल में है crawler.js)
नोड क्रॉलर.जेएस
एन्कोडिंग
कुछ पृष्ठों में एक निश्चित एन्कोडिंग में गैर-अंग्रेजी सामग्री होगी और आपको इसे डिकोड करना होगा UTF-8। उदाहरण के लिए, ब्राज़ीलियाई पुर्तगाली में एक पेज (या लैटिन मूल की कोई अन्य भाषा) संभवतः ISO-8859-1(उर्फ " लैटिन 1 ") में एन्कोड किया जाएगा । जब डिकोडिंग की आवश्यकता होती है, तो मैं requestकिसी भी तरह से सामग्री की व्याख्या नहीं करने के लिए कहता हूं और इसके बजाय iconv-liteकाम करने के लिए उपयोग करता हूं।
कार्य उदाहरण:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
चलाने से पहले, निर्भरता स्थापित करें:
npm स्थापित अनुरोध आइकनव-लाइट चीयरियो
और फिर अंत में:
नोड क्रॉलर.जेएस
निम्नलिखित लिंक
अगला कदम लिंक का पालन करना होगा। मान लें कि आप SO के प्रत्येक शीर्ष प्रश्न के सभी पोस्टरों को सूचीबद्ध करना चाहते हैं। आपको पहले सभी शीर्ष प्रश्नों (उदाहरण के ऊपर) को सूचीबद्ध करना होगा और फिर प्रत्येक लिंक को दर्ज करना होगा, जिसमें शामिल उपयोगकर्ताओं की सूची प्राप्त करने के लिए प्रत्येक प्रश्न के पृष्ठ को पार्स करना होगा।
जब आप लिंक का अनुसरण करना शुरू करते हैं, तो कॉलबैक नरक शुरू हो सकता है। उससे बचने के लिए, आपको किसी तरह के वादे, वायदे या जो भी उपयोग करने चाहिए। मैं हमेशा अपने टूलबेल में async रखता हूं। इसलिए, यहाँ async का उपयोग करके क्रॉलर का एक पूर्ण उदाहरण दिया गया है:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
दौड़ने से पहले:
npm स्थापित async चीयरियो अनुरोध
एक परीक्षण चलाएँ:
नोड क्रॉलर.जेएस
नमूना उत्पादन:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
और यही वह मूल है जो आपको अपने क्रॉलर्स बनाने के लिए पता होना चाहिए :-)
पुस्तकालयों का इस्तेमाल किया