मुझे अपने होस्टिंग खाते के भीतर अपनी कुछ वेबसाइटों पर एक्सट्रीम बॉट की समस्या हो रही है। बॉट मेरे सीपीयू संसाधनों का 98% और मेरे पूरे होस्टिंग खाते के लिए 99% बैंडविड्थ का उपयोग करते हैं। ये बॉट मेरी साइटों के लिए प्रति घंटे 1 GB से अधिक ट्रैफ़िक उत्पन्न कर रहे हैं । इन सभी साइटों के लिए वास्तविक मानव यातायात 100 एमबी / माह से कम है ।
मैंने इन बॉट्स को ब्लॉक करने के लिए robots.txt और .htaccess फाइल दोनों पर गहन शोध किया है लेकिन सभी तरीके विफल रहे।
मैंने लिपियों निर्देशिकाओं तक पहुँच को ब्लॉक करने के लिए robots.txt फ़ाइलों में कोड भी डाला है, लेकिन ये बॉट्स (Google, MS Bing, और Yahoo) नियमों की अनदेखी करते हैं और स्क्रिप्ट्स को वैसे भी चलाते हैं।
मैं Google, MS Bing, और Yahoo बॉट्स को पूरी तरह से ब्लॉक नहीं करना चाहता, लेकिन मैं क्रॉल रेट को सीमित करना चाहता हूं। इसके अलावा, robots.txt फ़ाइल में क्रॉल-विलंब स्टेटमेंट जोड़ने से बॉट्स धीमा नहीं होता है। सभी साइटों के लिए मेरे वर्तमान robots.txt और .htacces कोड नीचे दिए गए हैं।
मेरे पास Microsoft और Google वेबमास्टर टूल दोनों को क्रॉल दर को पूरी तरह से धीमा करने के लिए सेटअप है, लेकिन वे अभी भी इन साइटों को 10 हिट / सेकंड की दर से मार रहे हैं।
इसके अलावा, हर बार जब मैं एक फ़ाइल अपलोड करता हूं, जो एक त्रुटि का कारण बनता है, तो पूरे वीपीएस वेबसर्वर सेकंड के भीतर नीचे चला जाता है जैसे कि मैं इन बॉट द्वारा हिट के हमले के कारण समस्या को सही करने के लिए साइट तक भी नहीं पहुंच सकता।
मैं अपनी वेबसाइट पर ट्रैफ़िक के ऑन-स्लॉट को रोकने के लिए क्या कर सकता हूं?
मैंने अपनी वेब होस्टिंग कंपनी (site5.com) से पिछले महीनों में इस मुद्दे के बारे में कई बार पूछने की कोशिश की और वे मेरी इस समस्या में मदद नहीं कर सके।
मुझे वास्तव में क्या जरूरत है कि बॉट्स को rss2html.php स्क्रिप्ट को चलाने से रोका जाए। मैंने सत्र और कुकीज़ दोनों की कोशिश की और दोनों विफल रहे।
robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Adsbot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: bingbot
Disallow:
User-agent: Slurp
Disallow:
User-Agent: Yahoo! Slurp
Disallow:
# Directories
User-agent: *
Disallow: /
Disallow: /cgi-bin/
Disallow: /ads/
Disallow: /assets/
Disallow: /cgi-bin/
Disallow: /phone/
Disallow: /scripts/
# Files
Disallow: /ads/random_ads.php
Disallow: /scripts/rss2html.php
Disallow: /scripts/search_terms.php
Disallow: /scripts/template.html
Disallow: /scripts/template_mobile.html.htaccess
ErrorDocument 400 http://english-1329329990.spampoison.com
ErrorDocument 401 http://english-1329329990.spampoison.com
ErrorDocument 403 http://english-1329329990.spampoison.com
ErrorDocument 404 /index.php
SetEnvIfNoCase User-Agent "^Yandex*" bad_bot
SetEnvIfNoCase User-Agent "^baidu*" bad_bot
Order Deny,Allow
Deny from env=bad_bot
RewriteEngine on
RewriteCond %{HTTP_user_agent} bot\* [OR]
RewriteCond %{HTTP_user_agent} \*bot
RewriteRule ^.*$ http://english-1329329990.spampoison.com [R,L]
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
# Don't show directory listings for directories that do not contain an index file (index.php, default.asp etc.)
Options -Indexes
<Files http://english-1329329990.spampoison.com>
order allow,deny
allow from all
</Files>
deny from 108.
deny from 123.
deny from 180.
deny from 100.43.83.132अद्यतन करने के लिए उपयोग किया जाता है कि उपयोगकर्ता को बहुत सी चीज़ कोड मिलाया जाता है
<?php
function botcheck(){
$spiders = array(
array('AdsBot-Google','google.com'),
array('Googlebot','google.com'),
array('Googlebot-Image','google.com'),
array('Googlebot-Mobile','google.com'),
array('Mediapartners','google.com'),
array('Mediapartners-Google','google.com'),
array('msnbot','search.msn.com'),
array('bingbot','bing.com'),
array('Slurp','help.yahoo.com'),
array('Yahoo! Slurp','help.yahoo.com')
);
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
foreach($spiders as $bot) {
if(preg_match("/$bot[0]/i",$useragent)){
$ipaddress = $_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($ipaddress);
$iphostname = gethostbyname($hostname);
if (preg_match("/$bot[1]/i",$hostname) && $ipaddress == $iphostname){return true;}
}
}
}
if(botcheck() == false) {
// User Login - Read Cookie values
$username = $_COOKIE['username'];
$password = $_COOKIE['password'];
$radio_1 = $_COOKIE['radio_1'];
$radio_2 = $_COOKIE['radio_2'];
if (($username == 'm3s36G6S9v' && $password == 'S4er5h8QN2') || ($radio_1 == '2' && $radio_2 == '5')) {
} else {
$selected_username = $_POST['username'];
$selected_password = $_POST['password'];
$selected_radio_1 = $_POST['group1'];
$selected_radio_2 = $_POST['group2'];
if (($selected_username == 'm3s36G6S9v' && $selected_password == 'S4er5h8QN2') || ($selected_radio_1 == '2' && $selected_radio_2 == '5')) {
setcookie("username", $selected_username, time()+3600, "/");
setcookie("password", $selected_password, time()+3600, "/");
setcookie("radio_1", $selected_radio_1, time()+3600, "/");
setcookie("radio_2", $selected_radio_2, time()+3600, "/");
} else {
header("Location: login.html");
}
}
}
?>मैंने निम्नलिखित को tss rss2html.php स्क्रिप्ट में भी जोड़ा
// Checks to see if this script was called by the main site pages, (i.e. index.php or mobile.php) and if not, then sends to main page
session_start();
if(isset($_SESSION['views'])){$_SESSION['views'] = $_SESSION['views']+ 1;} else {$_SESSION['views'] = 1;}
if($_SESSION['views'] > 1) {header("Location: http://website.com/index.php");}rss2html.phpआपकी साइट द्वारा कैसे उपयोग किया जा रहा है? PHP के माध्यम से शामिल हैं, पुनर्निर्देश, अजाक्स ....?
file_get_contents...? बल्कि अजीब लगता है। फ़ाइल किसी अन्य सर्वर या कुछ और पर है?
robots.txt? रोबोट को अपडेटेड वर्जन को पढ़ने में समय लग सकता है।