कुछ तथ्य:
Google एक सार्वजनिक खोज webservice एपीआई प्रदान करता है जो JSON लौटाता है : http://ajax.googleapis.com/ajax/services/search/web । यहाँ प्रलेखन
जावा ऑफ़र java.net.URLऔर java.net.URLConnectionHTTP अनुरोधों को आग लगाने और संभालने के लिए।
जावा में JSON को एक मनमाना जावा JSON API का उपयोग करके एक पूर्ण योग्य Javabean ऑब्जेक्ट में परिवर्तित किया जा सकता है। सबसे अच्छे में से एक Google Gson है ।
अब गणित करें:
public static void main(String[] args) throws Exception {
String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
String search = "stackoverflow";
String charset = "UTF-8";
URL url = new URL(google + URLEncoder.encode(search, charset));
Reader reader = new InputStreamReader(url.openStream(), charset);
GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);
// Show title and URL of 1st result.
System.out.println(results.getResponseData().getResults().get(0).getTitle());
System.out.println(results.getResponseData().getResults().get(0).getUrl());
}
इस Javabean वर्ग के रूप में Google द्वारा लौटाए गए सबसे महत्वपूर्ण JSON डेटा का प्रतिनिधित्व करता है (यह वास्तव में अधिक डेटा लौटाता है, लेकिन यह आपके अनुसार इस Javabean कोड का विस्तार करने के लिए एक अभ्यास के रूप में बचा है):
public class GoogleResults {
private ResponseData responseData;
public ResponseData getResponseData() { return responseData; }
public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
public String toString() { return "ResponseData[" + responseData + "]"; }
static class ResponseData {
private List<Result> results;
public List<Result> getResults() { return results; }
public void setResults(List<Result> results) { this.results = results; }
public String toString() { return "Results[" + results + "]"; }
}
static class Result {
private String url;
private String title;
public String getUrl() { return url; }
public String getTitle() { return title; }
public void setUrl(String url) { this.url = url; }
public void setTitle(String title) { this.title = title; }
public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
}
}
यह सभी देखें:
अद्यतन नवंबर 2010 (2 महीने से ऊपर जवाब के बाद) के बाद से, सार्वजनिक खोज वेब सेवा हो गई है पदावनत (और अंतिम दिन है जिस पर सेवा की पेशकश की गई 29 सितंबर, 2014) था। आपकी सबसे अच्छी शर्त अब एक ईमानदार उपयोगकर्ता एजेंट के साथ सीधे http://www.google.com/search की क्वेरी करना और फिर HTML पार्सर का उपयोग करके परिणाम को पार्स करना है । यदि आप उपयोगकर्ता एजेंट को छोड़ देते हैं, तो आपको 403 वापस मिल जाएगा। यदि आप उपयोगकर्ता एजेंट में झूठ बोल रहे हैं और एक वेब ब्राउज़र (जैसे क्रोम या फ़ायरफ़ॉक्स) का अनुकरण करते हैं, तो आपको एक बहुत बड़ा HTML प्रतिक्रिया वापस मिलती है जो बैंडविड्थ और प्रदर्शन की बर्बादी है।
यहाँ HTML पार्सर के रूप में Jsoup का उपयोग करके एक किकऑफ़ उदाहरण दिया गया है :
String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; // Change this to your company's name and bot homepage!
Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");
for (Element link : links) {
String title = link.text();
String url = link.absUrl("href"); // Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");
if (!url.startsWith("http")) {
continue; // Ads/news/etc.
}
System.out.println("Title: " + title);
System.out.println("URL: " + url);
}