Kayak.com कुल सामग्री जैसी साइट कैसे है? [बन्द है]


83

अभिवादन, मैं एक नई परियोजना के लिए एक विचार के साथ कर रहा हूं और सोच रहा था कि क्या किसी को इस बारे में कोई विचार है कि कैसे Kayak.com जैसी सेवा इतने सारे स्रोतों से डेटा को इतनी जल्दी और सही तरीके से एकत्र करने में सक्षम है। अधिक विशेष रूप से, आपको लगता है कि Kayak.com एपीआई के साथ बातचीत कर रहा है या क्या वे उपयोगकर्ता अनुरोधों को पूरा करने के लिए एयरलाइन और होटल वेबसाइटों को क्रॉल / स्क्रैप कर रहे हैं? मुझे पता है कि इस तरह की बात के लिए एक सही जवाब नहीं है, लेकिन मैं यह जानने के लिए उत्सुक हूं कि दूसरों को इस बारे में जाने का एक अच्छा तरीका क्या होगा। यदि यह मदद करता है, तो कल आप kayak.com बनाने जा रहे हैं ... आपका डेटा कहां से आ रहा है?

जवाबों:


147

मैं एक सॉफ्टवेयर आर्किटेक्ट / प्रोजेक्ट लीड के रूप में यात्रा उद्योग में काम कर रहा हूं, जो आपके द्वारा बताए गए प्रोजेक्ट के ठीक प्रकार पर है - हमारे क्षेत्र में हम सीधे आपूर्तिकर्ताओं के साथ काम करते हैं, लेकिन आउटगोइंग के लिए हम कई एग्रीगेटर्स से जुड़ते हैं।

आपके प्रश्न का उत्तर देने के लिए ... आपके पास मौजूद कुछ डेटा, कुछ आप विभिन्न तरीकों से प्राप्त करते हैं, और कुछ को आपको यातना देना पड़ता है और जब तक यह कबूल नहीं हो जाता है।

आपका कोन है?

आपके द्वारा पूछे जाने वाले प्रश्न हैं ... क्या आप कश्ती की तरह विज्ञापन बेचना चाहते हैं या आप एक्सपीडिया की तरह कटौती करते हैं? क्या आप खोज में हैं या यात्रा सेवाएँ बेचने में हैं? क्या आप आला को लक्षित करते हैं (उदाहरण के लिए, बस हवाई यात्रा) या सब कुछ (आवास, एयरलाइंस, किराया-ए-कार, अतिरिक्त सेवाएं जैसे परिवहन / दर्शनीय स्थल / सम्मेलन आदि)? क्या आप क्षेत्र (अमेरिका या अमेरिका का हिस्सा) या दुनिया को निशाना बनाते हैं? आप कितनी गहराई तक जाते हैं - क्या आप एक ही स्क्रीन पर कई साइटें दिखाते हैं, या आप विभिन्न सेवाओं को एक साथ बंडल करते हैं और उन्हें गतिशील रूप से पैकेज करते हैं?

डेटा प्राप्त करना

यदि आप कश्ती व्यवसाय मॉडल के साथ जा रहे हैं, तो आपको तकनीकी रूप से साइट की अनुमति की आवश्यकता नहीं है ... लेकिन बहुत सी साइटों में IFrames या ग्राहक को उनकी साइट पर निर्देशित करने के अन्य सरल तरीकों के साथ संबद्ध प्रोग्राम हैं। प्लस साइड पर, आपको स्वयं भुगतान / शिकायत और यात्रियों से निपटने की आवश्यकता नहीं है। विपक्ष के लिए ... यदि आप स्वयं कीमतों की तुलना करना चाहते हैं और उपयोगकर्ता के लिए सबसे सस्ता विकल्प पेश करते हैं, तो आपको एक गहरे स्तर पर एकीकृत करना होगा, और इसका मतलब है कि एपीआई और वेब स्क्रैपिंग।

वेब स्क्रैपिंग के लिए ... इससे बचें। यह बेकार है। वास्तव में। बस यह मत करो। इस बात पर मुझ पर भरोसा रखें। उदाहरण के लिए, कुछ चीजें जैसे लोकोस्टर आपको वेब स्क्रैपिंग के बिना नहीं मिल सकते हैं। कम लागत वाली एयरलाइंस मूल्य वर्धित सेवाओं से रहती हैं। यदि उपयोगकर्ता अपनी वेबसाइट नहीं देखता है, तो वे अतिरिक्त सामान नहीं बेचते हैं, और वे कुछ भी नहीं कमाते हैं। इसलिए, उनके पास सहयोगी नहीं हैं, वे एपीआई की पेशकश नहीं करते हैं, और वे अपनी साइट के लेआउट को लगभग लगातार बदलते हैं। हालांकि, ऐसी कंपनियां हैं जो वेब को लोकोस्टेर की साइटों को स्क्रैप करके और अच्छे एपीआई में लपेटकर एक कमाई करती हैं। यदि आप उन्हें वहन कर सकते हैं, तो आप अपने उपयोगकर्ताओं को कम लागत वाली उड़ानों की लागत-तुलना दे सकते हैं और यह बहुत बड़ा है।

दूसरी ओर, "सामान्य" वाहक हैं जो एपीआई की पेशकश करते हैं। यह एयरलाइनों के लिए एक समस्या का बड़ा नहीं है क्योंकि वे सभी IATA के तहत एकजुट हैं ; मूल रूप से, आप IATA से खरीदते हैं, और IATA वाहक को पैसे वितरित करता है। हालाँकि, आप संभवतः कैरियर नेटवर्क से सीधे जुड़ना नहीं चाहते हैं। उनके पास इन दिनों वेब सेवाएं और SOAP हैं, लेकिन मेरा विश्वास करो जब मैं कहता हूं कि SOAP प्रोटोकॉल हैं जो एक टेक्स्ट प्रॉम्प्ट के चारों ओर केवल एक पतले पतले रैपर हैं, जिसके माध्यम से आप 80 के दशक के स्टाइल प्रोटोकॉल के साथ मेनफ्रेम के साथ बातचीत कर सकते हैं (यूनिक्स के बारे में सोचें) प्रांप्ट जहां आप प्रति आदेश बिल कर रहे हैं, और यह एक खोज करने के लिए लगभग 20 कमांड लेता है)। यही कारण है कि आप शायद बेहतर एपीआई के साथ खाद्य श्रृंखला से थोड़ा नीचे किसी और से जुड़ना चाहते हैं।

एयरलाइंस इस प्रकार गॉसियन वक्र के दोनों छोरों पर हैं; एक तरफ व्यक्तिगत आपूर्तिकर्ता हैं, और दूसरे उच्च केंद्रीकृत सिस्टम पर जहां आप एक एपीआई को लागू करते हैं और आप दुनिया में कहीं भी उड़ान भरने में सक्षम हैं। आवास और यात्रा के बाकी उत्पाद बीच में हैं। कई बड़े खिलाड़ी हैं जो होटल को एकत्र करते हैं, और बहुत सारे एग्रीगेटर के साथ छोटे आपूर्तिकर्ताओं का एक टन है जो एक स्पेक्ट्रम के केवल भाग को कवर करते हैं। उदाहरण के लिए, आप एक लाइटहाउस किराए पर ले सकते हैं और यह इतना महंगा भी नहीं है - लेकिन आप एक ही स्थान पर विभिन्न लाइटहाउस की कीमतों की तुलना करने में सक्षम नहीं होंगे।

यदि आप कायक व्यवसाय मॉडल में हैं, तो आप शायद वेबसाइटों को समाप्त कर देंगे। यदि आप विभिन्न प्रदाताओं को एकीकृत कर रहे हैं, तो आप अक्सर एपीआई के साथ काम करेंगे, जिनमें से कुछ बहुत अच्छे हैं, और जिनमें से अधिकांश सहनीय हैं। मैंने RSS के साथ काम नहीं किया है, लेकिन RSS और वेब स्क्रैपिंग में बहुत अंतर नहीं है। जेफ के जवाब में उल्लेख नहीं किया गया एक चौथा विकल्प भी है ... एक जहां आपको अपना डेटा रात में मिलता है, उदाहरण के लिए। FTP और इसी तरह के माध्यम से .CSV फाइलें।

जीवन बेकार है (मिनी शेख़ी)

और फिर जटिलता है। जितना अधिक मूल्य आप जोड़ना चाहते हैं, उतनी ही जटिलता आपको संभालनी होगी। क्या आप उन आवासों की खोज कर सकते हैं जो पालतू जानवरों की अनुमति देते हैं? एक छात्रावास के लिए जो शहर के केंद्र से 5 किमी से कम की दूरी पर स्थित है? क्या आप उड़ानों का संयोजन कर रहे हैं, और क्या आप इस बात की गारंटी दे सकते हैं कि यात्री के पास एक हवाई अड्डे से दूसरे हवाई अड्डे तक जाने के लिए पर्याप्त समय होगा ... क्या आप अग्रिम में परिवहन बेच सकते हैं? एक प्रसिद्ध सेलिस्ट अपनी कीमती 18 वीं शताब्दी के सेलो से भाग नहीं लेना चाहता है; क्या आप उसे सेलो के लिए एक और सीट बेच सकते हैं (हाँ, यह एक नहीं बना)?

कीमतों की तुलना करना चाहते हैं? ज़रूर, कमरा प्रति रात EUR 30 है। लेकिन आप या तो 30 के लिए एक डबल और 20 के लिए एक सिंगल ले सकते हैं, या आप एक डबल में एक अतिरिक्त बिस्तर प्राप्त कर सकते हैं और तीसरे व्यक्ति के लिए 70% की छूट प्राप्त कर सकते हैं। लेकिन केवल अगर यह 12 साल से कम उम्र का बच्चा है; हमारे अतिरिक्त बिस्तर वयस्कों के लिए नहीं हैं। और आपको खोज परिणामों में अतिरिक्त बिस्तर के लिए मूल्य नहीं मिलता है - केवल जब आप अंतिम कीमत की गणना करते हैं।

और मुझे डायनेमिक पैकेजिंग पर शुरू करने के लिए भी नहीं। आवास + किराए पर कार बेचना चाहते हैं? कोई दिक्कत नहीं है; दो अलग-अलग प्रदाताओं के साथ एकीकृत, और आप जाते हैं ... शहर में स्थानों की सूची को मैन्युअल रूप से अपडेट कर रहे हैं (किराए पर कार प्रदाता से) होटल (आवास प्रदाता से, जो आपको प्रत्येक होटल के लिए केवल शहर देता है) के साथ मिलान करने के लिए। बेशक, बशर्ते कि आप पहले से ही दो शहरों के शहरों की सूची से मेल खा चुके हों, क्योंकि शहर के कोड के लिए कोई अंतरराष्ट्रीय मानक नहीं है।

कई अन्य उद्योगों के विपरीत, जिनमें कई उत्पाद हैं, यात्रा उद्योग में कई बहुत जटिल उत्पाद हैं। अमेज़न के लिए यह आसान है; किताबें बेचना और आलू बेचना, यह एक ही बात है; तुम भी उन्हें एक ही बॉक्स में जहाज कर सकते हैं। वे आसानी से गठबंधन करते हैं और कई हिस्सों से इकट्ठे नहीं होते हैं। :)

पीएस हैकर समाचार पर एक दिलचस्प हालिया सूत्र को उड़ानों के संबंध में कुछ अंदरूनी जानकारी के साथ जोड़ना । PPS ने हाल ही में IATA के NDC प्रोटोकॉल पर पुराने ब्लॉगपोस्ट पर एक बड़ा आरोप लगाया है कि यात्रा उद्योग कैसे जुड़ा है और यह कैसे हुआ, इस बारे में एक इतिहास का सबक


डोमची, क्या इस साल बहुत कुछ बदल गया है? क्या अब अन्य एपीआई उपलब्ध हैं?
रिजवान कासिम २

नहीं, बहुत नहीं; बाजार खंडित है और यह जल्द ही बदलने की संभावना नहीं है, अगर कभी भी। उल्लेखनीय घटना Google उड़ानों के बाजार में प्रवेश कर रही है (ITA सॉफ्टवेयर के माध्यम से, मावराक्स जवाब देखें); उनके पास बाजार को मजबूत करने और एपीआई की पेशकश करने के लिए संसाधन हैं, लेकिन मुझे संदेह है कि वे क्या करना चाहते हैं / करने में सक्षम हैं। स्टार्टअप की दुनिया में, सबसे दिलचस्प दावेदार शायद airbnb.com है, लेकिन अभी तक वे एपीआई की पेशकश नहीं करते हैं। इस डोमेन में API खोजना मुश्किल नहीं है, लेकिन शायद ही कभी मुफ्त होता है। एक अच्छी एपीआई सूची के लिए programmableweb.com/apitag/booking और programmableweb.com/apitag/travel की जाँच करें ।
डोमची

क्या आप कह रहे हैं कि Kayak.com कंटेंट के लिए एयरलाइंस की साइटों को स्क्रैप करता है, और इसके लिए भुगतान नहीं करना पड़ता है? उनके व्यवसाय मॉडल के बारे में क्या उन्हें ऐसा करने की अनुमति देता है? प्रमुख एयरलाइनों के लिए उपयोग की शर्तें यह कहती हैं कि कोई अन्य साइट पर उपयोग के लिए अपनी साइट से सामग्री / डेटा को स्क्रैप नहीं कर सकता है।
रायन बाल्स

@ रेयान मैं यह नहीं कह सकता कि कयाक क्या करता है, लेकिन मैं जानता हूं कि ज्यादातर कम लागत वाली एयरलाइंस अपनी वेबसाइट और अपसेल के माध्यम से विशेष रूप से बिक्री करने के लिए किसी भी एपीआई की पेशकश नहीं करती हैं। तो बदले में, एग्रीगेटर्स अपनी वेबसाइटों को स्क्रैप करते हैं और उपयोगकर्ता इंटरैक्शन का अनुकरण करते हैं। प्रतिक्रिया में एयरलाइंस अक्सर वेबसाइट संरचना को बदलते हैं और बिल्ली और चूहे का खेल चलता रहता है। मुझे लगता है कि यह साबित करने के लिए वाहकों के लिए यह बहुत कठिन है, लेकिन वे इसके बारे में जानते हैं और शायद वे इसे पूरी तरह से रोकना नहीं चाहते हैं क्योंकि वे चाहते हैं कि यातायात उन्हें अन्यथा नहीं मिलेगा।
डोम्ची

@ डोमची कैसे आप कानूनी का वर्णन कर रहे हैं? मैंने जो पढ़ा है, उससे एयरलाइन डेटा, ईबे लिस्टिंग और अन्य (विशेष रूप से उक्त डेटा के व्यावसायिक उपयोग के लिए) के बारे में विभिन्न अदालती मामलों में वेब स्क्रैपिंग को अवैध माना गया है।
जस्टिन स्काइल्स

9

वे ITA सॉफ़्टवेयर जैसे सॉफ़्टवेयर पैकेज का उपयोग करते हैं , जो उन कंपनियों में से एक है जिन्हें Google पिक अप करने की प्रक्रिया में है।


1
इस बीच में दिखाई दिया, एक एपीआई के लिए Developers.google.com/qpx-express/v1/trips/search देखें
तार

7

वेबसाइटों से डेटा प्राप्त करने के लिए केवल 3 तरीके मुझे पता हैं।

RSS फ़ीड्स - हम अपने ऐप के साथ मौजूदा साइट के डेटा को एकीकृत करने के लिए मेरी कंपनी में rss फीड का उपयोग करते हैं। यह तेज़ है और अधिकांश साइटों पर पहले से ही RSS फ़ीड उपलब्ध है। इसके साथ समस्या यह नहीं है कि सभी साइटें RSS मानक को ठीक से लागू करती हैं, इसलिए यदि आप कई साइटों पर कई RSS फ़ीड्स से डेटा खींच रहे हैं, तो सुनिश्चित करें कि आप अपना कोड लिख लें ताकि आप अपवाद और फ़िल्टर आसानी से जोड़ सकें।

एपीआई - ये अच्छे हैं यदि वे अच्छी तरह से डिज़ाइन किए गए हैं और आपके पास आवश्यक सभी जानकारी है, हालांकि यह हमेशा ऐसा नहीं होता है, साथ ही अगर साइटें मानक एपीआई प्रारूप का उपयोग नहीं कर रही हैं, तो आपको कई एपीआई का समर्थन करना होगा।

वेब स्क्रैपिंग - यह विधि सबसे अविश्वसनीय होने के साथ-साथ बनाए रखने के लिए सबसे महंगी होगी। लेकिन अगर आपके पास कुछ नहीं बचा है तो इसे किया जा सकता है।


4

ट्रैवलपोर्ट "यूनिवर्सल एपीआई" नामक एक उत्पाद प्रदान करता है जो उड़ानों और होटल और कार किराए पर लेने वाली कंपनियों और पैकेज सौदों और सभी विभिन्न जटिलताओं के साथ करों और विनिमय दरों के साथ जुड़ने के लिए जोड़ता है:

https://developer.travelport.com/app/developer-network/resource-centre-uapi

मैंने अभी इसका इस्तेमाल शुरू किया है और यह अब तक ठीक है। क्वेरीज़ थोड़ी धीमी हैं, लेकिन फिर हर ओटीए (ऑनलाइन ट्रैवल एजेंट) की साइट पर हर क्वेरी है।


यूनिवर्सल एपीआई का उपयोग करने की लागत क्या है?
अमित

1
मैं भूल गई हूँ। मुझे लगता है कि कम हजारों में एक बंद शुल्क और कम हजारों में एक वार्षिक शुल्क है।
टिम कूपर

क्या सार्वभौमिक एपीआई मोबाइल के लिए उपलब्ध है?
at श्रीनिवासन २

uAPI SOAP प्रोटोकॉल का उपयोग करता है। प्रति आईपी पता सीमा में कोई प्रतिबंध नहीं है, लेकिन मैं सार्वजनिक रूप से उपलब्ध मोबाइल एप्लिकेशन में एपीआई क्रेडेंशियल्स को एकीकृत नहीं करूंगा। क्रेडेंशियल्स की सुरक्षा के लिए अपने स्वयं के मिडलवेयर का निर्माण करें। support.travelport.com/webhelp/uapi/uapi.htm
gavenkoa

3

इस लेख में कहा गया है कि कयाक को एक निश्चित एयरलाइन पेज को बंद करने के लिए कहा गया था। इससे मुझे विश्वास होता है कि वे संभवतः उन साइटों पर स्क्रैपिंग करते हैं जिनका उनके साथ संबंध नहीं है (और उस रिश्ते के साथ आने वाला डेटा फ़ीड)।


2

हाल ही में उड़ान तुलना वेबसाइटों से मुझे मिले दो अच्छे एपीआई हैं

एक वेगो से है , और एक स्काईस्कैनर से है । लगता है दोनों के पास कई एयरलाइनों की अच्छी रेंज और चौड़ाई है और अच्छे डॉक्यूमेंटेशन भी।

Wego हर बार एक उपयोगकर्ता को आपके ऐप से एक बुकिंग वेबसाइट पर क्लिक करता है और Skyscanner संबद्ध 50% 'राजस्व' का भुगतान करता है (मेरा मानना ​​है कि आयोग का अर्थ है कि वे एयरलाइंस से बनाते हैं)


4
FYI करें वेगो अपने एपीआई का उपयोग करने के विशेषाधिकार के लिए प्रति वर्ष $ 1000 USD भी लेते हैं।
Sk446

सही बात। इसके अलावा, मेरी पोस्ट के आगे (जैसा कि मुझे अभी थोड़ा और पता है), स्काईस्कैनर वेगो करते हैं उसी तरह से बाहर निकलने के प्रति क्लिक भुगतान करते हैं।
जोनाथन ब्लोक

2
नमस्कार, स्काईस्कैनर एपीआई टीम यहां। होटल के कामों में है। यदि आप हमारे किसी भी एपीआई (उड़ानें, कार किराए पर, होटल) का उपयोग करने के बारे में चर्चा करना चाहते हैं, तो कृपया business.skyscanner.net पर जाएं ।
स्काईस्कैनर

1
बस स्काईस्कैनर की जाँच की। नए देव उनके लिए बेकार हैं। जब तक आपकी साइट में एक महीने में कम से कम 200,000 अद्वितीय दौरे नहीं आते, आप उनकी फ्लाइट्स एपीआई का उपयोग नहीं कर सकते हैं! दयनीय!
हज्जत

1
इसके 4 साल हो चुके हैं और @Skyscanner अभी भी होटल एपीआई प्रदान नहीं करता है।
नाड

1

यह एक पुरानी पोस्ट है, लेकिन मुझे लगा कि मैं अभी जोड़ूंगा। मैं एक डेटा आर्किटेक्ट हूं जो एक ऐसी कंपनी के लिए काम करता है जो इन ट्रैवल साइट्स को कंटेंट के साथ फीड करती है। यह कंपनी कई होटल ब्रांड, व्यक्तिगत होटल और अन्य सामग्री प्रदाताओं के साथ अनुबंध करती है। हम इस जानकारी को एकत्र करते हैं और फिर इसे विभिन्न चैनलों पर पास करते हैं। वे फिर अपने सिस्टम में फिर से एकत्र होते हैं। बड़े जीडीएस सिस्टम भी सामग्री प्रदाता हैं। एकत्रीकरण कई तरीकों से किया जाता है ... मिलान एल्गोरिदम (इन-हाउस) और चाबियाँ। एक एकत्रीकरण सेवा होने के नाते, हमें क्लाइंट स्तर पर संवाद करने की आवश्यकता है।

उम्मीद है की यह मदद करेगा! चियर्स!

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.