ऐसा लगता है कि जीसीसी और एलएलवीएम-क्लैंग हस्तलिखित पुनरावर्ती वंश पार्सर का उपयोग कर रहे हैं , और मशीन उत्पन्न नहीं , बाइसन-फ्लेक्स आधारित, नीचे अप पार्सिंग।
क्या कोई यहाँ पुष्टि कर सकता है कि यह मामला है? और यदि हां, तो मुख्यधारा के कंपाइलर फ्रेमवर्क हस्तलिखित पार्सर का उपयोग क्यों करते हैं?
अपडेट : यहां इस विषय पर दिलचस्प ब्लॉग
जवाबों:
हाँ:
जीसीसी ने एक समय में एक याक (बाइसन) पार्सर का उपयोग किया था, लेकिन इसे 3.x श्रृंखला में कुछ बिंदु पर हाथ से लिखे गए पुनरावर्ती वंश पार्सर के साथ बदल दिया गया था: http://gcc.gnu.org/wiki/N__C_Parser के लिए देखें प्रासंगिक पैच सबमिशन के लिंक।
क्लैंग हाथ से लिखे हुए पुनरावर्ती वंशीय पार्सर का भी उपयोग करता है: http://clang.llvm.org/featre.html के अंत के पास अनुभाग "सी, ऑब्जेक्टिव सी, सी ++ और ऑब्जेक्टिव सी ++ के लिए एक एकल एकीकृत पार्सर" देखें ।
foo * bar;या तो गुणन अभिव्यक्ति के रूप में पार्स कर सकते हैं (अप्रयुक्त परिणाम के साथ), या barप्रकार सूचक-टू के साथ एक चर की घोषणा foo। कौन सा सही है यह इस बात पर निर्भर करता है कि उस समय के typedefलिए fooकोई गुंजाइश है या नहीं, जो ऐसा कुछ नहीं है जिसे किसी भी राशि के लुकहेड के साथ निर्धारित किया जा सकता है। लेकिन इसका मतलब यह है कि पुनरावर्ती वंश पार्सर को संभालने के लिए कुछ बदसूरत अतिरिक्त मशीनरी की आवश्यकता होती है।
एक लोक-प्रमेय है जो कहता है कि सी को पार्स करना मुश्किल है, और सी ++ अनिवार्य रूप से असंभव है।
यह सच नहीं है।
यह सच है कि पार्सिंग मशीनरी को हैक किए बिना प्रतीक तालिका डेटा में एलएएलआर (1) पार्सर का उपयोग करके सी और सी ++ को पार्स करना बहुत कठिन है। जीसीसी वास्तव में उन्हें YACC और इस तरह के अतिरिक्त हैकरी का उपयोग करके पार्स करता था, और हाँ यह बदसूरत था। अब जीसीसी हस्तलिखित पार्सर का उपयोग करता है, लेकिन फिर भी प्रतीक तालिका हैकरी के साथ। क्लैंग लोगों ने कभी भी स्वचालित पार्सर जनरेटर का उपयोग करने की कोशिश नहीं की; AFAIK द क्लैंग पार्सर हमेशा हैंड-कोडेड रिकर्सिव डीसेंट रहा है।
यह सच है, यह है कि C और C ++ अपेक्षाकृत स्वचालित रूप से उत्पन्न पार्सर, उदाहरण के लिए, GLR पार्सर के साथ पार्स करना आसान है , और आपको किसी भी हैक की आवश्यकता नहीं है। एल्सा सी ++ पार्सर इस का एक उदाहरण है। हमारा सी ++ फ्रंट एंड एक और है (जैसा कि हमारे सभी "कंपाइलर" फ्रंट एंड हैं, जीएलआर बहुत बढ़िया पार्सिंग तकनीक है)।
हमारा C ++ फ्रंट एंड GCC's जितना तेज़ नहीं है, और एल्सा की तुलना में निश्चित रूप से धीमा है; हमने इसे ध्यान से ट्यूनिंग करने में बहुत कम ऊर्जा लगाई है क्योंकि हमारे पास अन्य अधिक दबाव वाले मुद्दे हैं (फिर भी इसका उपयोग C ++ की लाखों लाइनों पर किया गया है)। एल्सा की संभावना जीसीसी की तुलना में धीमी है क्योंकि यह अधिक सामान्य है। इन दिनों प्रोसेसर की गति को देखते हुए, ये अंतर बहुत अधिक व्यवहार में नहीं आ सकते हैं।
लेकिन "वास्तविक संकलक" जो आज व्यापक रूप से वितरित हैं, उनकी जड़ें 10 या 20 साल पहले या उससे अधिक के संकलक में हैं। अक्षमताओं ने तब बहुत अधिक मायने रखा, और किसी ने जीएलआर पार्सर्स के बारे में नहीं सुना था, इसलिए लोगों ने वही किया जो वे जानते थे कि कैसे करना है। क्लैंग निश्चित रूप से हाल ही में अधिक है, लेकिन फिर लोक प्रमेय लंबे समय तक अपनी "दृढ़ता" बनाए रखते हैं।
आप इसे अब और नहीं करना है। कंपाइल मेंटेनेंस में सुधार के साथ आप जीएलआर और अन्य ऐसे पार्सर्स का उपयोग बहुत ही कम कर सकते हैं।
क्या है सच है, कि एक व्याकरण है कि आपके अनुकूल पड़ोस संकलक के व्यवहार से मेल खाता हो रही मुश्किल है। वस्तुतः सभी C ++ कंपाइलर मूल मानक के (अधिकांश) को लागू करते हैं, उनके पास बहुत सारे डार्क कॉर्नर एक्सटेंशन होते हैं, उदाहरण के लिए, MS कंपाइलर्स में DLL विनिर्देश आदि, यदि आपके पास एक मजबूत पार्सिंग इंजन है, तो आप अपना समय प्राप्त करने की कोशिश कर सकते हैं। अपने व्याकरण जनरेटर की सीमाओं से मेल खाने के लिए अपने व्याकरण को मोड़ने की कोशिश करने के बजाय वास्तविकता से मेल करने के लिए अंतिम व्याकरण।
EDIT नवंबर 2012: इस उत्तर को लिखने के बाद से, हमने पूर्ण सी ++ 11 को संभालने के लिए हमारे सी ++ फ्रंट एंड में सुधार किया है, जिसमें एएनएसआई, जीएनयू, और एमएस वेरिएंट बोलियां शामिल हैं। जबकि अतिरिक्त सामान बहुत था, हमें अपने पार्सिंग इंजन को बदलना नहीं है; हमने सिर्फ व्याकरण के नियमों को संशोधित किया है। हम था अर्थगत विश्लेषण बदलना होगा; C ++ 11 शब्दार्थ रूप से बहुत जटिल है, और यह कार्य पार्सर को चलाने के लिए प्रयास को पूरा करता है।
EDIT फरवरी 2015: ... अब पूर्ण C ++ 14 को संभालता है। ( एक साधारण बिट कोड के GLR पार्स के लिए c ++ कोड से मानव पठनीय एएसटी प्राप्त करें , और C ++ का कुख्यात "सबसे डरावने पार्स")।
EDIT अप्रैल 2017: अब हैंडल (ड्राफ्ट) C ++ 17।
foo * bar;अस्पष्टता को कैसे संभालते हैं ?
क्लैंग के पार्सर एक हाथ से लिखे गए पुनरावर्ती-वंशीय पार्सर हैं, जैसा कि कई अन्य ओपन-सोर्स और वाणिज्यिक सी और सी ++ फ्रंट एंड हैं।
क्लैंग कई कारणों से एक पुनरावर्ती-वंशीय पार्सर का उपयोग करता है:
कुल मिलाकर, C ++ कंपाइलर के लिए, यह बहुत मायने नहीं रखता है: C ++ का पार्सिंग भाग गैर-तुच्छ है, लेकिन यह अभी भी आसान भागों में से एक है, इसलिए यह इसे सरल रखने के लिए भुगतान करता है। सिमेंटिक विश्लेषण --- विशेष रूप से नाम लुकअप, आरंभीकरण, अधिभार संकल्प, और टेम्पलेट तात्कालिकता --- परिमाण के पार्सिंग की तुलना में अधिक जटिल है। यदि आप प्रमाण चाहते हैं, तो कोड के वितरण की जांच करें और क्लैंग के "सेमा" घटक (शब्दार्थ विश्लेषण के लिए) बनाम इसके "पार्स" घटक (पार्सिंग के लिए) में जाएं।
gcc का पार्सर हस्तलिखित है। । क्लैंग के लिए मुझे उसी पर संदेह है। यह शायद कुछ कारणों से है:
यह शायद "यहां आविष्कार नहीं किया गया" सिंड्रोम का मामला नहीं है, लेकिन "कुछ भी नहीं है" की तर्ज पर विशेष रूप से हमारे लिए आवश्यक कुछ भी अनुकूलित नहीं था, इसलिए हमने अपना लिखा।
अजीब जवाब वहाँ!
C / C ++ व्याकरण संदर्भ मुक्त नहीं हैं। वे फू * बार के कारण संदर्भ के प्रति संवेदनशील हैं; अस्पष्टता। हमें यह जानने के लिए टाइपडिफ की सूची बनानी होगी कि फू एक प्रकार है या नहीं।
इरा बैक्सटर: मुझे आपकी जीएलआर वाली बात नहीं दिख रही है। क्यों एक पेड़ का निर्माण करें जिसमें अस्पष्टता शामिल है। पार्सिंग का अर्थ है अस्पष्टताओं को हल करना, वाक्य रचना के पेड़ का निर्माण करना। आप इन अस्पष्टताओं को एक दूसरे पास में हल करते हैं, इसलिए यह कम बदसूरत नहीं है। मेरे लिए यह बहुत अधिक बदसूरत है ...
Yacc एक LR (1) पार्सर जनरेटर (या LALR (1)) है, लेकिन इसे संदर्भ संवेदनशील होने के लिए आसानी से संशोधित किया जा सकता है। और इसमें कुछ भी बदसूरत नहीं है। Yacc / Bison को C भाषा को पार्स करने में मदद करने के लिए बनाया गया है, इसलिए शायद यह C पार्स उत्पन्न करने वाला सबसे पुराना उपकरण नहीं है ...
GCC 3.x तक C पार्सर yacc / bison द्वारा उत्पन्न किया जाता है, टाइपिंग टेबल के साथ पार्सिंग के दौरान बनाया जाता है। "इन पार्स" टाइपफ़ीड्स टेबल बिल्डिंग के साथ, सी व्याकरण स्थानीय रूप से मुक्त और इसके अलावा "स्थानीय रूप से LR (1)" बन जाता है।
अब, Gcc 4.x में, यह एक पुनरावर्ती वंशीय पार्सर है। यह Gcc 3.x की तरह ही समान पार्सर है, यह अभी भी LR (1) है, और इसमें समान व्याकरण नियम हैं। अंतर यह है कि याक पार्सर को फिर से लिखा गया है, शिफ्ट / कम अब कॉल स्टैक में छिपा हुआ है, और कोई "State454: if (nextsym == '(') goto state398" नहीं है जैसा कि gcc 3.x yacc में है पार्सर, इसलिए यह पैच करना आसान है, त्रुटियों को संभालना और अच्छे संदेशों को प्रिंट करना, और पार्सिंग के अगले संकलन चरणों में से कुछ को निष्पादित करना है। एक gcc दोपहर के लिए बहुत कम "आसान पढ़ने के लिए" कोड की कीमत पर।
उन्होंने याक से पुनरावर्ती वंश पर स्विच क्यों किया? क्योंकि सी ++ को पार्स करने के लिए याक से बचना बहुत आवश्यक है, और क्योंकि जीसीसी मल्टी भाषा संकलक होने का सपना देखता है, अर्थात विभिन्न भाषाओं के बीच अधिकतम कोड साझा कर सकता है। यही कारण है कि C ++ और C parser एक ही तरह से लिखे गए हैं।
C ++, C की तुलना में पार्स करना कठिन है क्योंकि यह "स्थानीय रूप से LR" (1) सी के रूप में नहीं है, यह LR (k) भी नहीं है। func<4 > 2>4> 2 के साथ तात्कालिक रूप से देखा जाने वाला एक टेम्प्लेट फंक्शन है, func<4 > 2>
जिसे पढ़ना होगा func<1>। यह निश्चित रूप से LR (1) नहीं है। अब गौर कीजिए func<4 > 2 > 1 > 3 > 3 > 8 > 9 > 8 > 7 > 8>। यह वह जगह है जहां एक पुनरावर्ती वंश आसानी से अस्पष्टता को हल कर सकता है, कुछ और फ़ंक्शन कॉल की कीमत पर (parse_template_parameter अस्पष्ट पार्सर फ़ंक्शन है। यदि parse_template_parameter (17tokens) विफल रहा है, तो फिर से parse_template_parameter (15tokens), parse_temtemtplate_template_ प्रयास करें। यह काम करता हैं)।
मुझे नहीं पता कि यह yacc / bison recursive sub grammars में जोड़ना संभव क्यों नहीं होगा, शायद यह gcc / GNU पार्सर विकास में अगला कदम होगा?
ऐसा लगता है कि जीसीसी और एलएलवीएम-क्लैंग हस्तलिखित पुनरावर्ती वंश पार्सर का उपयोग कर रहे हैं, और मशीन उत्पन्न नहीं, बाइसन-फ्लेक्स आधारित, नीचे पार्सिंग।
विशेष रूप से बाइसन मुझे नहीं लगता कि कुछ चीजों को अस्पष्ट रूप से पार्स करने और बाद में दूसरा पास करने के बिना व्याकरण को संभाल सकता है।
मैं जानता हूं कि हास्केल के हैप्पी मोनैडिक (यानी राज्य-निर्भर) पार्सर्स के लिए अनुमति देता है जो सी सिंटैक्स के साथ विशेष मुद्दे को हल कर सकते हैं, लेकिन मुझे कोई सी पार्सर जनरेटर के बारे में नहीं पता है जो उपयोगकर्ता द्वारा आपूर्ति किए गए राज्य मोनड की अनुमति देता है।
सिद्धांत रूप में, त्रुटि पुनर्प्राप्ति एक हस्तलिखित पार्सर के पक्ष में एक बिंदु होगा, लेकिन जीसीसी / क्लैंग के साथ मेरा अनुभव यह रहा है कि त्रुटि संदेश विशेष रूप से अच्छे नहीं हैं।
प्रदर्शन के लिए - कुछ दावे निराधार लगते हैं। पार्सर जनरेटर का उपयोग करके एक बड़ी राज्य मशीन को उत्पन्न करना कुछ में परिणाम होना चाहिए O(n)और मुझे संदेह है कि पार्सिंग बहुत टूलिंग में अड़चन है।