आपके द्वारा निर्दिष्ट मानदंडों में से, मुझे लगता है कि निकटतम परियोजना जिसे मैं जानता हूं, वह फ्लोरिडा विरल मैट्रिक्स संग्रह विश्वविद्यालय होगा । लोग इस डेटा को विरल रेखीय बीजगणित सॉल्वरों की तुलना करने के लिए नियमित रूप से उपयोग करते हैं, और आप एप्लिकेशन, नॉनज़रोज़ की संख्या, मैट्रिक्स के आयाम और इतने पर वास्तव में अच्छा वेब इंटरफ़ेस, MATLAB इंटरफ़ेस या जावा GUI के साथ फ़िल्टर कर सकते हैं। मैंने 4 से 8 लीनियर बीजगणित सॉल्वर की तुलना में सॉल्वर रन टाइम तुलनाओं के साथ कागजात में सूचीबद्ध इन समस्याओं की तालिकाएँ देखी हैं।
मैं मानता हूं कि ऐसे डेटाबेस को संकलित करना उपयोगी होगा, और इसके अलावा, मुझे लगता है कि डेटा को संकलित करने के लिए यूएफ स्पार्स मैट्रिक्स संग्रह दृष्टिकोण एक उत्कृष्ट है, और इस विचार को साकार करने के बारे में सोचने वाले किसी भी व्यक्ति के लिए एक शानदार शुरुआत होगी। व्यवहार में सभी समस्याओं को चलाना, एक बड़ी कठिनाई के रूप में प्रतीत नहीं होता है जब तक कि आप सभी सॉल्वरों तक पहुंच प्राप्त कर सकते हैं; यदि आपके पास सॉल्वरों तक पहुंच है, और सभी आवश्यक सॉफ़्टवेयर स्थापित के साथ एक विश्वसनीय मानक संदर्भ मशीन है, तो यह स्क्रिप्ट चलाने और डेटा एकत्र करने का मामला होना चाहिए। मेरे दिमाग में यह मुश्किल है, अगर यह खुला स्रोत नहीं है, तो लोग आपको अपना सॉफ्टवेयर दे देंगे। यदि यह वाणिज्यिक है, तो आप इसे खरीद सकते हैं, या संभवतः लोगों को सॉफ़्टवेयर दान करने के लिए भी प्राप्त कर सकते हैं,COIN- या परियोजना। लेकिन अगर यह शोध सॉफ़्टवेयर है जो न तो वाणिज्यिक है और न ही खुला स्रोत है, तो आपको लोगों को प्रयास में खरीदने के लिए मनाने की आवश्यकता है, और वे अपने सॉफ़्टवेयर का निष्पक्ष रूप से आकलन करने के लिए किसी तीसरे पक्ष पर भरोसा नहीं कर सकते हैं।
मैं यह भी जानता हूं कि अनुकूलन में, समस्याओं के डाउनलोड करने योग्य डेटाबेस ( CUTEr
दिमाग में आते हैं) और अनुकूलन के लिए परीक्षण समस्याओं की पुस्तकें हैं। मैंने लोगों को देखा है (उदाहरण के लिए, मैं विशेष रूप से AIChE 2011 में रूथ मिस्नर द्वारा एक बात सोच रहा हूं) प्रस्तुतियों में समस्याओं के डेटाबेस पर उनके अनुकूलन सॉल्वर बनाम अन्य सॉल्वर की तुलना करें; मुझे यकीन नहीं है कि सार्वजनिक रूप से क्या जारी होता है। मुझे पता है कि बड़े पैमाने पर तुलना के लिए अनुकूलन में एक परंपरा है (कई सॉल्वर, कई समस्याएं); मुझे नहीं लगता कि कोई ऑनलाइन डेटाबेस उपलब्ध है।
एक और बात जो मुझे लगता है कि महत्वपूर्ण है कि हम यहां तरीकों और सॉफ्टवेयर कार्यान्वयन के बीच अंतर करते हैं। वैज्ञानिक कंप्यूटिंग में, हम सभी इस बारे में बात करते हैं कि कम्प्यूटेशनल जटिलता मेट्रिक्स, या विभिन्न समस्याओं के बारे में हमारे अनुभवों के आधार पर कौन से तरीके तेज़ या धीमे हैं। जब कम्प्यूटेशनल समय को मात्रात्मक रूप से मापने की बात आती है, हालांकि, जब तक कि किसी विशेष एल्गोरिथ्म में एफएलओपी की संख्या को गिना नहीं जाता है, किसी को एल्गोरिथ्म को सॉफ्टवेयर में लागू करना होगा और फिर प्रदर्शन को किसी तरह से मापना होगा (मेमोरी उपयोग, निष्पादन की दीवार घड़ी का समय, आदि। ।)। कम्प्यूटेशनल जटिलता या FLOP की गणना करते समय किसी विधि के प्रदर्शन का आकलन करना समझ में आता है, क्योंकि हमें ऐसी चीजों को मापने के लिए कार्यान्वयन की आवश्यकता नहीं है, लेकिन जिस पल में हम वास्तविक दीवार घड़ी चलाने के समय में रुचि रखते हैं, विधियों के बारे में बात कर रहे हैं। केवल एक सार, बोलचाल की डिवाइस के रूप में उपयोगी है। (उदाहरण के लिए,
मैं तरीकों और सॉफ्टवेयर के बीच इस अंतर को लाता हूं क्योंकि ऐसे डेटाबेस में, मैं समय के साथ सॉफ्टवेयर में सुधार को ट्रैक करने की संभावना भी देख सकता था। उदाहरण के लिए, जैसे, PETSc, या PyCLAW, या जो भी सॉफ़्टवेयर परीक्षण किया जा रहा है, कुछ के साथ, यह देखना दिलचस्प होगा कि सॉफ़्टवेयर में अपग्रेड द्वारा सकारात्मक (या नकारात्मक) क्या समस्याएं प्रभावित होती हैं। यह उन शोधकर्ताओं के लिए उपयोगी हो सकता है जो यह तय करने की कोशिश कर रहे हैं कि क्या उनके कोड को अपग्रेड करने के लिए पैसे और मैनपावर में किसी भी संभावित लागत के लायक है। एक और कारण इस तरह के भेद महत्वपूर्ण है क्योंकि एक अच्छी विधि को बुरी तरह से लागू किया जा सकता है; मुझे लगता है कि यह संभावना कभी-कभी लोगों को उनके शोध कोड को साझा करने में योगदान देती है।
मुझे लगता है कि जो कुछ भी इस विचार से आता है (और मुझे आशा है कि कुछ इसके बारे में आता है, और मेरे पीएचडी के बाद योगदान करने के लिए तैयार होगा), सॉफ्टवेयर और विधियों के बीच के अंतर पर जोर देना महत्वपूर्ण है, क्योंकि यदि हम परीक्षण समस्याओं को चला रहे हैं, तो हम सॉफ्टवेयर के लिए परिणाम पोस्ट करने जा रहा है।