हां, एक्स सर्वर को हटाना सुरक्षित होना चाहिए। मैंने वास्तव में रास्पबेरी पाई पर यह कोशिश नहीं की है (जैसा कि मेरे पास अभी तक एक नहीं है), लेकिन मुझे उम्मीद है कि एक्स सर्वर को हटाने के साथ, sudo apt-get remove xserver-xorgबस ठीक काम करेगा।
डेबियन और अधिकांश अन्य समझदार लिनक्स वितरणों पर, एक्स क्लाइंट पैकेज में एक्स सर्वर पर निर्भरता नहीं होती है, ठीक इसी तरह कि एक्स क्लाइंट के बिना मशीन पर एक्स क्लाइंट स्थापित करना संभव है। Theses X क्लाइंट तब आपके उपयोग के मामले के अनुसार दूरस्थ रूप से चला सकते हैं और प्रदर्शित कर सकते हैं, जो वास्तव में लिनक्स सर्वर के लिए बहुत आम है।
आपको अपने रास्पबेरी पाई में एक्स सर्वर के साथ एक्स सर्वर चलाने वाली मशीन से अग्रेषित करने में सक्षम होना चाहिए ssh -X <your_Pi's_IP_adress>। Pi पर SSH पर शुरू किए गए X क्लाइंट को आपके X सर्वर पर फॉरवर्ड किया जाना चाहिए और स्थानीय रूप से दिखाई देना चाहिए।
sudo apt-get remove xserver-xorgऔर सब कुछ ठीक लग रहा है।