बुकस्लीव्स कनैक्ट्स यूटिल्स का उपयोग करके सिग्नलिस रेडबस फेलओवर के साथ सिग्नलआर का उपयोग करना। कनेक्ट ()

Question

मैं सिग्नलआर ऐप के साथ रेडिस संदेश बस फेलओवर परिदृश्य बनाने की कोशिश कर रहा हूं।

सबसे पहले, हमने एक सरल हार्डवेयर लोड-बैलेंसर फेलओवर की कोशिश की, जो कि केवल दो रेडिस सर्वरों पर नजर रखता था। सिग्नलआर एप्लिकेशन ने एकवचन एचएलबी एंडपॉइंट की ओर इशारा किया। मैंने तब एक सर्वर को विफल कर दिया, लेकिन सिग्नलरी ऐप ऐप को पुन: चालू किए बिना दूसरे रेडिस सर्वर पर सफलतापूर्वक कोई संदेश प्राप्त करने में असमर्थ था। संभवत: ऐसा इसलिए है क्योंकि इसे नए रेडिस संदेश बस में सेटअप कमांड जारी करने की आवश्यकता है।

सिग्नलआर आरसी 1 के रूप में, पब / उप के लिए एक ही Microsoft.AspNet.SignalR.Redis.RedisMessageBusरेडिस RedisConnection()से कनेक्ट करने के लिए बुकस्लीव्स का उपयोग करता है ।

मैंने एक नया वर्ग बनाया, RedisMessageBusCluster()जो ConnectionUtils.Connect()Redis सर्वर के क्लस्टर में एक से कनेक्ट करने के लिए Booksleeve का उपयोग करता है।

using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading;
using System.Threading.Tasks;
using BookSleeve;
using Microsoft.AspNet.SignalR.Infrastructure;

namespace Microsoft.AspNet.SignalR.Redis
{
    /// <summary>
    /// WIP:  Getting scaleout for Redis working
    /// </summary>
    public class RedisMessageBusCluster : ScaleoutMessageBus
    {
        private readonly int _db;
        private readonly string[] _keys;
        private RedisConnection _connection;
        private RedisSubscriberConnection _channel;
        private Task _connectTask;

        private readonly TaskQueue _publishQueue = new TaskQueue();

        public RedisMessageBusCluster(string serverList, int db, IEnumerable<string> keys, IDependencyResolver resolver)
            : base(resolver)
        {
            _db = db;
            _keys = keys.ToArray();

            // uses a list of connections
            _connection = ConnectionUtils.Connect(serverList);

            //_connection = new RedisConnection(host: server, port: port, password: password);

            _connection.Closed += OnConnectionClosed;
            _connection.Error += OnConnectionError;


            // Start the connection - TODO:  can remove this Open as the connection is already opened, but there's the _connectTask is used later on
            _connectTask = _connection.Open().Then(() =>
            {
                // Create a subscription channel in redis
                _channel = _connection.GetOpenSubscriberChannel();

                // Subscribe to the registered connections
                _channel.Subscribe(_keys, OnMessage);

                // Dirty hack but it seems like subscribe returns before the actual
                // subscription is properly setup in some cases
                while (_channel.SubscriptionCount == 0)
                {
                    Thread.Sleep(500);
                }
            });
        }


        protected override Task Send(Message[] messages)
        {
            return _connectTask.Then(msgs =>
            {
                var taskCompletionSource = new TaskCompletionSource<object>();

                // Group messages by source (connection id)
                var messagesBySource = msgs.GroupBy(m => m.Source);

                SendImpl(messagesBySource.GetEnumerator(), taskCompletionSource);

                return taskCompletionSource.Task;
            },
            messages);
        }

        private void SendImpl(IEnumerator<IGrouping<string, Message>> enumerator, TaskCompletionSource<object> taskCompletionSource)
        {
            if (!enumerator.MoveNext())
            {
                taskCompletionSource.TrySetResult(null);
            }
            else
            {
                IGrouping<string, Message> group = enumerator.Current;

                // Get the channel index we're going to use for this message
                int index = Math.Abs(group.Key.GetHashCode()) % _keys.Length;

                string key = _keys[index];

                // Increment the channel number
                _connection.Strings.Increment(_db, key)
                                   .Then((id, k) =>
                                   {
                                       var message = new RedisMessage(id, group.ToArray());

                                       return _connection.Publish(k, message.GetBytes());
                                   }, key)
                                   .Then((enumer, tcs) => SendImpl(enumer, tcs), enumerator, taskCompletionSource)
                                   .ContinueWithNotComplete(taskCompletionSource);
            }
        }

        private void OnConnectionClosed(object sender, EventArgs e)
        {
            // Should we auto reconnect?
            if (true)
            {
                ;
            }
        }

        private void OnConnectionError(object sender, BookSleeve.ErrorEventArgs e)
        {
            // How do we bubble errors?
            if (true)
            {
                ;
            }
        }

        private void OnMessage(string key, byte[] data)
        {
            // The key is the stream id (channel)
            var message = RedisMessage.Deserialize(data);

            _publishQueue.Enqueue(() => OnReceived(key, (ulong)message.Id, message.Messages));
        }

        protected override void Dispose(bool disposing)
        {
            if (disposing)
            {
                if (_channel != null)
                {
                    _channel.Unsubscribe(_keys);
                    _channel.Close(abort: true);
                }

                if (_connection != null)
                {
                    _connection.Close(abort: true);
                }                
            }

            base.Dispose(disposing);
        }
    }
}

मास्टर के निर्धारण के लिए बुकस्लीव का अपना तंत्र है, और स्वचालित रूप से किसी अन्य सर्वर पर विफल हो जाएगा, और अब इसके साथ परीक्षण कर रहा हूं SignalR.Chat।

में web.config, मैं उपलब्ध सर्वरों की सूची निर्धारित करता हूं:

<add key="redis.serverList" value="dbcache1.local:6379,dbcache2.local:6379"/>

फिर में Application_Start():

        // Redis cluster server list
        string redisServerlist = ConfigurationManager.AppSettings["redis.serverList"];

        List<string> eventKeys = new List<string>();
        eventKeys.Add("SignalR.Redis.FailoverTest");
        GlobalHost.DependencyResolver.UseRedisCluster(redisServerlist, eventKeys);

मैंने दो अतिरिक्त विधियाँ जोड़ीं Microsoft.AspNet.SignalR.Redis.DependencyResolverExtensions:

public static IDependencyResolver UseRedisCluster(this IDependencyResolver resolver, string serverList, IEnumerable<string> eventKeys)
{
    return UseRedisCluster(resolver, serverList, db: 0, eventKeys: eventKeys);
}

public static IDependencyResolver UseRedisCluster(this IDependencyResolver resolver, string serverList, int db, IEnumerable<string> eventKeys)
{
    var bus = new Lazy<RedisMessageBusCluster>(() => new RedisMessageBusCluster(serverList, db, eventKeys, resolver));
    resolver.Register(typeof(IMessageBus), () => bus.Value);

    return resolver;
}

अब समस्या यह है कि जब मैंने कई ब्रेकप्वाइंट सक्षम किए हैं, जब तक कि एक उपयोगकर्ता नाम जोड़ा नहीं जाता है, तब तक सभी ब्रेकप्वाइंट को अक्षम कर दें, एप्लिकेशन अपेक्षित रूप से काम करता है। हालाँकि, शुरू से ही टूटने वाले विकलांगों के साथ, कुछ दौड़ की स्थिति है जो कनेक्शन प्रक्रिया के दौरान विफल हो सकती है।

इस प्रकार, में RedisMessageCluster():

    // Start the connection
    _connectTask = _connection.Open().Then(() =>
    {
        // Create a subscription channel in redis
        _channel = _connection.GetOpenSubscriberChannel();

        // Subscribe to the registered connections
        _channel.Subscribe(_keys, OnMessage);

        // Dirty hack but it seems like subscribe returns before the actual
        // subscription is properly setup in some cases
        while (_channel.SubscriptionCount == 0)
        {
            Thread.Sleep(500);
        }
    });

मैंने दोनों को जोड़ने की कोशिश की Task.Wait, और यहां तक ​​कि एक अतिरिक्त Sleep()(ऊपर नहीं दिखाया गया है) - जो इंतजार कर रहे थे / आदि, लेकिन फिर भी त्रुटियां हो रही हैं।

आवर्ती त्रुटि Booksleeve.MessageQueue.cs~ ln 71 में प्रतीत होती है :

A first chance exception of type 'System.InvalidOperationException' occurred in BookSleeve.dll
iisexpress.exe Error: 0 : SignalR exception thrown by Task: System.AggregateException: One or more errors occurred. ---> System.InvalidOperationException: The queue is closed
   at BookSleeve.MessageQueue.Enqueue(RedisMessage item, Boolean highPri) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\MessageQueue.cs:line 71
   at BookSleeve.RedisConnectionBase.EnqueueMessage(RedisMessage message, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\RedisConnectionBase.cs:line 910
   at BookSleeve.RedisConnectionBase.ExecuteInt64(RedisMessage message, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\RedisConnectionBase.cs:line 826
   at BookSleeve.RedisConnection.IncrementImpl(Int32 db, String key, Int64 value, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\IStringCommands.cs:line 277
   at BookSleeve.RedisConnection.BookSleeve.IStringCommands.Increment(Int32 db, String key, Int64 value, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\IStringCommands.cs:line 270
   at Microsoft.AspNet.SignalR.Redis.RedisMessageBusCluster.SendImpl(IEnumerator`1 enumerator, TaskCompletionSource`1 taskCompletionSource) in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Redis\RedisMessageBusCluster.cs:line 90
   at Microsoft.AspNet.SignalR.Redis.RedisMessageBusCluster.<Send>b__2(Message[] msgs) in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Redis\RedisMessageBusCluster.cs:line 67
   at Microsoft.AspNet.SignalR.TaskAsyncHelper.GenericDelegates`4.<>c__DisplayClass57.<ThenWithArgs>b__56() in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Core\TaskAsyncHelper.cs:line 893
   at Microsoft.AspNet.SignalR.TaskAsyncHelper.TaskRunners`2.<>c__DisplayClass42.<RunTask>b__41(Task t) in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Core\TaskAsyncHelper.cs:line 821
   --- End of inner exception stack trace ---
---> (Inner Exception #0) System.InvalidOperationException: The queue is closed
   at BookSleeve.MessageQueue.Enqueue(RedisMessage item, Boolean highPri) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\MessageQueue.cs:line 71
   at BookSleeve.RedisConnectionBase.EnqueueMessage(RedisMessage message, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\RedisConnectionBase.cs:line 910
   at BookSleeve.RedisConnectionBase.ExecuteInt64(RedisMessage message, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\RedisConnectionBase.cs:line 826
   at BookSleeve.RedisConnection.IncrementImpl(Int32 db, String key, Int64 value, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\IStringCommands.cs:line 277
   at BookSleeve.RedisConnection.BookSleeve.IStringCommands.Increment(Int32 db, String key, Int64 value, Boolean queueJump) in c:\Projects\Frameworks\BookSleeve-1.2.0.5\BookSleeve\IStringCommands.cs:line 270
   at Microsoft.AspNet.SignalR.Redis.RedisMessageBusCluster.SendImpl(IEnumerator`1 enumerator, TaskCompletionSource`1 taskCompletionSource) in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Redis\RedisMessageBusCluster.cs:line 90
   at Microsoft.AspNet.SignalR.Redis.RedisMessageBusCluster.<Send>b__2(Message[] msgs) in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Redis\RedisMessageBusCluster.cs:line 67
   at Microsoft.AspNet.SignalR.TaskAsyncHelper.GenericDelegates`4.<>c__DisplayClass57.<ThenWithArgs>b__56() in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Core\TaskAsyncHelper.cs:line 893
   at Microsoft.AspNet.SignalR.TaskAsyncHelper.TaskRunners`2.<>c__DisplayClass42.<RunTask>b__41(Task t) in c:\Projects\Frameworks\SignalR\SignalR.1.0RC1\SignalR\src\Microsoft.AspNet.SignalR.Core\TaskAsyncHelper.cs:line 821<---



public void Enqueue(RedisMessage item, bool highPri)
{
    lock (stdPriority)
    {
        if (closed)
        {
            throw new InvalidOperationException("The queue is closed");
        }

जहां एक बंद कतार अपवाद को फेंका जा रहा है।

मैं एक और मुद्दे की उम्मीद करता हूं: चूंकि रेडिस कनेक्शन बनाया गया है, Application_Start()इसलिए किसी अन्य सर्वर को "पुनः कनेक्ट करने" में कुछ मुद्दे हो सकते हैं। हालांकि, मुझे लगता है कि यह एकवचन का उपयोग करते समय मान्य है RedisConnection(), जहां से चुनने के लिए केवल एक कनेक्शन है। हालाँकि, ConnectionUtils.Connect()मैं @dfowlerउस परिदृश्य से या अन्य सिग्नलआर लोगों से यह सुनना चाहता हूं कि इस परिदृश्य को सिग्नलआर में कैसे नियंत्रित किया जाता है।

Comments

मैं देखूंगा, लेकिन: पहली बात यह है कि आपको कॉल करने की आवश्यकता नहीं है Openक्योंकि आपके पास जो कनेक्शन है वह पहले से ही खुला होना चाहिए । मैं, हालांकि, तुरंत देखने के लिए सक्षम नहीं होगा के रूप में मैं एक उड़ान के लिए तैयार हो रही है

— मार्क Gravell

मेरा मानना ​​है कि यहां दो मुद्दे हैं। 1) बुकस्लीव एक विफलता से कैसे निपट रहा है; 2) सिग्नलआर क्लाइंट्स पर नज़र रखने के लिए कैसे कर्सर का उपयोग करता है। जब एक नया संदेश बस शुरू होता है, mb1 से सभी कर्सर mb2 पर नहीं निकलते हैं। इसलिए जब सिग्नलआर ऐप पूल को रीसेट करते हैं, तो यह काम करना शुरू कर देगा - पहले नहीं, जो स्पष्ट रूप से व्यवहार्य विकल्प नहीं है।

— एलाहिक्स

यह वर्णन करते हुए कि सिग्नलआर कैसे श्राप देने वालों का उपयोग करता है: stackoverflow.com/questions/13054592/…

— ElHaix

रेडिस संदेश बस के नवीनतम संस्करण का उपयोग करने का प्रयास करें। यह एक कनेक्शन फैक्ट्री में पास होने का समर्थन करता है और सर्वर के डाउन होने पर कनेक्ट करने के लिए रीट्रीटिंग को हैंडल करता है।

— दाविदफ्लो

क्या आपके पास जारी नोटों के लिए एक लिंक है? धन्यवाद।

— एलहाक्स

Answer 1

सिग्नलआर टीम ने अब बुकसेलीव के उत्तराधिकारी, स्टेक्सएक्सचेंज.रीडिस के साथ एक कस्टम कनेक्शन फैक्ट्री के लिए समर्थन लागू किया है , जो कनेक्शनमुल्टीप्लेक्सर के माध्यम से निरर्थक रेडिस कनेक्शन का समर्थन करता है।

आरंभिक समस्या यह थी कि सर्वर के संग्रह को स्वीकार करने के लिए बुकस्लीव में अपने स्वयं के विस्तार के तरीकों को बनाने के बावजूद, असफल-ओवर संभव नहीं था।

अब, BookSleeve के StackExchange.Redis के विकास के साथ, अब हम आरंभीकरण में सर्वर / बंदरगाहों के संग्रह को कॉन्फ़िगर कर सकते हैं Connect।

नया कार्यान्वयन सड़क बनाने की तुलना में बहुत सरल है, जो एक UseRedisClusterविधि बनाने में है, और बैक-एंड प्लमिंग अब सच असफलता का समर्थन करता है:

var conn = ConnectionMultiplexer.Connect("redisServer1:6380,redisServer2:6380,redisServer3:6380,allowAdmin=true");

StackExchange.Redis अतिरिक्त मैन्युअल कॉन्फ़िगरेशन के लिए अनुमति देता है जैसा कि Automatic and Manual Configurationदस्तावेज़ के अनुभाग में उल्लिखित है :

ConfigurationOptions config = new ConfigurationOptions
{
    EndPoints =
    {
        { "redis0", 6379 },
        { "redis1", 6380 }
    },
    CommandMap = CommandMap.Create(new HashSet<string>
    { // EXCLUDE a few commands
        "INFO", "CONFIG", "CLUSTER",
        "PING", "ECHO", "CLIENT"
    }, available: false),
    KeepAlive = 180,
    DefaultVersion = new Version(2, 8, 8),
    Password = "changeme"
};

संक्षेप में, सर्वरों के संग्रह के साथ हमारे सिग्नलआर स्केल-आउट वातावरण को आरंभ करने की क्षमता अब प्रारंभिक समस्या को हल करती है।

Comments

क्या मुझे आपका जवाब 500 प्रतिनिधि इनाम के साथ देना चाहिए? ;)

— निकेल

ठीक है, अगर आप मानते हैं कि अब जवाब है :)

— एलिहिक्स

@ElHaix चूंकि आपने प्रश्न पूछा था, आप शायद यह कहने के लिए सबसे योग्य हैं कि क्या आपका उत्तर निर्णायक है या क्या यह पहेली में सिर्फ एक टुकड़ा है - मैं सुझाव देता हूं कि यह इंगित करने के लिए एक वाक्य जोड़ना है कि क्या और संभवत: यह आपकी समस्या को हल करता है

— लार्स हॉपर

इसलिए? पुरस्कार इनाम? या मैं तब तक इंतजार कर सकता हूं जब तक कि वह अधिक ध्यान आकर्षित नहीं करता।

— निकेल

क्या मुझे कुछ याद आ रहा है या यह केवल एक सुविधा शाखा में है, मुख्य (2.1) नगेट पैकेज में नहीं? इसके अलावा, यह बग-स्टेक्सएक्सचेंज ( github.com/SignalR/SignalR/tree/bug-stackexchange/src/… ) शाखा की तरह लगता है , अभी तक RediscaleoutConfiguration क्लास में अपना मल्टीप्लेक्सर प्रदान करने का कोई तरीका नहीं है।

— स्टीव