विचरण को एक दूसरे के बाद हर मूल्य के बीच अंतर के रूप में क्यों नहीं परिभाषित किया गया है?

Question

यह कई लोगों के लिए एक सरल प्रश्न हो सकता है लेकिन यहाँ यह है:

भिन्नताओं को औसत मानों के अंतर के बजाय एक दूसरे के बाद हर मूल्य के बीच के अंतर के रूप में क्यों नहीं परिभाषित किया गया है?

यह मेरे लिए अधिक तार्किक विकल्प होगा, मुझे लगता है कि मैं स्पष्ट रूप से कुछ नुकसानों की देखरेख कर रहा हूं। धन्यवाद

संपादित करें:

मुझे स्पष्ट रूप से यथासंभव स्पष्ट करें। मेरा मतलब यह है:

1. मान लें कि आपके पास संख्याओं का एक क्रम है: 1,2,3,4,5
2. मानों (औसत का उपयोग किए बिना) के बीच (पूर्ण निरपेक्ष) अंतरों की गणना और योग करें (लगातार, प्रत्येक निम्नलिखित मूल्य के बीच, जोड़ीदार नहीं)।
3. मतभेदों की संख्या से विभाजित करें
4. (अनुवर्ती: यदि अंक संयुक्त राष्ट्र के आदेश थे तो उत्तर अलग होगा)

-> विचरण के लिए मानक सूत्र की तुलना में इस दृष्टिकोण के नुकसान क्या हैं?

Comments

आपको ऑटोक्रेलेशन के बारे में पढ़ने में भी रुचि हो सकती है (उदाहरण के लिए आँकड़े ।stackexchange.com/questions/185521/… )।

— टिम

@ user2305193 व्हॉबर का उत्तर सही है, लेकिन उसका सूत्र डेटा के एक आदेश और सभी आदेशों के औसत के बीच चुकता दूरी का उपयोग करता है। नीट ट्रिक, हालाँकि आपके द्वारा बताए गए विचरण को खोजने की प्रक्रिया वही है, जो मैंने अपने उत्तर में लागू करने की कोशिश की थी, और यह प्रदर्शित किया कि अच्छा काम नहीं करेगा। भ्रम को दूर करने की कोशिश की जा रही है।

— ग्रीनपार्क

मनोरंजन के लिए, एलन वैरिएस को देखें।

— जूल

एक और विचार पर, मुझे लगता है कि आप अंतर को अलग नहीं करते हैं (और आप वर्ग-मूल को बाद में नहीं लेते हैं) लेकिन निरपेक्ष मान लें, यह होना चाहिए 'यह नहीं है कि हम मानक विचलन की गणना कैसे करते हैं' इसके बजाय 'हम ऐसा क्यों नहीं करते हैं कि हम किस प्रकार विचरण करते हैं'। लेकिन मैं इसे अभी आराम

— दूंगा

Answer 1

सबसे स्पष्ट कारण यह है कि मूल्यों में अक्सर कोई समय अनुक्रम नहीं होता है। इसलिए यदि आप डेटा को जम्पर करते हैं, तो इससे डेटा द्वारा बताई गई जानकारी में कोई अंतर नहीं पड़ता है। यदि हम आपकी विधि का पालन करते हैं, तो हर बार जब आप डेटा को अलग करते हैं तो आपको एक अलग नमूना विचरण मिलता है।

अधिक सैद्धांतिक जवाब यह है कि नमूना विचरण एक यादृच्छिक चर के असली विचरण का अनुमान लगाता है। एक यादृच्छिक चर का असली रूपांतर E [ ( X - E X ) 2 ] है$X$

$$E\left[ (X - EX)^2 \right].$$

यहाँ अपेक्षा या "औसत मूल्य" का प्रतिनिधित्व करता है। तो विचरण की परिभाषा इसके औसत मूल्य से चर के बीच की औसत चुकता दूरी है। जब आप इस परिभाषा को देखते हैं, तो कोई "समय क्रम" यहां नहीं है क्योंकि कोई डेटा नहीं है। यह यादृच्छिक चर का सिर्फ एक विशेषता है।$E$

जब आप इस वितरण से आईआईडी डेटा एकत्र करते हैं, तो आपको अहसास होता है । अपेक्षा का अनुमान लगाने का सबसे अच्छा तरीका नमूना औसत लेना है। यहां कुंजी यह है कि हमें iid डेटा मिला है, और इस प्रकार डेटा के लिए कोई आदेश नहीं है। नमूना x 1 , x 2 , … , x n नमूना x 2 , x 5 , x 1 , x n के समान है । $x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

संपादित करें

नमूना विचरण नमूना के लिए एक विशेष प्रकार के फैलाव को मापता है, जो औसत से औसत दूरी को मापता है। अन्य प्रकार के फैलाव जैसे डेटा की श्रेणी और इंटर-क्वांटाइल रेंज हैं।

यहां तक ​​कि अगर आप अपने मूल्यों को आरोही क्रम में क्रमबद्ध करते हैं, तो यह नमूना की विशेषताओं को नहीं बदलता है। आपके द्वारा प्राप्त नमूना (डेटा) एक चर से बोध है। नमूना विचरण की गणना यह समझना है कि चर में कितना फैलाव है। उदाहरण के लिए, यदि आप 20 लोगों का नमूना लेते हैं, और उनकी ऊंचाई की गणना करते हैं, तो उन लोगों के यादृच्छिक चर ऊंचाई से 20 "अहसास" हैं । अब नमूना विचरण सामान्य रूप से व्यक्तियों की ऊंचाई में परिवर्तनशीलता को मापने के लिए माना जाता है। आप डेटा के आदेश तो 100 , 110 , 123 , 124 , ... $X =$

$$100, 110, 123, 124, \dots,$$

यह नमूने में जानकारी को परिवर्तित नहीं करता है।

एक और उदाहरण देखें। मान लें कि आपके पास इस तरह से ऑर्डर किए गए यादृच्छिक चर से 100 अवलोकन हैं फिर बाद की औसत दूरी 1 इकाई है, इसलिए आपकी विधि से विचरण 1 होगा।

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

"विचरण" या "फैलाव" की व्याख्या करने का तरीका यह समझना है कि डेटा के लिए मूल्यों की किस सीमा की संभावना है। इस स्थिति में आपको .99 इकाई की एक श्रेणी मिलेगी, जो निश्चित रूप से अच्छी तरह से भिन्नता का प्रतिनिधित्व नहीं करती है।

यदि औसतन लेने के बजाय आप केवल बाद के मतभेदों को जोड़ते हैं, तो आपका विचरण 99 होगा। बेशक, जो नमूने में परिवर्तनशीलता का प्रतिनिधित्व नहीं करता है, क्योंकि 99 आपको डेटा की सीमा देता है, परिवर्तनशीलता की भावना नहीं।

Comments

आखिरी पैराग्राफ के साथ आप मेरे पास पहुंच गए, हाहा, इस भड़कीले जवाब के लिए शुक्रिया, काश मेरे पास इसे उखाड़ने के लिए पर्याप्त प्रतिनिधि होता, कृपया लोगों को, मेरे लिए करता;;

— user2305193

फॉलो-अप-टू-फॉलो-अप: मेरा वास्तव में क्या मतलब था (हाँ, क्षमा करें, मुझे केवल आपके प्रश्न को पढ़ने के बाद सही प्रश्न का एहसास हुआ) क्या आप मतभेदों को जोड़ रहे थे और इसे नमूनों की संख्या के माध्यम से विभाजित करते थे। अपने अंतिम उदाहरण में, जो कि 99/100 होगा - क्या आप उस पर पूरी तरह से चपटे-नेस के लिए विस्तार से बता सकते हैं?

— user2305193

@ user2305193 राइट, मैंने कहा 1 यूनिट औसतन, जो गलत है। इसकी .99 इकाइयाँ होनी चाहिए थीं। उसे बदल दिया।

— ग्रीनपार्क

1-100 श्रृंखला पर अधिक जानकारी के लिए: 1-100 में विचरण 841.7 और मानक विचलन 29.01 स्रोत होगा । तो वास्तव में काफी अलग परिणाम है।

— user2305193

Answer 2

यह इस तरह से परिभाषित किया गया है!

यहाँ बीजगणित है। मानों को । द्वारा निरूपित एफ इन मूल्यों का अनुभवजन्य वितरण समारोह (जो एक का मतलब है एक्स मैं योगदान एक संभावना की बड़े पैमाने पर 1 /$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$ पर मूल्य ) और जाने एक्स और वाई वितरण के साथ स्वतंत्र यादृच्छिक परिवर्तनीय होना एफ । विचरण के मूल गुणों के आधार पर (जैसे, यह एक द्विघात रूप है) और साथ ही एफ और तथ्य की परिभाषा$x_i$$X$$Y$$F$$F$ और Y का एक ही मतलब है,$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

यह सूत्र के आदेश दिए गए तरीके पर निर्भर नहीं करता है: यह घटकों के सभी संभावित जोड़े का उपयोग करता है, उनकी तुलना उनके आधे वर्गीय अंतर का उपयोग करके करता है। यह, हालांकि, एक से संबंधित हो सकता औसत हर संभव orderings से अधिक (समूह एस ( एन ) सबसे n ! सूचकांकों के क्रमपरिवर्तन 1 , 2 , ... , n )। अर्थात्,$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

यही कारण है कि आंतरिक योग पुनर्क्रमित मान लेता और रकम (आधा) सभी के बीच मतभेदों को चुकता n - 1 लगातार जोड़े। N द्वारा अनिवार्य रूप से विभाजन इन क्रमिक वर्गों के अंतर को औसत करता है । यह गणना करता है कि लैग -1 अर्धसूत्रीविभाजन के रूप में क्या जाना जाता है । बाहरी योग सभी संभावित आदेशों के लिए करता है ।$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$

---

मानक विचरण सूत्र के ये दो समतुल्य बीजगणितीय विचार, विचरण का नया अर्थ देते हैं। अर्धसूत्रीविभाजन किसी क्रम के क्रमिक सहसंयोजी का विलोम उपाय है: जब अर्धसूत्रीविभाजन कम होता है, और संकेतन उच्च होता है (और संख्या सकारात्मक रूप से सहसंबद्ध होते हैं)। एक अनियंत्रित डेटासेट का विचरण , फिर, मध्यस्थ पुनरावर्ती के तहत प्राप्य सभी संभावित अर्धवृत्त का एक प्रकार है ।

Comments

@ Mur1lo इसके विपरीत: मेरा मानना ​​है कि यह व्युत्पत्ति सही है। सूत्र को कुछ डेटा पर लागू करें और देखें!

— व्हीबर

मुझे लगता है कि Mur1lo विचरण के फार्मूले की शुद्धता के बारे में नहीं, बल्कि नमूना मात्राओं के कार्यों के लिए यादृच्छिक चर की अपेक्षाओं से सीधे गुजरने के बारे में बात कर रहा होगा।

— Glen_b -Reinstate Monica

@glen लेकिन यह वही है जो अनुभवजन्य वितरण फ़ंक्शन हमें देता है। यही इस दृष्टिकोण का संपूर्ण बिंदु है।

— whuber

हां, यह मेरे लिए स्पष्ट है; मैं इंगित करने की कोशिश कर रहा था कि भ्रम कहां था। माफ़ करना अस्पष्ट है। उम्मीद है कि अब यह स्पष्ट है कि यह केवल एक समस्या क्यों प्रतीत होती है।$\:$* (इस कारण मैंने पहले "स्पष्ट" शब्द का इस्तेमाल किया था, इस पर जोर देने के लिए उस कदम का सिर्फ संदर्भ स्वरूप था जो भ्रम का कारण था)

— Glen_b -Reinstate Monica

@ Mur1o इनमें से किसी भी समीकरण में मैंने जो कुछ किया है, वह केवल परिभाषाओं को लागू करना है। "नमूना मात्रा" की अपेक्षाओं से कोई गुजर नहीं रहा है। (विशेष रूप से, का कोई भी नमूना प्रस्तुत या उपयोग नहीं किया गया है।) इस प्रकार मैं यह पहचानने में असमर्थ हूं कि स्पष्ट समस्या क्या है, और न ही एक वैकल्पिक स्पष्टीकरण का सुझाव दें। यदि आप अपनी चिंता पर विस्तार कर सकते हैं तो मैं प्रतिक्रिया देने में सक्षम हो सकता हूं। $F$

— whuber

Answer 3

अन्य उत्तरों के पूरक के रूप में, भिन्नता की गणना शब्दों के बीच चुकता अंतर के रूप में की जा सकती है:

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

मुझे लगता है कि यह ओपी प्रस्ताव के सबसे करीब है। याद रखें कि विचरण एक बार में हर अवलोकन के फैलाव का माप है, न कि सेट में "पड़ोसी" संख्याओं के बीच।

---

अपडेट करें

अपने उदाहरण का उपयोग करना: । हम जानते हैं कि विचरण V a r ( X ) = $X = {1, 2, 3, 4, 5}$$Var(X) = 2$ ।

$Var(X) = 1$

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Comments

Now I'm seriously confused guys

— user2305193

@user2305193 In your question, did you mean every pairwise difference or did you mean the difference between a value and the next in a sequence? Could you please clarify?

— Firebug

@Mur1lo no one is though, I have no idea what you're referring to.

— Firebug

@Mur1lo This is a general question, and I answered it generally. Variance is a computable parameter, which can be estimated from samples. This question isn't about estimation though. Also we are talking about discrete sets, not about continuous distributions.

— Firebug

You showed how to estimate the variance by its U-statistic and its fine. The problem is when you write: Var("upper case"X) = things involving "lower case" x, you are mixing the two different notions of parameter and of estimator.

— Mur1lo

Answer 4

Others have answered about the usefulness of variance defined as usual. Anyway, we just have two legitimate definitions of different things: the usual definition of variance, and your definition.

Then, the main question is why the first one is called variance and not yours. That is just a matter of convention. Until 1918 you could have invented anything you want and called it "variance", but in 1918 Fisher used that name to what is still called variance, and if you want to define anything else you will need to find another name to name it.

The other question is if the thing you defined might be useful for anything. Others have pointed its problems to be used as a measure of dispersion, but it's up to you to find applications for it. Maybe you find so useful applications that in a century your thing is more famous than variance.

Comments

I know every definition is up to the people deciding on it, I really was looking for help in up/downsides for each approaches. Usually there's good reason for people converging to a definition and as I suspected didn't see why straight away.

— user2305193

Fisher introduced variance as a term in 1918 but the idea is older.

— Nick Cox

As far as I know, Fisher was the first one to use the name "variance" for variance. That's why I say that before 1918 you could have use "variance" to name anything else you had invented.

— Pere

Answer 5

@GreenParker answer is more complete, but an intuitive example might be useful to illustrate the drawback to your approach.

In your question, you seem to assume that the order in which realisations of a random variable appear matters. However, it is easy to think of examples in which it doesn't.

Consider the example of the height of individuals in a population. The order in which individuals are measured is irrelevant to both the mean height in the population and the variance (how spread out those values are around the mean).

Your method would seem odd applied to such a case.

Answer 6

Although there are many good answers to this question I believe some important points where left behind and since this question came up with a really interesting point I would like to provide yet another point of view.

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

The first thing to have in mind is that the variance is a particular kind of parameter, and not a certain type of calculation. There is a rigorous mathematical definition of what a parameter is but for the time been we can think of then as mathematical operations on the distribution of a random variable. For example if $X$ is a random variable with distribution function $F_X$ then its mean $\mu_x$, which is also a parameter, is:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

and the variance of $X$, $\sigma^2_X$, is:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

The role of estimation in statistics is to provide, from a set of realizations of a r.v., a good approximation for the parameters of interest.

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

Comments

Everything in this answer is well explained, correct, and interesting. However, introducing the "usual statistic" as an estimator confuses the issue, because the question is not about estimation, nor about bias, nor about the distinction between $1/n$ and $1/(n-1)$. That confusion might be at the root of your comments to several other answers in this thread.

— whuber

Answer 7

The time-stepped difference is indeed used in one form, the Allan Variance. http://www.allanstime.com/AllanVariance/

Answer 8

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. It lets you do other stuff. Just an example, in my stats class we saw a video about comparing pitchers (in baseball) over time. As I remember it, pitchers appeared to be getting worse since the proportion of pitches that were hit (or were home-runs) was going up. One reason is that batters were getting better. This made it hard to compare pitchers over time. However, they could use the z-score of the pitchers to compare them over time.

Nonetheless, as @Pere said, your metric might prove itself very useful in the future.

Comments

A normal distribution can also be determined by its mean and fourth central moment, for that matter -- or by means of many other pairs of moments. The variance is not special in that way.

— whuber

@whuber interesting. I'll admit I didn't realize that. Nonetheless, unless I'm mistaken, all the moments are "variance like" in that they are based on distances from a certain point as opposed to dealing with pairs of points in sequence. But I'll edit my answers to make note of what you said.

— roundsquare

Could you explain the sense in which you mean "deal with pairs of points in sequence"? That's not a part of any standard definition of a moment. Note, too, that all the absolute moments around the mean--which includes all even moments around the mean--give a "measure of how spread out the data" are. One could, therefore, construct an analog of the Z-score with them. Thus, none of your three points appears to differentiate the variance from any absolute central moment.

— whuber

@whuber yeah. The original question posited a 4 step sequence where you sort the points, take the differences between each point and the next point, and then average these. That's what I referred to as "deal[ing] with pairs of points in sequence". So you are right, none of the three points I gave distinguishes variance from any absolute central moment - they are meant to distinguish variance (and, I suppose, all absolute central moments) from the procedure described in the original question.

— roundsquare