Как определить нормальное распределение
- Нормальное распределение и его характеристики
- Использование энтропии для определения нормального распределения
- Вычисление энтропии для непрерывных случайных величин
- Вычисление энтропии для нормальных распределений
- Определение нормального распределения
Нормальное распределение и его характеристики
Нормальное распределение, также известное как распределение Гаусса, является предельным для всех остальных распределений. Из-за этого некоторые характеристики нормальных случайных величин могут быть экстремальными. Это свойство может помочь определить, является ли случайная величина нормальной.
Использование энтропии для определения нормального распределения
Для ответа на вопрос, является ли случайная величина нормальной, можно использовать понятие энтропии Н(x) из теории информации. Любое дискретное сообщение, состоящее из символов X={x₁, x₂, … xn}, может быть рассмотрено как дискретная случайная величина с заданными вероятностями. Если вероятность использования символа х₅ равна Р₅, то такова же и вероятность события X= х₅. Количество информации I(xi) для каждого значения xi может быть вычислено с помощью формулы I(xi)= ℓog(1/P(xi))=- ℓogP(xi), где Р(хi)=Рi.
Вычисление энтропии для непрерывных случайных величин
Энтропия - это среднее количество информации в одном значении случайной величины H(x)=M[-ℓogPi]=-∑Pi∙ℓogPi. Это свойство также применимо к непрерывным распределениям. Для вычисления энтропии непрерывной случайной величины, можно представить ее в дискретном виде, разделив область значений на малые интервалы ∆х и использовав вероятности элементов площади Pi≈w(xi)∆x. Графическое представление нормального распределения, изображенное на рисунке 1, показывает плотность вероятности этого распределения. Сравнивая его с имеющимися данными, можно определить, является ли случайная величина нормальной.
Вычисление энтропии для нормальных распределений
Нормальные (гауссовские) распределения обладают максимальной энтропией по сравнению со всеми остальными распределениями. Энтропия для нормального распределения может быть вычислена с использованием окончательной формулы H(x)=M[-ℓogw(x)], где H(x) - энтропия, w(x) - плотность вероятности. Эта формула не требует интегрирования и может быть упрощена до H(x)= ℓog₂(σх√(2πe))= ℓog₂(σх)+ ℓog₂(√(2πe))≈ℓog₂(σx)+2,045. Это возможный максимум энтропии для нормального распределения.
Определение нормального распределения
Чтобы определить, является ли имеющееся распределение нормальным, можно вычислить дисперсию Dx=(σx)² и подставить полученное значение σx в формулу максимальной энтропии для нормального распределения. Вычисленная энтропия Н(x) может быть сравнена с максимальной энтропией Hmax(x). Составив отношение H(x)/Hmax(x)=ε, можно выбрать пороговое значение ε₀, которое будет служить вероятностью правдоподобия. Если ε>ε₀, то с вероятностью не менее ε₀ имеющееся распределение можно считать нормальным.
