Как рассчитать регрессию
Представим себе, что имеется случайная величина (СВ) Y, значения которой подлежат определению. При этом Y связана каким-либо образом со случайной величиной X, значения которой X=x, в свою очередь, доступны для измерения (наблюдения). Таким образом, получилась задача оценивания значения СВ Y=y,недоступной для наблюдения,по наблюдаемым значениям X=x. Именно для таких случаев применяются регрессионные методы.Вам понадобится
Пусть имеется система СВ (X,Y), где Y зависит от того, какое значения в опытеприняла СВХ. Рассмотрим совместную плотность вероятностей системы W(x,y). Как известно, W(x,y)=W(x)W(y|x)=W(y)W(x|y).Здесь фигурируют условные плотности вероятностейW(y|x).Полное прочтение такой плотности следующее: условная плотность вероятностейСВY, при условии, что СВХ приняла значение х. Более короткая и грамотная запись имеет вид: W(y|Х=x).
Следуя байесовскому подходу W(y|x)=(1/W(x))W(y)W(x|y).W(y|x) – это апостериорное распределение СВ Y, то есть такое,которое становится известным после произведения опыта (наблюдения). Действительно, именно апостериорная плотность вероятностей содержит в себе все сведения о CB Y после получения опытных данных.
Установить значение СВ Y=y (апостериорно) – значит найти ее оценку y*. Оценки находят следуя критериям оптимальности, в данном случае – это минимум апостериорной дисперсии б(х)^2=M{(y*(x)-Y)^2|x}=min, при выполнении критерия y*(x)=M{Y|x}, который называют оптимальной оценкой по данному критерию. Оптимальная оценка y* СВ Y, как функция от х, называется регрессией Y на х.
Рассмотрите линейную регрессию y=a+R(y|x)x .Здесь параметр R(y|x) называется коэффициентом регрессии. С геометрической точки зрения R(y|x) - угловой коэффициент, определяющий наклон линии регрессии к оси 0Х. Определение параметров линейной регрессии можно осуществить с помощью метода наименьших квадратов, основанным на требовании минимальности суммы квадратов отклонений исходной функции от аппроксимирующей. В случае линейно аппроксимации метод наименьших квадратов приводит к системедля определения коэффициентов (см. рис. 1).
Для линейной регрессии определение параметров можно провестина основе связи между коэффициентами регрессии и корреляции.Между коэффициентом корреляции и параметром парной линейной регрессии существует зависимость, а именно. R(y|x) = r(x,y) (бy /бx) где r(x,y) -коэффициент корреляции междух и у; (бx и бy) — среднеквадратические отклонения. Коэффициент a определяются по формуле: a=y*-Rx*, то есть для того чтобы еговычислить, надо просто в уравнения регрессии подставить средние значенияпеременных.
