Главная Войти О сайте

Как найти матрицу перехода

Матрицы перехода возникают при рассмотрении марковских цепей, которые являются частным случаем марковских процессов. Определяющее их свойство состоит в том, что состояние процесса в «будущем», зависит от текущего состояния (в настоящем) и, при этом, не связано с «прошлым».Как найти матрицу перехода

Необходимо рассмотреть случайный процесс (СП) X(t). Его вероятностное описание основывается на рассмотрении n-мерной плотности вероятности его сечений W(x1, x2,…,xn; t1, t2,…,tn),которую, на основе аппарата условных плотностей вероятности, можно переписать в виде W(x1, x2,…,xn; t1, t2,…,tn)= W(x1, x2,…,x(n-1); t1, t2,…,t(n-1))∙W(xn, tn|x1, t1, x2,t2, …,x(n-1), t(n-1)), cчитая, что t1Определение. СП, для которого при любых последовательных моментов времени t1Используя аппарат все тех же условных плотностей вероятностей, можно прийти к выводу,чтоW(x1, x2,…,x(n-1), xn,tn; t1, t2,…,t(n-1),tn)=W(x1, tn)∙W(x2, t2|x1, t1)…∙W( xn,tn|x(n-1), t(n-1)). Таким образом, все состояния марковского процесса полностью определяются его начальным состоянием и плотностями вероятностейпереходов W(xn, tn|X(t(n-1))=x(n-1))). Для дискретных последовательностей (дискретны возможные состояния и время), где вместо плотностей вероятностей переходов присутствуют их вероятности и матрицы переходов, процессносит название - цепь Маркова.

Рассмотрите однородную цепь Маркова (нет зависимости от времени). Матрицы перехода составляются из условных вероятностей переходаp(ij) (см. рис.1). Это вероятность того, что за один шаг система, имевшая состояние равное хi, перейдет в состояние xj. Вероятности переходов определяет постановка задачи и ее физические смысл. Подставляя их в матрицу получают ответ для данной задачи.

Типовые примеры построения матриц перехода дают задачи о блуждающих частицах. Пример. Пусть система имеет пять состояний x1, x2, x3, x4, x5. Первое и пятое являются граничными. Пусть на каждом шаге система может перейти только в соседнее по номеру состояние, причем при движении в сторону х5 с вероятность p, a в сторонух1 с вероятность q (p+q=1). При достижении границ система может перейти в х3 с вероятность v или остаться в прежнем состоянии с вероятностью1-v. Решение . Для того чтобы задача стала совершенно прозрачной постройте граф состояний (см. рис. 2).


Определение. СП, для которого при любых последовательных моментов времени t1Используя аппарат все тех же условных плотностей вероятностей, можно прийти к выводу,чтоW(x1, x2,…,x(n-1), xn,tn; t1, t2,…,t(n-1),tn)=W(x1, tn)∙W(x2, t2|x1, t1)…∙W( xn,tn|x(n-1), t(n-1)). Таким образом, все состояния марковского процесса полностью определяются его начальным состоянием и плотностями вероятностейпереходов W(xn, tn|X(t(n-1))=x(n-1))). Для дискретных последовательностей (дискретны возможные состояния и время), где вместо плотностей вероятностей переходов присутствуют их вероятности и матрицы переходов, процессносит название - цепь Маркова.

Рассмотрите однородную цепь Маркова (нет зависимости от времени). Матрицы перехода составляются из условных вероятностей переходаp(ij) (см. рис.1). Это вероятность того, что за один шаг система, имевшая состояние равное хi, перейдет в состояние xj. Вероятности переходов определяет постановка задачи и ее физические смысл. Подставляя их в матрицу получают ответ для данной задачи.

Типовые примеры построения матриц перехода дают задачи о блуждающих частицах. Пример. Пусть система имеет пять состояний x1, x2, x3, x4, x5. Первое и пятое являются граничными. Пусть на каждом шаге система может перейти только в соседнее по номеру состояние, причем при движении в сторону х5 с вероятность p, a в сторонух1 с вероятность q (p+q=1). При достижении границ система может перейти в х3 с вероятность v или остаться в прежнем состоянии с вероятностью1-v. Решение . Для того чтобы задача стала совершенно прозрачной постройте граф состояний (см. рис. 2).

Используя аппарат все тех же условных плотностей вероятностей, можно прийти к выводу,чтоW(x1, x2,…,x(n-1), xn,tn; t1, t2,…,t(n-1),tn)=W(x1, tn)∙W(x2, t2|x1, t1)…∙W( xn,tn|x(n-1), t(n-1)). Таким образом, все состояния марковского процесса полностью определяются его начальным состоянием и плотностями вероятностейпереходов W(xn, tn|X(t(n-1))=x(n-1))). Для дискретных последовательностей (дискретны возможные состояния и время), где вместо плотностей вероятностей переходов присутствуют их вероятности и матрицы переходов, процессносит название - цепь Маркова.

Рассмотрите однородную цепь Маркова (нет зависимости от времени). Матрицы перехода составляются из условных вероятностей переходаp(ij) (см. рис.1). Это вероятность того, что за один шаг система, имевшая состояние равное хi, перейдет в состояние xj. Вероятности переходов определяет постановка задачи и ее физические смысл. Подставляя их в матрицу получают ответ для данной задачи.

Типовые примеры построения матриц перехода дают задачи о блуждающих частицах. Пример. Пусть система имеет пять состояний x1, x2, x3, x4, x5. Первое и пятое являются граничными. Пусть на каждом шаге система может перейти только в соседнее по номеру состояние, причем при движении в сторону х5 с вероятность p, a в сторонух1 с вероятность q (p+q=1). При достижении границ система может перейти в х3 с вероятность v или остаться в прежнем состоянии с вероятностью1-v. Решение . Для того чтобы задача стала совершенно прозрачной постройте граф состояний (см. рис. 2).


CompleteRepair.Ru