Як знайти матрицю переходу.

Матриці переходу виникають при розгляді марковских ланцюгів, які є окремим випадком марковських процесів. Визначальне їх властивість полягає в тому, що стан процесу в «майбутньому», залежить від поточного стану (в сьогоденні) і, при цьому, не пов'язане з «минулим».
Інструкція
1
Необхідно розглянути випадковий процес (СП) X (t). Його розподіл усіх опис грунтується на розгляді n-мірної щільності ймовірності його перетинів W (x1, x2, ..., xn; t1, t2, ..., tn), яку, на основі апарату умовних щільностей ймовірності, можна переписати у вигляді W (x1, x2 , ..., xn; t1, t2, ..., tn) = W (x1, x2, ..., x (n-1); t1, t2, ..., t (n-1))? W (xn, tn | x1 , t1, x2, t2, ..., x (n-1), t (n-1)), cчітая, що t1
2
Визначення. СП, для якого при будь-яких послідовних моментів часу t1
3
Використовуючи апарат все тих же умовних щільностей ймовірностей, можна прийти до висновку, чтоW (x1, x2, ..., x (n-1), xn, tn; t1, t2, ..., t (n-1) , tn) = W (x1, tn)? W (x2, t2 | x1, t1) ...? W (xn, tn | x (n-1), t (n-1)). Таким чином, всі стани марковского процесу повністю визначаються його початковим станом і щільностями ймовірностей переходів W (xn, tn | X (t (n-1)) = x (n-1))). Для дискретних послідовностей (дискретні можливі стану і час), де замість щільності ймовірностей переходів присутні їх ймовірності та матриці переходів, процес носить назву - ланцюг Маркова.
4
Розгляньте однорідну ланцюг Маркова (немає залежності від часу). Матриці переходу складаються з умовних ймовірностей переходу p (ij) (див. Рис.1). Це ймовірність того, що за один крок система, що мала стан рівне хi, перейде в стан xj. Ймовірності переходів визначає постановка задачі та її фізичні сенс. Підставляючи їх в матрицю отримують відповідь для даної задачі.
5
Типові приклади побудови матриць переходу дають завдання про блукаючих частинках. Приклад. Нехай система має п'ять станів x1, x2, x3, x4, x5. Перше і п'яте є граничними. Нехай на кожному кроці система може перейти тільки в сусіднє по номеру стан, причому при русі в сторону х5 з вірогідність p, a в сторону х1 з вірогідність q (p + q = 1). При досягненні кордонів система може перейти в х3 з вірогідність v або залишитися в колишньому стані з вероятностью1-v. Рішення. Для того щоб задача стала абсолютно прозорою побудуйте граф станів (див. Рис. 2).