Ергодични и абсорбиращи вериги

Целият набор от системни състояния може да бъде разделен на подгрупи от комуникиращи състояния. Тези подгрупи са в йерархична връзка помежду си, което отразява динамиката на преходите на състоянието на системата във времето.

Най-ниското подмножество от състояния се наричаергодично множество. Останалите подгрупи се наричат ​​невъзвратими.

В конкретен случай едно ергодично множество може да се състои от едно състояние, което се наричапоглъщащо.

В съответствие с това разделение се разграничават ергодични и абсорбиращи вериги на Марков.

Ергодични вериги на Марков

Тези схеми се характеризират с това, че при достатъчно голям брой стъпкиkвъзниква стационарен режим, при койтоPi(k)не зависят от времето и са равни наPi. Вектор(Pi)n– вектор на крайните стационарни вероятности. Преди началото на стационарния режим има преходен режим, чиято продължителност може да се определи чрез задаване на стойностei=Pi -Pi(k), акоei>edopе условието за началото на стационарния процес.

Всеки компонентPiхарактеризира средната част от времето, през което системата е била в състояниеSi.

Условието за ергодичност на хомогенна верига на Марков е всички нейни състояния да комуникират и графиката на системата да е силно свързана (преходътSi®Sjе възможен в краен брой стъпки).

За да определите стационарните вероятности, трябва да съставите система отnалгебрични уравнения:

Pi = Pj*Pji , i=1, n, (6.15)

Pj = 1. (6.16)

От лявата страна са вероятностите на състоянието, съответстващо на разглежданите върхове на графиката.

От дясната страна е сумата на продуктите, броят на термините еброя на дъгите. Членът е произведение на вероятността за състоянието, от което излиза дъгата, по вероятността за съответния преход.

Абсорбиращи вериги на Марков

Абсорбиращите вериги се характеризират с факта, че тяхното ергодично състояние е абсорбиращо. В стационарно състояние, независимо от първоначалното състояние, вероятността да се намери такава верига на Марков в поглъщащо състояние е 1, а вероятностите за всички останали са близки до нула. В това отношение при усвояването на веригите на Марков преходният процес представлява интерес, за разлика от ергодичните, където интересът е стационарното състояние, тъй като задачата на анализа на веригите на Марков е да се изчислят вероятностите системата да бъде в едно от своите състояния в определен моментt.

Непрекъснати вериги на Марков

На практика често има системи, които могат да приемат краен брой състояния и преходите между тях могат да се появят във всеки произволен момент.

Пример: повреда на всяка част от оборудването може да възникне по всяко време - непрекъснат случаен процес.

Непрекъснатите вериги на Марков са случаен процес, при който поведението на системата след произволен момент от времеtзависи само от процесите в този момент от време и не зависи от историята на процеса, предхождащ тозиt. За непрекъснат процес на Марков е необходимо да се определят вероятностите на всички състояния на системата за всяко времеt, като се има предвид, че за всеки момент тези вероятности представляват пълна група от събития:

Пи = 1.

Нека системата в момента на времеtе в състояниеSi. Разгледайте времевия интервалDt, съседен на времевата точкаt, докатонека наречем плътността на вероятносттаlij(t)границата на отношението на вероятността за преходPij(t)към интервала от времеDt,приDt®0:

lij(t)= lim; (6.18)

Ако плътностите на вероятността за преход не зависят от t, т.е. не зависят от произхода на елементарния сегмент Dt, тогава марковският процес се наричахомогенен, т.е. lij=конст. Ако lij е функция на времето, тогава процесът енехомогенен.

Нека крайният набор от състояния на системата и плътността на вероятността на преходите lij са известни за времеви точки (t+Dt)

Pi(t+Dt)=Pi(t)Pji(Dt) = Pi(t)Pii(Dt) +Pj(t)Pji(Dt)(6.20)

От свойството на матрицата на вероятността за преход:

Pii(Dt) = 1 – Pij(Dt);(6.21)

Pi(t+Dt) – Pi(t) = -Pi(t) Pij(Dt) + Pj(t)Pji(Dt);(6.22)

= -Pi(t) + Pj(t) ; (6,23)

= -Pi(t) lij + Pj(t)lij , i=1,n Pi(0)=Pi 0; (6,24)

Система от уравнения на Колмогоров за непрекъснати вериги на Марков (система от диференциални уравнения).

---