Проблеми с оптимизацията
Да разгледаме двумерна случайна променлива (X, Y), където X и Y са зависими случайни променливи. Представяме едно от количествата като функция на другото. Ние се ограничаваме до приблизително представяне (точното приближение, общо казано, е невъзможно) на Y като линейна функция на X:
където α и β са параметри, които трябва да бъдат определени. Това може да стане по различни начини, най-разпространеният от които е методът на най-малките квадрати.
Функцията g(X)=αX+β се нарича "най-доброто приближение" на Y в смисъла на метода на най-малките квадрати, ако математическото очакване M [Y-g(X)]2 приема най-малката възможна стойност; функцията g(x) се нарича средна квадратична регресия на Y върху X.
Теорема.Линейната средноквадратична регресияY върху X има формата
Доказателство. Нека въведем в разглеждане функцията на два независими аргумента α и β: Като вземем предвид, че М (X—mx)=M(Y—my) = 0, М[(X—mх)∙(Y—my)] = µxy = rσxσy и като направим изчисления, получаваме
Нека изследваме функцията F(α, β) за екстремум, за който приравняваме частните производни на нула:
Лесно е да се види, че за тези стойности на α и β разглежданата функция приема най-малката стойност.
И така, линейната средноквадратична регресия на Y и X е:
Коефициентът β=rσy/σx се наричарегресионен коефициент Y върху X, а правата линия
се нарича директнасредноквадратична регресия на Y върху X. Замествайки намерените стойности на α и β във връзка (*), получаваме минималната стойност на функцията F (α, β), равна на σy 2 (1—r 2 ). Стойността σy 2 (1—r 2 ) се нарича остатъчна дисперсия на случайната променлива Y по отношение на случайната променлива X; той характеризира размера на грешката, която е разрешена, когато Y се замени с линейна функция g(X)=α + βX. За r = ±1остатъчната дисперсия е нула; с други думи, при тези екстремни стойности на коефициента на корелация няма грешка при представянето на Y като линейна функция на X. Така че, ако коефициентът на корелация r = ± 1, тогава Y и X са свързани с линейна функционална зависимост. По подобен начин можете да получите права линия на средноквадратична регресия на X върху Y:
(rσx/σy е регресионният коефициент на X върху Y) и остатъчната дисперсия σx 2 (1—r 2 ) на X спрямо Y. Ако r = ± 1, тогава двете директни регресии, както може да се види от уравненията, съвпадат. От уравненията на директната средноквадратична регресия следва, че и двете директни регресии преминават през точката (mx; my), която се наричацентър на съвместното разпределение на стойностите X и Y.