Гребенна регресия

Материал от MachineLearning.

Ридж регресия или ридж регресияе един от методите за намаляване на размерността. Често се използва за справяне с излишъка на данни, когато независими променливи корелират една с друга (т.е. има мултиколинеарност). Следствието от това е лошата условност на матрицата и нестабилността на оценките на регресионните коефициенти. Оценките, например, може да имат грешен знак или стойности, които са много по-високи от тези, които са приемливи по физически или практически причини.

Използването на рид регресия често се оправдава от факта, че това е практическа техника, с помощта на която при желание може да се получи по-малка стойност на средната квадратична грешка.

Методът трябва да се използва, ако:

• силно кондициониране;
• собствените стойности са много различни или някои от тях са близки до нула;
• матрицата има почти линейно зависими колони.

Съдържание

Примерна задача

Да предположим, че характеристиките в проблема са били лошо подбрани от експерти и има данни за дължина, изразени в сантиметри и инчове. Лесно се вижда, че тези данни са линейно зависими.

Описание на метода

Допълнителна дефиниция

Номерът на условиетое,

къде са собствените стойности.

Гребенна регресия

Въведена модифицирана функционалност

където е коефициентът на регулация. Това е положително число, в приложенията, които обикновено вземат

Решението на най-малките квадрати (регуляризирано) се получава, както следва

Матриците и имат еднакви собствени вектори, но техните собствени стойности се различават с . Следователно номерът на условието за матрицата е

Оказва се, че колкото по-голямо е, толкова по-малко е числото на условието. СЪСрастежът увеличава стабилността на проблема.

С разлагане на сингулярна стойност получаваме.

Те се различават само по фактор.

Коефициентите са компресирани (свиване). Ефективното измерение намалява, въпреки че броят на функциите остава същият.

Броят на функциите се измерва по формулата

След модификация броят на функциите става равен на

а това е по-малко. Следователно, колкото по-голям е, толкова по-малък е ефективният размер.

---