Показатели - Значения - Характеристики, Wiki за машинно обучение, FANDOM, захранван от Wikia
Метриката за важност (на английски importants, не знам общоприетия български термин, превеждам го в челото, звучи глупаво, кой знае - поправете го) на характеристиките е стойност, показваща как отделна характеристика влияе върху разпределението на целевата променлива. Използват се за:
- избор на функция
- тегло на характеристиките (за метрични методи и линейни методи с регулация)
- за адаптиране на вероятността за вземане на проби от функции в произволна гора, допълнителни произволни дървета. (Донякъде разбирам за какво става въпрос, но не мога да превеждам, който може, нека го направи).
Навсякъде по-долу метриките се разглеждат като функция на две променливи: характеристика ($ f $ е колона на матрица характеристика-характеристика) и целева променлива ($ y $ е колона с отговор за всяка характеристика), следователно $ I(f) = \rho(f, y) $ , където $ \rho $ зависи от конкретния метод за изчисляване на показателя.
Корелация Редактиране
$ \rho (f, y) = \frac ^N (f_i-\overline)(y_i-\overline)> ^N (f_i-\overline)^2 \sum_^N (y_i-\overline)^2\right)^>> $ , нормална корелация, нищо ново. Трябва да се има предвид, че корелацията е линейна и не работи върху сложни, нелинейни зависимости (прост пример: $ \rho(sin(x), cos(x)) = 0 $, само ако дискретната корелация е дадена по-горе, за реална извадка може да се каже строго равенство на нула само при изчисляване на корелацията върху математически модел, където $ x $ приема всички стойности на $ [0, 2\pi) $).
Условна ентропия и разстоянието Kullback-Leibler Редактиране
Напомняме ви, че ентропията на случайна променлива $ y $ е $ H(y) = -\mathbb
По подобен начин се въвежда понятието условна ентропия, т.е. ентропия на стойността y, при условие че f е известно:
$ H(yf) = -\mathbb_f\left\lbrace\mathbb[ ln(p(yf))f]\right\rскоба = -\sum _ p(f) \sum _y p(yf) ln(p(yf)) $ .
За разпределения на две величини $ P(x) $ и $ Q(x) $ разстоянието Kullback-Leibler се дефинира:
$ KL(PQ) = \sum _x P(x) ln \left( \frac \right) $,
повече подробности за това в отделна статия.
Концепцията за взаимна информация се дефинира чрез условната ентропия и разстоянието Kullback-Leibler.
Редактиране на взаимна информация
За две случайни променливи взаимната информация се определя, както следва.
Ако разстоянието Kullback-Leibler показва колко близо са две разпределения едно до друго, тогава взаимната информация е разстоянието от $ p(x, y) $ до $ p(x)p(y) $, както знаете, колкото по-близо е едно разпределение до друго, толкова по-независими са случайните променливи $ x $ и $ y $ (по-специално, ако разпределенията съвпадат, тогава количествата са независими). За $ \rho(f, y) = MI(f, y) = H(y) - H(yf) = const(f) - H(yf) $ .Интуициятае, че най-добрата характеристика минимизира условната ентропия (т.е. дава повече информация за стойността на случайната променлива $ y $ ). По принцип това е почти същото като $ \rho(f, y) = -H(yf) $ .
Нормализираната взаимна информация също често се използва:
$ NMI(f, y) = \frac $, нормализираната взаимна информация попада в сегмента $ [0, 1] $ и е равна на $ 0 $ за независими променливи и $ 1 $, ако $ f $ уникално дефинира $ y $ .
Релефен критерий Редактиране
Разгледайте обекти в метрично пространство (обикновено с евклидова метрика). За всеки примерен обект $ x_n $ намираме $ K $ най-близки съседи на съвпадащия клас (обозначени $ x_, i=\overline $ ) и K най-близки съседи на другия клас (обозначени $ x_, i=\overline $ ). След това за всяка характеристика изчисляваме важността като $ I(f_i) = \frac \sum _^N \sum_ ^K \frac^i>^i> $ . $K $ - е параметър на метода и се избира според ситуацията.