Съвременният етап на развитие на теорията на експертните оценки
Въз основа на повече от двадесет години опит на комисията "Експертни оценки" на Научния съвет на Академията на науките на СССР по комплексния проблем "Кибернетика" и двадесет години работа на нейния научен семинар "Математически методи за анализ на експертни оценки", тази глава от доклада обсъжда основните проблеми на теорията и практиката на експертните оценки. Съвременните математически методи за експертни оценки са предимно методи за статистика на обекти с нечислов характер. Обсъждат се догмите в областта на експертните оценки и съвременните препоръки, използването на статистики на нечислови обекти в експертните оценки, въпросите за конструирането на интегрални показатели за качество, ефективност и др., т.е. рейтинги, както и перспективите за създаване и прилагане на набор от съвременни методи за експертни оценки, базирани на подходите и резултатите на посочения научен колектив. Като цяло, главата дава научна обосновка за разработването на автоматизирана работна станция MATEK (MATEmatic Methods in Expert Evaluations).
Безспорно е, че за да се вземат информирани решения е необходимо да се разчита на опита, знанията и интуицията на специалистите. След Втората световна война в рамките на теорията на управлението (мениджмънта) започва да се развива самостоятелна дисциплина - експертните оценки.
Методите за експертни оценки са методи за организиране на работа със специалисти експерти и обработка на експертни мнения, изразени в количествена и/или качествена форма с цел подготовка на информация за вземане на решения от лицата, вземащи решения.
За извършване на работа по метода на експертните оценки се създава Работна група (съкратено РГ), която организира от името на вземащия решение дейността на експертите, обединени (формално или по същество) в експертна комисия (ЕК).
Основните проблеми на експертните оценки
Какво трябва да представи експертната комисия в резултат на работата си - информация за вземане на решение от вземащия решение или проект на самото решение? От отговора на този методически въпрос зависи организацията на работата на експертната комисия.
Целта е да се събере информация за вземащите решения.
След това работната група трябва да събере възможно най-много релевантна информация, аргументи "за" и "против" определени решения. Методът за постепенно увеличаване на броя на експертите, описан в [1], е полезен. Първо, първият експерт дава своето виждане по разглеждания въпрос. Събраният от него материал се предава на второто вещо лице, което допълва аргументите си. Натрупаният материал отива при следващия - трети - експерт. Процедурата приключва, когато потокът от нови съображения пресъхне.
Имайте предвид, че експертите по разглеждания метод предоставят само информация, аргументи „за“ и „против“, но не разработват съгласуван проект на решение. Няма нужда да се стремите да гарантирате, че експертните мнения са в съответствие едно с друго. Освен това експертите с мислене, което се отклонява от масовото, са най-полезни, тъй като именно от тях трябва да се очакват най-оригиналните аргументи.
Целта е да се изготви проект на решение за вземащия решение
Смята се, че решение може да се вземе само въз основа на съгласуваните мнения на експерти. Следователно тези, чието мнение се различава от мнението на мнозинството, се изключват от експертната група. В същото време се елиминират както неквалифицирани лица, попаднали в състава на експертната комисия поради неразбиране или по причини, които не са свързани с професионалното им ниво, така и най-оригиналните мислители, които са проникнали в проблема по-дълбоко от мнозинството. Трябваше да ги разбера.аргументи, дайте им възможност да обосноват своите гледни точки. Вместо това тяхното мнение се игнорира. Също така се случва експертите да бъдат разделени на две или повече групи, които имат общи групови гледни точки. Така в [1] е даден пример за разделяне на специалистите в оценката на резултатите от научните изследвания на две групи: „теоретици“, които явно предпочитат НИРД, в които се получават теоретични резултати, и „практици“, които избират тези НИРД, които позволяват получаване на директни приложни резултати (говорим за конкурса за НИРД в Института за проблеми на управлението (автоматика и телемеханика)).
Понякога се твърди, че ако се намерят две или повече групи експерти (вместо една договорена), проучването не постига целта си. Това е грешно! Целта е постигната – установено е, че няма консенсус. И LPR трябва да вземе предвид това. Желанието да се осигури последователност на мненията на експертите от всяко цяло може да доведе до умишлен едностранен подбор на експерти, пренебрегвайки всички гледни точки, с изключение на една, най-обичаната работна група (или дори „подсказана“ от вземащия решение).
Тъй като броят на експертите обикновено не надвишава 20-30, тогава формалната статистическа последователност на експертните мнения може да се комбинира с действителното разделение на групи, което прави по-нататъшните изчисления нерелевантни за реалността. Ако се обърнем към специфични методи за изчисление, например, като използваме коефициенти на съгласуване, базирани на коефициентите на рангова корелация на Kendall или Spearman [31], тогава трябва да се помни, че всъщност положителен резултат от проверката на последователността по този начин означава нищо повече, нищо по-малко от отхвърляне на хипотезата за независимост и равномерно разпределение на експертните мнения в набора от всички класации. С други думи, ставаме жертвапогрешни схващания, произтичащи от странното тълкуване на думите: проверката за последователност в посочения статистически смисъл изобщо не е проверка за последователност в смисъла на практиката на експертни оценки. (Това е неадекватността на разглежданите математически и статистически методи за класиране на анализа, които ни доведоха до разработването на нов математически апарат за проверка на последователност - непараметрични методи, базирани на Lucians [32].)
За да постигнат изкуствено последователност, те се опитват да намалят влиянието на мненията на дисидентските експерти. Най-трудният начин да се справите с недоволните е да ги изключите от състава на експертната комисия. Отхвърлянето на експерти, както и отхвърлянето на извънредни стойности, води до процедури, които имат лоши или неизвестни статистически свойства. Така в [33] е показана изключителната нестабилност на класическите методи за отхвърляне на извънредни стойности по отношение на отклонения от предположенията на модела.
Мекият начин за справяне с дисидентите е използването на стабилни (устойчиви) статистически процедури. Най-простият пример: ако отговорът на експерта е реално число, тогава извънредното мнение на дисидента силно влияе върху средноаритметичната стойност на отговорите на експертите и не влияе върху тяхната медиана. Следователно е разумно медианата да се разглежда като консенсусно мнение. Това обаче игнорира (не стига до вземащия решение) аргументите на недоволните.
При всеки от двата начина за справяне с дисидентите, вземащият решение е лишен от информация, идваща от дисиденти, и следователно може да вземе неразумно решение, което ще доведе до негативни последици. От друга страна, предоставянето на целия набор от становища на вземащия решението премахва част от отговорността и труда за изготвяне на окончателното решение от експертната комисия и работната група за извършване на експертно проучване и я прехвърля наLPR рамене.
Широко разпространен е доста примитивен подход на така наречената "квалиметрия" (виж например [34]), според който даден обект винаги може да бъде оценен с едно число. Оценяването на човек по едно число дойде на ум само на пазарите за роби. Малко вероятно е дори най-ревностните квалиметристи да смятат една книга или картина за еквивалент на нейната "пазарна стойност".