ОРГАНИЗАЦИЯ на метрологична и стандартизационна експертиза - В помощ на студентите от БНТУ - курсови работи,

ОРГАНИЗАЦИЯ на метрологична и стандартизационна експертиза

1. Подготовка и провеждане на изпита

Експертните методи са обект на разглеждане на квалиметрията (област на науката, занимаваща се с количествена оценка на качеството) и се използват предимно за оценка на нивото на качество на даден обект и за оценка на неговите по-малко сложни свойства. Експертните методи могат да определят и теглата (коефициентите на тежест) на имотите, включени в комплексен или интегрален качествен показател.

Експертите участват в оценката на нивото на качеството на обекта, за контрол на качеството и/или за изготвяне на експертно становище въз основа на резултатите от специално изследване на обекта, което трябва да отговори на редица специфични въпроси като:

Правилно ли е взетото техническо решение?
Можеше ли инцидентът да бъде избегнат с други действия?
Способен ли е квалифициран специалист да извърши определен набор от действия в условия на ограничен времеви ресурс?

Експертна оценка се получава чрез запитване за мненията на специалисти. Експертните методи за оценка на качеството се използват, когато използването на по-обективни методи е невъзможно или нецелесъобразно. Оценките са субективни и се определят от квалификацията, опита, вкуса, здравословното състояние, настроението и др. Схемата на изследването е показана на фиг. 1.

Експертизата може да бъде индивидуална и групова (фиг. 2). При групов преглед (с обсъждане или съгласуване на мнения в група) и при индивидуален преглед, извършен от група автономно работещи експерти, оценка може да се получи чрез осредняване на индивидуалните експертни оценки. Предоставят се индивидуални оценки на експертилипсата на значителни систематични разлики може да се счита за случайни променливи. В такива случаи техните числени стойности могат да бъдат обработени с методи на математическата статистика.

На етапа на подготовка на изпита се решават следните задачи:

Формулиране на целта на изследването.
Подбор на експерти.
Изборът на методика за провеждане на изследването.

Основната цел е да се получи експертна оценка (отговори на въпроси, оценка на нивото на качество на обект, негов елемент, оценка на по-малко сложни свойства или тежест на отделни свойства).

експертно обучение;
получаване на оптимизирана експертна оценка;
разработване на модел за последваща оценка на нивото на качество на обект, базиран на "теорията за разпознаване на образи".

Целите на изпита оказват съществено влияние върху избора на методология за провеждане на изпита.

Тъй като експертът действа като „инструмент за измерване“, точността, обективността и надеждността на оценката зависи от квалификацията и мотивацията на експерта при оценката.

Методи за оценка на квалификацията на експертите (определяне на "нивото на качество" на експертите или "квалиметрията на квалиметролозите"):

оценка на експертите от членовете на работната група;
експертно изпитване;
самооценка и взаимна оценка на експертите;
съпоставяне на оценката на експерта със средната оценка на групата експерти;
оценка на ефективността на действията на експерта при прогнозиране на резултатите от тестовете на изследваните обекти.

За да тествате експертните съветници, е необходимо да създадете тестови задачи, които са аналози на решавания. Основните трудности при създаването на тестове са разработването на такива задачи, които биха били достатъчно близки до реално решените, както и невъзможността да се получат обективни резултати.решения, с които могат да се сравняват партньорските проверки.

Самооценката и взаимната оценка на експертите обикновено се извършват в процеса на изследване на обекти (самооценката винаги има значителен нюанс на субективизъм).

Сравнението на оценката на експерта със средната оценка на група експерти обикновено се извършва с помощта на апарата на математическата статистика.

В процеса на определяне на квалификацията на експертите се оценяват техните систематични и случайни грешки. Систематичните са принципно отстраними и подлежат на корекция или се елиминират в резултат на изключване на причините, които ги причиняват. Случайните грешки на квалифициран експерт трябва да имат минимална стойност. Един от методите за оценката им е да се провери възпроизводимостта на оценките на свойствата на един и същи обект във времето (за предпочитане по "сляп" метод).

Прогнозирането на резултатите от тестовите обекти от експерт дава възможност да се получи относителна оценка на ефективността на действията на експерта (съотношението на броя на правилните прогнози към общия брой прогнози или изследвания) и сравнителна относителна оценка на ефективността на действията на експерта (съотношението на ефективността на действията на експерта към средната ефективност, определена за група експерти).

За да се подобри качеството на експертизата, е необходимо да се подобри не само тясната професионална квалификация на експертите (в областта на изследваните обекти), но и тяхната специална квалификация (в областта на експертизите) чрез подходящо образование, обучение и запознаване с най-обширната информация по проблемите на експертизата.

При груповата експертиза е общоприето, че увеличаването на броя на експертите повишава обективността на оценките. Въпреки това наличният брой експерти е доста ограничен. Традиционно е прието да се разглежда долната граница на желания брой експертиседем души. От друга страна, експертна група от над 15 участници е трудна за управление и изисква много организационни усилия. Математиците предлагат избор на броя на експертите въз основа на теорията на вероятностите и математическата статистика, която се основава на предположенията, че няма значителни систематични грешки в оценките и че оценките на всички експерти са еднакво разпръснати. Подобни предположения едва ли могат да се считат за легитимни.

Изборът на методология за провеждане на изследване до голяма степен зависи от целта на изследването. Методиката за провеждане на изпит включва методи за работа с група и методи за получаване на експертни оценки. Работата с група експерти може да бъде организирана като индивидуално проучване, като групова дискусия и като комбинация от тези методи в различни пропорции.

По време на предварителната дискусия на "груповия преглед" е възможна ориентация на всички експерти от групата. Следващата стъпка е получаването на индивидуални оценки на експерти. Възможно е повторение на анкетата с обсъждане на резултатите. Провеждането на проучване в няколко кръга води до сближаване на оценките и повишаване на квалификацията на експертите, особено ако оценките са обсъдени и обосновани.

„Груповата експертиза“ може да преследва и допълнителни цели в допълнение към основната: обучение на експерти и получаване на оптимизирана експертна оценка. Една от разновидностите на "груповата експертиза" е да се изработи общо мнение на група експерти, прието чрез гласуване. При приемане на експертно решение чрез гласуване най-малко 2/3 от общия брой експерти трябва да гласуват положително. Тъй като най-интересните преценки възникват в хода на дискусиите, когато се създаде конфликтна ситуация, изкуственото създаване на такива ситуации представлява известен интерес.

„Независима експертиза”, проведена свключването на група експерти също е подходящо за получаване на оптимизирана партньорска проверка и резултатите от нея могат да се използват за целите на обучението.

Методът за оценка на качеството, базиран на "теорията за разпознаване на образи", включва "формиране на образа" на обекта, който се оценява, за премахване на "плаката на субективността" и се основава на използването на възможността за осредняване на мненията на много експерти. Резултатите от самостоятелната работа на експертите служат като основа за създаване на "обучителна извадка", формирана от компютър. Един от възможните варианти на този метод е моделирането на евристични мисловни процеси на експерти: експертите оценяват показателите за качество и тяхната тежест на всички нива на йерархичната структура, до цялостна оценка на нивото на качество. След това се разработва математически модел на цялостна оценка, който се изпълнява от компютър с помощта на специално разработена програма. Методите за оценка на качеството, базирани на "теорията за разпознаване на образи", могат да се използват за обучение на експерти, получаване на оптимизирана експертна оценка и разработване на модел за оценка на нивото на качество на обект, базиран на "теорията за разпознаване на образи".

Методът Делфи („Методът на делфийския оракул“) е предложен в САЩ в началото на 50-те години на миналия век от Т. Дж. Гордън и О. Хелмър за решаване на големи военни проблеми. Характерните черти на метода Delphi са следните:

работата на експерта се извършва анонимно (индивидуално);
отговорите на въпросите, поставени на експерта, задължително съдържат количествена (точкова) характеристика;
провеждат се няколко кръга на изследването с математическа обработка на резултатите след всеки кръг;
процесът на изпит се управлява (след всеки кръг всички интервюирани експерти се запознават с отговорите на останалите участници в проучването, коитопредставено анонимно и придружено с обосновка, също анонимно);

Методът преследва всички цели, с изключение на разработването на модел за оценка на нивото на качество на обект, базиран на "теорията за разпознаване на образи".

Методи за формиране на експертни оценки

Методът на предпочитание (класиране) на свойства или фактори може да бъде приложен по различни начини:

просто класиране на обектите в реда на намаляване (увеличаване) на нивото на качество;
класиране чрез точкуване;
класиране чрез оценка и налагане на допълнителни ограничения (например: градацията на оценката е 0,5 или 0,2 точки; сумата от теглата е равна на едно ...);
сравнение по двойки (класиране);
пълно съвпадение по двойки (класиране).

Ако обосновките на становищата се получат от експерти и се представят на вниманието на другите участници в изследването, това дава възможност за по-добро отчитане на различни фактори.

По-подробно въпросите за подготовката и провеждането на изпита са разгледани в специалната литература.