Социални експертизи - Учебник (Власова Т
4.2. подбор на експерти и формиране на експертни групи
Изборът на експерт или група експерти е едно от най-важните решения, взети при организирането и провеждането на експертиза. Това решение е функция на Организатора и той е този, който отговаря за компетентността на експертите и способността им да изпълнят правилно задачите на конкретното изследване. Обикновено специализираните експертни структури (ведомствени или свободно функциониращи) имат собствена експертна мрежа, от която се избират експерти за провеждане на определена експертиза. За идентифициране на специалисти, които потенциално могат да действат като експерти, се използват различни методи за подбор, които могат да бъдат разделени на три групи - априорни, апостериорни и тестови методи.
Априорните методи за оценка на специалистите като експерти не използват информация за предишен опит от участие в изпити, независимо дали е имало такъв опит или не. Сред тях може да се разгледа най-простият и често срещан метод
препоръка на човек, който заслужава доверие по този въпрос.
42 http://www.golden10.ru/projects/ige.html
необходимия брой експерти по други начини43.
Най-простият и следователно най-ненадежден е така нареченият метод за обективна оценка на компетентността (или документацията) - подбор по обективни документални данни. Основните характеристики на такъв подбор могат да бъдат нивото и естеството на образованието, професията, местоработата и длъжността, трудов стаж в този профил и др. Използват се следните допълнителни характеристики: брой публикации, индекс на цитиране, участие в значими проекти, възраст и др. Този метод ви позволява да получите необходимата обективна информация за потенциални експерти, но не ви позволява да избегнете значителниформалности на подхода, които могат да доведат до грешки при избора на експерти.
Този недостатък може да бъде преодолян чрез използване на метода на самооценка на компетентността, когато потенциалните експерти сами оценяват себе си. Процедурата предвижда самооценка по определен набор от критерии и по зададена скала (точкова, словесно-точкова или словесна). Като такива критерии могат да се използват основните професионални качества (знания, опит, умения, интуиция) и личностни характеристики (интелигентност, креативност, принципност, контакт), които експертът трябва да притежава. За да оцените тези критерии, например ранг
43 Теория на прогнозирането и вземането на решения - М .: Висше училище, 1977 г. -
вербална скала: "високо" - "средно" - "ниско ниво" (в цифрово изражение това ще съответства на: 1; 0,5; 0).
Например, три критерия се използват за самооценка
"знание", "опит", "способност за предвиждане на събития". Експертът се оценява според посочените критерии, след което кумулативният коефициент се изчислява по формулата:
където Kzos - коефициенти на самооценка по съответните критерии; К - комплексна самооценка на специалист.
За да се счита един специалист за експерт, неговата комплексна самооценка трябва да е по-висока от 0,5 точки44.
Като други критерии, „познаване на източници на информация по проблема“ (местни, чуждестранни, патентни и др.), „ниво на познаване на обекта на изследване“ (познаване на нормативната правна рамка, статистически, социологически, аналитични данни и др.)
Методите за самооценка, от една страна, дават положителен резултат, тъй като никой по-добре от самия експерт не представлява съвкупността от знания и опит, коитотой притежава. От друга страна, човек е склонен да прави грешки, оценявайки собствените си възможности и да дава субективни оценки.
По-надеждни резултати от предварителната оценка се дават чрез взаимни оценки на експерти, получени по метода на експертните таблици (или метода на списъците). Същността на метода е, че се формира група от специалисти, всеки от които е поканен да посочи кого от тази група оценява като потенциален експерт. Процедурата по оценяване се провежда на два етапа. Първият определя колко пъти всеки член на групата е бил наричан "експерт" от други членове. Въз основа на тази информация се формира таблица № 1 (Таблица 4.2).
По-нататък броят на получените гласове се счита за "коефициент на тежест" на експерта и се съставя таблица № 2 от актуализирани взаимни оценки, в която всеки
44 Основи на приложната социология: Учебник за средните училища.– М.: Интерпракс, 1996.–
на гласа се дава тежестта на гласоподавателя. Тази процедура позволява да се класират специалистите според техните експертни качества45 (Таблица 4.3).
Таблица за оценка №1
Оценени членове на екипа
Таблица за оценка №2
Оценени членове на екипа
1 (коефициент на тегло 2)
2 (коефициент на тегло 3)
3 (коефициент на тегло 1)
4 (коефициент на тегло 3)
5 (коефициент на тегло 4)
В условния пример, разгледан в таблици 4.2 и 4.3, 5 специалиста дават взаимна оценка един на друг, които получават от 4 до 1 гласа в хода на гласуването, за да потвърдят значимостта си като експерт, докато 2 специалисти получават по 3 гласа, т.е. първата им оценка е еднаква. След това броят на получените гласове се използва като коефициент на тежест за всеки експерт,
45 Основи на приложсоциология: Учебник за ВУЗ.– М.: Интерпракс, 1996.–
например експерт 1 е получил 2 гласа - неговият коефициент на тежест е 2, така че оценките, дадени от него, се умножават по 2 и т.н. Така коригираните твърдения общо дават по-обоснована оценка на всеки експерт, която може да се приеме като рангова оценка на компетентността. В същото време двама експерти, получили 3 гласа на първия етап, получиха различни оценки за ранг на втория етап.
При по-сложен метод на взаимна оценка експертите могат да не се ограничават до съставяне на класиран списък, но също така да посочат, например, степента на запознаване на експертите с обекта на експертиза (на това се основава "методът на подпроблема"). Въпреки че методът на взаимните оценки е очевидно полезен, той има значителен недостатък, който се състои във факта, че участващите специалисти трябва да се познават доста добре.
Апостериорните методи се основават на оценката на резултатите от участието на експерта в предишни експертизи. Тези методи могат да се използват само при повторно участие на експерта в изследването.
Най-често срещаният метод от тази група е да се вземе предвид за всеки експерт съотношението на успешно проведените прегледи към общия им брой. Проблемът обаче е, че
да се счита за успешен изпит. Един от критериите за успех
свързани с надеждността на оценки, твърдения, предположения или прогнози на експерт. Това е основата за оценка на надеждността на преценките - като критерий за надеждност се изчислява относителната честота на случаите, когато оценките на експерта впоследствие са потвърдени от реални събития.
Например, всеки читател на аналитично списание може да оцени надеждността на преценките
„Власть“, където периодично се публикуват отговорите на експертите на финансовия пазар на въпросите: каквоще има обменен курс на рублата, темпове на инфлация, световни цени на петрола, обменен курс долар/евро след година, шест месеца, в рамките на един месец. Вземайки дневник след подходящ период от време, можем да оценим надеждността на преценките на експерта, който ни интересува.
Ако изпитът се основава на получаване от група експерти на определена обща резултатна оценка, тогава всеки участник може да бъде оценен по отклонението на неговата индивидуална оценка от получената. Този метод за оценка на качеството на експертите се основава на изчисляването на коефициента на отклонение. Но този метод трябва да се използва с повишено внимание, защото понякога точно отклонените мнения и оценки са верни.
Оценката на компетентността на експерта може да се извърши въз основа на резултатите от двойни сравнения, направени от него в хода на реален преглед. При избора на двойки предпочитания от експерти
Често възникват противоречиви твърдения (например, когато три обекта A, B, C се сравняват по двойки и според експерта обект A е за предпочитане пред обект B, обект B е за предпочитане пред обект C, а C е за предпочитане пред обект A, което е нелогично. По време на изследването могат да се използват по-дълги вериги от сравнения, което води до противоречие. Естествено, колкото по-малко противоречия има в преценките на експерта, толкова по-компетентен се счита той.
Като цяло оценката на ефективността на работата на експерт като част от група трябва да се извърши, тъй като със значителни знания и опит експертът може да не разбира ясно целите и задачите на изследването, смисловото значение на необходимите оценки, може да не аргументира ясно своите преценки, да покаже непоследователност в оценките при сравняване на обекти на изследване и др.
Тестовите методи са насочени към установяване на професионално ниво и определяне на уменията и опита, необходими за ефективно участие в експертадейности, както и наличието на подходящи личностни качества на експерта.
Тестването като стандартизиран метод за измерване на различни свойства, характеристики, състояния на личността се използва широко в образованието, психологията, медицината и др. Тестът е серия от относително кратки тестове (въпроси, задачи, ситуации), резултатите от които са показатели за изследваните свойства. По отношение на процедурата за подбор на експерти могат да се използват тестове за постижения (измерване на професионални знания, умения и способности), тестове за интелигентност (определяне на нивото на интелектуално развитие и идентифициране на характеристики на структурата на интелигентността), личностни тестове.
и т. н. Методите за изпитване могат да се използват както в априори, така и в апостериори режим.
Като априорен вариант разглеждаме тестовата оценка на професионализма на експерта. Степента на професионално запознаване на експерта с обектите на експертизата се проявява в
Тестовете за възпроизводимост на експертните оценки се основават на факта, че стабилното възпроизвеждане на едни и същи оценки показва професионалната компетентност на експерта и неговата пригодност за експертна работа (например числените оценки се сравняват по тяхната разлика, класиране или класификация - мярка за близост). Тестовите проверки, които определят възпроизводимостта на оценките на експерта, трябва да бъдат разделени една от друга с времето, през което експертът ще забрави резултатите от предишното тестване.
С помощта на психологически и интелектуални тестове могат да се установят личностните характеристики на експерта.
Трябва да се отбележи, че няма единна общоприета методика за оценка на качеството на експертите и тяхната годност за участие в определен изпит. Възможност за използване на съществуващи методизависи от условията и задачите на експертната оценка. Същите тези фактори определят броя на експертите, участващи в работата.