НАДЕЖДНОСТ - Методически критерии за качество на измерванията в социалните науки
Надеждността или надеждността на дадено измерване се отнася до степента на надеждност или точност, с която може да бъде измерена определена характеристика.
Ако можехме да измерим тази или онази характеристика с висока точност, тогава степента на изразяване на тази характеристика щеше да бъде посочена на скалата с една точка и никаква друга. За да покажем разликата между надеждно и по-малко надеждно измерване, обикновено казваме: разстоянието е 4185 mm или разстоянието е приблизително 4 m.
Проверката на надеждността на едно измерване се отнася преди всичко до въпроса доколко може да се вярва на резултатите, получени по време на едно измерване. В училищната практика оценката би била надеждна, ако учителят след известно време оцени същата работа по същия начин, както първия път. Че в действителност нещата са различни ще покаже изследването на академичната оценка.
Когато се гарантира надеждността на измерването в социалните науки, трябва да се помни,o, че измерването не може да бъде по-надеждно отстабилността на дадена характеристика.Ако дадена характеристика е много лабилна, като настроение, тогава резултатът от измерването не може да бъде толкова точен, колкото резултатът от измерване на по-стабилна характеристика, да речем правописни познания.
Степента на надеждност на измерването се определя с помощта на коефициента на надеждност или коефициента на осъществимост.
Коефициентът на надеждносте коефициент на корелация, "показващ степента, в която резултатите от измерванията, извършени при едни и същи условия от едно и също лице, съвпадат, т.е. до каква степен резултатите от измерванията са възпроизводими".
При определяне на надеждността трябва да се изхожда от факта, че във всеки резултат от измерването има "истински" и "изкривяващи" части.Правят се опити да се оцени съотношението на тези части с помощта на различни методи, които се използват главно при конструирането на тестове. Най-често използвани:
- метод на многократно изпитване,
- метод на разполовяване
-метод на паралелно тестване.
Методът на многократно тестване позволява обработка на едни и същи задачи, изпълнявани от едни и същи субекти по различно време, и изчисляване на връзката на резултатите, изразена в коефициента на надеждност. Този метод рядко се използва за измерване на ефективността, тъй като многократното тестване трябва да отчита ефекта от обучението, което се оказва толкова по-силно, колкото по-лесно се запомня задачата и колкото по-кратък е интервалът от време между първата и втората обработка на получените данни.
Тази пречка може да бъде премахната, като се прибегне до метода на разполовяване. В този случай изборът на веднъж завършени задачи се разделя наполовина. Всички задания с четни номера и всички задания с нечетни номера се обработват отделно. Селекция от задачи може да бъде разделена на две и на базата на друг принцип. След това се изчислява връзката на получените по този начин резултати и въз основа на това изчисление се получава информация за надеждността на метода за измерване.
Методът на паралелното изпитване изисква два различни комплекта задачи, които по своето съдържание наподобяват близнаци. И двата паралелни комплекта задачи могат да бъдат предложени директно един след друг или при възможност. Ефектът на запаметяване не може да възникне, тъй като действителната настройка на задачите във всеки комплект е малко по-различна. Връзката на двата резултата се изразява с помощта на фактора надеждност.
Очевидно факторът на надеждност съдържа не само информация за измереното свойство. Колкото по-голяминтервалът от време разделя измерванията, толкова по-силен ефект върху резултата има въздействието на различни фактори (друга мотивация, академичен успех, постигнат през този период), които не трябва да бъдат натоварвани - поради недостатъчната си надеждност - измервателни инструменти.
При обикновено равен брой задания с едно и също качество може да се очаква, че методът на разполовяване и методът на паралелно тестване ще имат най-ниските фактори на надеждност. От първия метод, при тестване на индивидуалното представяне, може да се очаква малко по-висок коефициент на надеждност - r = 0,90, от метода на паралелните форми - r = = 0,80. Ако сравняваме само груповите средни стойности, тогава надеждността на измерването може да намалее.
Надеждността на едно измерване сама по себе си не означава нищо друго, тъй като то съдържа информация за това колко точно е направено измерването, без да казва какво се измерва. Това обаче е предпоставка за валидност, най-важният критерий за качеството на едно измерване.
За учителя коефициентът на надеждност е нисък. информационно съдържание и ограничена употреба.стандартнатагрешка на измерване носи много повече информация за него.Според Линерт стандартната грешка в измерването е "тази стойност на стандартното отклонение на теста, която се обяснява с неговата ненадеждност" .
Стандартната грешка при измерването съдържа информация между кои точки (процентът на вероятност най-често е 68%) ще бъде "истинската" стойност на представянето на индивида.
Ако потребителят на теста знае, че стандартната грешка при измерването е ±4, тогава той знае, че „истинската“ стойност на представяне за ученик, който е получил 24 точки, е между 20 и 28 точки (процентът на вероятността е посочен втестово приложение). Ако човек знае грешките на измерване на инструмента, тогава може да избегне надценяването на неговата надеждност и да не приеме случайни несъответствия в резултатите, когато ги тълкува като истински разлики в академичните постижения.
Надеждността на набора от инструменти зависи - при равни други условия - от броя на задачите. За неформални тестове (на базата на резултатите от анализа на елементите) грешката при измерване може да се изчисли, като се използва следното основно правило:
Ако броят на задачите е по-малък от 24, грешката е ±2 точки.
При брой задачи между 24 и 47 грешката е ±3 точки.
При брой задачи между 48 и 89 грешката е ±4 точки.
Учителите трябва да знаят, че грешката на измерване на нашата система за оценяване като цяло трябва да бъде ± 1 точка, така че колебанията между оценките "2" и "4" може да се дължат на липсата на надеждност на използвания метод за оценяване.