Методически критерии за качеството на измерванията в социалните науки
Прието е да се оценява качеството на резултатите от измерването съгласно следните общоприети критерии: 1) обективност; 2) надеждност; 3) валидност и др.
Тестът за ефективност се счита за обективен, когато е възможно да се изключи възможно най-много интерсубективното влияние на изследователите върху неговите резултати, когато резултатите не зависят от личността на лицето, което извършва измерването, обобщава и интерпретира получените данни. Обективността се характеризира със съотношението между резултатите, получени от двамата оценители. Необходимо е коефициентите на корелация в този случай да са близки до единица (r= 1).
За да се осигури обективност, провеждането, обработката и интерпретацията (оценката) на резултатите от работата трябва да бъдат строго стандартизирани. Изявлението и оценката или измерването и тълкуването трябва да се пазят възможно най-отделно едно от друго. За тази цел трябва да се изготвят точни инструкции за извършване на работа, коригиране на грешки и оценка на резултатите.
Обективността на измерването изисква всички ученици да бъдат подложени на един и същ тест при сходни условия. Например тестът трябва да продължи еднакво време за всички. Необходимо е да се гарантира, че учениците не изневеряват един на друг в процеса на работа. За да се избегне това, тестът за изпълнение трябва да се проведе с ученици, които са напълно отделени един от друг в две или дори четири паралелни версии.
Осигуряването на обективност на интерпретацията на резултатите от изследването е голяма трудност. Обективността на тълкуването може да се говори в случай, че няколко лица интерпретират едни и същи резултати по един и същи начин при обработка на данни, установяват едни и същи взаимоотношения. За по-голяма обективност при обработката на даннитепрепоръчително е да се използват затворени въпроси при разпит, тестване, наблюдение, когато е достатъчно да се постави кръстче, число, да се избере една дума от няколко. Тъй като при оценяване на една и съща работа с отворени въпроси, свободна форма на конструиране на отговор от различни учители по различни начини, има субективизъм при обработката на данните.
Обективността никога не се е превръщала в самоцел. Това е само предпоставка за надеждността и валидността на измерванията. Пристрастното измерване не може да бъде надеждно и валидно.
Надеждността на теста е един от критериите за качество на теста, отнасящ се до степента на точност на измерванията на определен признак. Колкото по-голяма е надеждността на теста, толкова по-свободен е той от грешки в измерването.
В методологията на теста е обичайно да се вземат предвид три фактора на надеждност: 1) коефициентът на стабилност или постоянство, който е коефициентът на корелация между резултатите от теста по време на първите и повторните тестове с един тест на същия студентски екип; 2) коефициентът на еквивалентност, който е коефициентът на корелация на резултатите от тестването на същия контингент от субекти с варианти на един и същ тест или различни, но еквивалентни по форма и цел тестове; 3) коефициентът на вътрешно постоянство или вътрешна хомогенност, който е коефициентът на корелация на резултатите от части от теста, показани от едни и същи субекти.
При определяне на надеждността на тест за ефективност, най-често използваният коефициент на вътрешна консистенция, обикновено чрез методите на дисперсионния анализ и факторния анализ. При тест за ефективност коефициентът на надеждност (коефициент на корелация) трябва да бъдеr> 0,7.
При определяне на надеждността трябва да се има предвид, че във всякарезултатът от измерването съдържа "истинската" и "изкривяващата" част. Правят се опити да се оцени съотношението на тези части, като се използват различни методи, които се използват при конструирането на тестове. Често използвани са методът на повторно изпитване, методът на разполовяване и паралелният метод на изпитване.
Методът за повторен тест или повторен тест ви позволява да обработвате едни и същи задачи, изпълнявани от едни и същи субекти по различно време, и да изчислявате връзката на резултатите, изразена в коефициента на самокорелация (коефициент на надеждност). Това измерва вътрешното постоянство на теста, тоест до каква степен всички тестови задачи измерват едно и също свойство. Обикновено коефициентът на надеждност се означава сrjj. Резултатът от теста за самокорелация се счита за положителен, ако, както е споменато по-горе,rjj> 0,7. Този метод рядко се използва при измерване на ефективността, тъй като при повторно тестване трябва да се вземе предвид ефектът от обучението, който се оказва толкова по-силен, колкото по-лесно е да запомните задачата и колкото по-кратък е интервалът от време между първата и втората обработка на получените данни.
Методът на разполовяване може да премахне горната пречка. В този случай изборът на веднъж завършени задачи се разделя наполовина. Първият полутест включва задачи с нечетен пореден номер, а вторият полутест - с четен номер. Селекция от задачи може да бъде разделена на две и на базата на друг принцип. След това се установяват резултатите на всеки субект от двата полутеста и се изчислява коефициентът на корелация между полутестовете, който дава информация за надеждността на използвания метод. Надеждността на теста за ефективност се изчислява по формулата:
къдетоRе надеждността на теста за ефективност;
r1,2 –коефициент на корелациямежду половините на теста за постижения.
Паралелен метод на изпитване. При метода на паралелния тест за измерване на едни и същи знания се конструират два различни комплекта задачи, които по своето съдържание наподобяват близнаци. И двата паралелни комплекта задачи могат да бъдат предложени директно един след друг или при възможност. Ефектът на запаметяване не може да възникне, тъй като действителната настройка на задачите във всеки комплект е малко по-различна.
Съставянето на еквивалентни тестове за естествено-математическите цикли е доста просто, но за хуманитарните е по-трудно. Всеки въпрос от теста или контролната работа се проверява по метода (хи-квадрат). Учениците изпълняват задачата според първия вариант, след това според втория. След това се изчислява корелацията между получените резултати. Ако тестовият корелационен коефициентr>gt; 0,7, тогава тестът се счита за надежден. За изчисляване на корелацията се използва формулата:
В допълнение към общоприетите методи, изброени по-горе, при определяне на надеждността на тестовете понякога се използват методът за сравняване на групи и методът за сравняване на трудността на задачите.
Методът за групово сравнение е организиран по следния начин. Контролната работа се провежда в "силните" и "слабите" групи ученици, след което резултатите се сумират, резултатите се сравняват и коефициентът на корелация се изчислява по следната формула:
къдетоkе броят на въпросите;
n- 27% от общия брой ученициN;
S(VN+VT) е сумата от грешките в „слабите“ и „силните“ групи.
Сравнение на степента на трудност на задачите. Степента на трудност на задачите обикновено се сравнява чрез тестов метод, като се използва система от четири полета:
къдетоB- броят на учениците, решили първата задача правилно, втората задача неправилно;
B-броят на учениците, които са решили втората задача правилно и първата задача неправилно (виж таблица 3).
Броят на степените на свобода е 1, така че можем да считаме, че разликата в степените на трудност на първата и втората задача е незначителна и тези задачи могат да се използват в различни варианти на контролната работа (ще разберем това от специална таблица).