Валидност и надеждност на измерванията - Murzim
Резултатите от измерванията в маркетинговите проучвания, които се извършват главно чрез анкети или наблюдения, се влияят от редица фактори.
- Реални разлики в измерените характеристики.
- Разлики в други относително стабилни характеристики на респондентите: например някои дават добри отговори или не.
- Променливи фактори: настроение, здравословно състояние, умора, болест.
- Ситуационни фактори. На въпрос за ролята на съпруга и съпругата при закупуването на кола, съпругът ще каже едно, съпругата друго, те заедно третото.
- Характеристики на интервюиращия и неговото поведение.
- Формулиране на анкетни въпроси. Например понятието „голям мъж“ включва ли височина, тегло, обиколка на талията и може би нещо друго?
- Грешки на инструмента за измерване: сложни, двусмислени въпроси, моменти, които не са ясни на самия интервюиращ.
- Механични фактори (напр. счупен молив).
където Xo са резултатите от наблюдения или измервания; Xt е истинската разлика в характеристиките; Xs – систематична (постоянна) грешка; Xr е случайна грешка.
Валидността (прецизност, коректност) е степента, в която разликата в резултатите отразява действителната разлика в измерените параметри, а не грешките. Валидността означава, че Xo=Xt.
Прогнозната валидност подчертава стойността на даден инструмент при прогнозиране на някои характеристики или поведение. За да се тества тази валидност, е необходимо да се оцени корелацията между резултатите от теста и прогнозираната характеристика. Например тези, които преминат успешно изпит за правоспособност, трябва да работят добре.
Валидността на съвпадението е съответствието между измерения и действителния параметър в този конкретен момент от време. Например, измерена е температурата на пациентаточно.
Валидност на съдържанието. Това е адекватността, с която се измерва представянето. Например, тест за правопис, който включва само термини за хокей, е по-вероятно да разкрие нагласи за хокей, отколкото грамотност.
Валидността по отношение на конструкциите определя коя конструкция, идея, концепция се измерва. Концепцията се дефинира чрез набор от наблюдаеми атрибути. Например, за да се определи удовлетворението от работата, не се измерва самото удовлетворение, а очакваните перспективи за повишение, отношението към заплатите, отношенията с ръководството и т.н.
Валидността на конвергенцията и валидността на разликата определят съответно, че това, което трябва да бъде еднакво, е същото, а това, което трябва да бъде различно, е различно. Например, има хипотеза за връзката между текучеството на персонала и удовлетворението от работата. Предполага се, че ако удовлетворението от работата е високо, то текучеството на служителите е ниско и обратно. Резултатите от измерването на текучеството на служителите и удовлетвореността от работата трябва да отразяват тази връзка: във всички предприятия, където степента на удовлетвореност от работата е висока, текучеството на служителите трябва да е ниско. Ако удовлетворението от работата е високо в едно предприятие и ниско в друго, тогава текучеството на персонала също трябва да е различно.
Често валидността се оценява индиректно чрез надеждност, тъй като надеждността е по-лесна за измерване.
Надеждността е липсата на случайна грешка в измерванията. Надеждността означава, че Xr=0.
Тъй като Xo=Xt+Xs+Xr, измерването може да е надеждно, но невалидно. В същото време валидността автоматично означава надеждност. По този начин,
- Надеждността следва от валидността;
- недействителността следва от ненадеждността.
За да се тества надеждността, стабилността и еквивалентността се определят.
Стабилността е повторяемостта на резултатите от многократно провеждани изследвания.
Понякога интервюиращият повтаря критични въпроси в края на анкетата. Той обикновено казва:
Нека проверим дали съм написал всичко правилно.
Всъщност се проверява стабилността на отговорите на респондента.
Изследването на стабилността е доста трудна задача. Ако проучването се повтори след кратко време, тогава респондентите ще запомнят предишното проучване, което ще изкриви картината. Ако времето между анкетите е твърде дълго, тогава самата контролирана характеристика се променя през това време.
Еквивалентността е по-подходяща за оценка на надеждността. Нека няколко въпроса трябва да се отнасят до една и съща характеристика. Това трябва да се провери. За такава проверка може да се използва методът на разполовяване. Наборът от въпроси е разделен на две части (на случаен принцип или на база четно/нечетно). Според съвпадението на отговорите на всяка половина от въпросите се преценява вътрешната последователност на теста. Този метод обаче се използва рядко. Причината за това е ясна от примера. Нека се оцени надеждността на теста за проверка на знанията на учениците. Провежда се в две групи. Средната оценка за отговорите беше 3. Но в едната група всички получиха 3, а в другата половината получиха 4, а половината получиха 2. Това беше неудачно разделение. По този начин методът на разполовяване не гарантира надеждността на теста.
В заключение трябва да се отбележи, че методите за анализ на надеждността изследват само величината на случайния компонент, без да засягат систематичната грешка.