Statistische validiteit

Deze betreft de vraag of de gevonden samenhang statistisch significant is. In z’n algemeenheid kunnen we hierbij 2 typen fouten maken. Als de nulhypothese waar is en we beslissen deze aan te nemen is dit goed, dit geldt ook andersom. Maar;

• Als de nulhypothese waar is, en we beslissen de alternatieve hypothese aan te nemen, nemen wij de verkeerde beslissing. D1e kans op deze fout bepalen we als onderzoeker zelf; dit wordt de α of type-I-fout genoemd. Deze hebben we zelf bepaald door te beslissen welk risico we durven te lopen op een foute uitspraak. De juiste beslissing is gelijk aan 1 – α
• Als de alternatieve hypothese waar is en we besluiten H0 te handhaven dan is de kans daarop β en een type-II-fout. Hoe groot β is, hangt af van allerlei factoren, zoals α, de grootte van de steekproef en het werkelijke verschil tussen de grootheden.
• We doen telkens conditionele uitspraken: als H0 waar is, dan is de kans een fout te maken… We zeggen nooit dat de kans om een juiste beslissing te nemen x% is. Omdat we niet weten of H0 of H1 waar is, elke uitspraak is conditioneel. De kans … op een juiste uitspraak is dus onzin.
• Het kan verder zijn dat we een te kleine steekproef hebben om aan te tonen dat er een verband bestaat tussen X en Y.
• Te groot kan ook. Als de steekproef fors genoeg is, wordt ieder verband significant.
• Ruis in de data kan zorgen dat een bestaande samenhang verdwijnt.

Assumpties van de toetsingsprocedure kunnen zijn geschonden, gegevens zijn dan bijv. niet normaal verdeeld terwijl dit wel is aangenomen.