Het kan voorkomen dat variabelen niet-valide aanduidingen zijn van de bedoelde begrippen.

Het is bijvoorbeeld denkbaar dat mensen sociaal wenselijke antwoorden geven. De variabelen worden dan niet valide gemeten. Ook kan het van invloed zijn bij stelling dat mensen meegaand reageren en vaak ‘ja’ klikken.

Inhoudsvaliditeit:

De uiteindelijke items die in de schaal worden opgenomen, hebben inhoudsvaliditeit; het instrument bevat alle soorten items die er volgens deskundigen in hoort te zitten. Het gaat om het volgen van een zorgvuldige procedure om de inhoudsvaliditeit te waarborgen.

Soortgenootvaliditeit:

Als er al een instrument bestaat voor het meten van een begrip, maar dit niet meer voldoet. Testen met beide instrumenten moeten dan zelfde resultaten geven.

Convergente validiteit:

Wanneer twee instrumenten hetzelfde begrip meten. Het gaat verder dan soortgenootvaliditeit omdat de onderzoeker wil aantonen dat twee geheel verschillende manieren om hetzelfde construct te meten convergeren. Bij soortgenoot lijken de instrumenten juist op elkaar.

Construct- of begripsvaliditeit:

De mate waarin empirische verschijnselen de theoretische begrippen of constructen dekken.

Dit is moeilijk direct te onderzoeken. Wanneer de resultaten van twee constructen erg op elkaar lijken, terwijl het als verschillende werden beschouwd, zijn er 2 mogelijkheden;

-de vragen ernaar zijn te slecht geformuleerd of- er is inderdaad geen onderscheid te maken tussen de begrippen.

Omdat constructvaliditeit zo sterk gekoppeld is aan de theorie waarin dat construct een rol speelt, kun je op basis van 1 onderzoek geen conclusies trekken over de constructvaliditeit van het instrument.

Predictieve validiteit:

Vooral bij psychologische test, vaak om voorspelling te doen, vooral in praktijkgerichte onderzoeken, terwijl begripsvaliditeit meer een rol speelt in fundamenteel onderzoek. Als predicties herhaaldelijk niet uit blijken te komen, is de predictieve validiteit van de test gering.

Reactiviteit= Hawthorne-effect:

Dat mensen zich anders gaan gedragen wanneer ze weten dat ze onderzocht worden. Daarnaast kunnen verwachtingen van degenen die het experiment uitvoeren de uitkomsten onbewust beïnvloeden. De variabele is dan niet goed gemanipuleerd.

Ook kunnen onderzoekers ten onrechte het verwachte effect waarnemen.