Bij de interbeoordelaarsbetrouwbaarheid verzamelt men ook twee metingen van hetzelfde fenomeen, nu worden alleen twee beoordelaars ingezet die onafhankelijk van elkaar scoren.
Als laatste dient men zich af te vragen of de bevindingen die in de onderzochte groep gelden, ook gelden buiten die groep. Is het verband van toepassing op anderen buiten de onderzochte groep. Als het gaat om een willekeurige steekproef zullen we doorgaans kunnen concluderen dat het resultaat buiten de onderzoeksgroep geldt. Het resultaat kan dan extern valide worden genoemd.
Als er constructvalide gemeten is (betrouwbaar, variabelen representeren we ze behoren te representeren) is er een statistisch significant verband, maar toch kan het verband nietszeggend zijn, omdat de variabelen niets met elkaar te maken hebben en het verband door een derde variabele ontstaat. – Er is dan sprake van een spurieus verband, in de literatuur wordt dit een schijnverband genoemd. Het verband is er echter wel degelijk, alleen berust het niet op een oorzakelijk verband. Als er sprake is van zo’n spurieus verband zeggen we dat de interne validiteit gebrekkig is.
Als we een correlatie hebben gevonden die ongelijk is aan nul willen we onderzoeken hoe groot de kans is op de correlatie die we hebben gemeten. Het kan immers zijn dat het verband puur op grond van toeval tot stand is gekomen. Als die kans kleiner is dan de grenswaarde α, concluderen we dat het resultaat onder de aanname van geen verband tussen de twee kenmerken zó onwaarschijnlijk is, dat we die aanname van geen verband overboord zetten. Het verband is dan statistisch significant. In dat geval spreken we van statistische validiteit ofwel, statistische conclusie validiteit. Als de conclusie is dat het verband inderdaad statistisch significant is, komt de volgende validiteit in beeld;
deze constructvaliditeit heeft betrekking op de vraag of de meetinstrumenten wel echt het bedoelde
concept meten.
