Forklarbarhet handler om hvor godt vi kan forstå grunnlaget for et resultat og undersøke hvordan løsningen kom frem til det. Kilder, regler og registrerte handlinger kan hjelpe. En velformulert begrunnelse fra modellen er ikke i seg selv en pålitelig beskrivelse av dens indre prosess eller et bevis på at resultatet er riktig.