GraphRAG bruker en kunnskapsgraf og annen hentet informasjon til å gi språkmodellen bedre underlag. En kunnskapsgraf beskriver ting og forbindelser mellom dem, som kunde, ordre og levering. Microsofts GraphRAG er et konkret prosjekt som også bruker oppsummeringer av grupper i materialet. Metoden kan være nyttig når spørsmål krever sammenhenger på tvers av kilder.