Grad Rittersberg so upravljali vitezi Rittersberški, prvič omenjeni leta 1220 kot vazali goriških grofov. Leta 1241 sta omenjena Markvard von Rittersberg in njegov sin Cunradus, leta 1252 vitez Konrad, leta 1265 gospod Martin, zadnja omemba vitezov pa sega v začetek 15. stoletja, ko leta 1405 srečamo viteza Simona in Henrika de Ritersperch.