Grad Irštajn (Ernstein) je razpadel verjetno že konec 14. stoletja, saj je leta 1404 in 1421 v zgodovinskem viru omenjen kot opuščena utrdba. Takrat je imel malo gospoščino gospod Pavel Gradner, nato pa od leta 1458 Hans Metz in Joerg Ungnad z Vodriža. Leta 1506 so ga dobili v krški fevd Ungnadovi dediči. Grad je bil pozidan morda že v 13. stoletju.