Na gradu Kozje (Drachenburg) je leta 1197 je omenjen krški fevdnik vitez Oton de Trachenberch. Grad je izrecno omenjen šele v 13. stoletju (castrum Trachenberk). Med letoma 1330 in 1355 srečamo na Kozjem brate Ringla, Albrehta in Leopolda, ti so se imenovali tudi po Brežicah, ki so svoje deleže na gradu Kozje prodali grofu Frideriku Celjskemu. Leta 1384 si je Kozje s poroko pridobil Niklas Brestaniški. Po letu 1570 ga je dedoval Maksimilijan Ruepp iz Pfeilberga, pred letom 1587 je Kozje imel baron Jakob Szekely iz Ormoža, leta 1587 pa ga je kupil Zaharija pl. Schneeweiss. Leta 1655 je grad in gospoščino imel Hans Senakovizh, okoli leta 1679 pa je gospoščino kupil Gottfried pl. Wintershofen. Grad so leta 1476 oblegali Turki, nekaj let zatem zasedle čete ogrskega kralja Matije Korvina, leta 1635 pa uporni kmetje. Propadel je v 17. stoletju.