Kot prvi lastnik gradu Kacenštajn (Katzenstein) je leta 1173 ome­njen vitez Eberhard de Chazenstein, grad pa leta 1252 kot Chazzenstain. Kacenštajnski vitezi so bili sprva ptujski vazali, nato pa je grad po letu 1351 prešel v žovneško-celjsko delno last, saj so polovico gradu se imeli Kacenštajni. Celjsko polovico je leta 1437 imel v fevdu Jošt s Turna, tri leta zatem pa so kacenštajnsko polovico kupili Auerspergi. Ko so celjski knezi izumrli, so Habsburžani združili gospoščino s Šoštanjem. Grad je porušil celjski vojskovodja Jan Vitovec leta 1439, ko je bil kastelan Jeronim Woytlander.