Leta 1354 so omenjeni stolpi v Brežicah, kot plemiška selišča ali pa domovanje brežiških kastelanov. Leta 1427 sta omenjena stolpa Hainreicha de Mila in Erharta Flaminga, leta 1432 stolpa Ahaca Rajhenburškega in Hannsna Hawsenpeckla. Med letoma 1466 in 1482 pa stolp brežiškega kastelana Jurija Minndorferja z Mehovega.