Herhlin Kranspergar je leta 1342 sezidal stolpasti grad, leta 1386 pa ga je od viteza Haertla kupil grof Herman I. Celjski. Ko je to iz oglejskih rok prešel v habsburško posest, so ga dobili Baumkircherji in takrat je dobil sedanje ime Baumkircherjev turn. V posesti rodbine je ostal do leta 1471, ko so barona Andreja Baumkircherja isto leto v Gradcu obglavili. Grad so zatem upravljali razni deželnoknežji oskrbniki in zakupniki, med njimi omenimo Jurija Galla, ki je imel Baumkircherjev turn v zastavi v prvi polovici 16. stoletja in ga je med letoma 1517 in 1521 odstopil kranjskemu vicedomu Erazmu Braunwartu. Leta 1533 je grad Baumkircherjev turn in gospostvo Vipava kupil Anton pl. Lanthieri in v lasti to rodbine je ostal do konca prve svetovne vojne.