Lastniki gospoščine baroni Androchiji so po odhodu Francozov iz naših krajev v Kostelu pozidali tako imenovani spodnji kostelski grad in tako uredili nov sedež gospoščine. V gradiču je bila med drugo svetovno vojno manjša italijanska posadka, zato so ga aprila 1943 požgali partizani.