Spodnji grad (Wippach) so oglejski patriarhi pozidali verjetno že sredi 13. stoletja. Izrecno je omenjen leta 1329 kot castrum inferius. Leta 1338 ga je patriarh po smrti Almerika Vipavskega podelil Galonu Stegbachskemu (Kolonu Šteberškemu), pred njim pa so ga imeli gospodje Vipavski. Štiri leta pozneje ga je podedoval Janez Steberški, leta 1346 je bil grajski glavar Herbard s Snežnika, pred letom 1360 so ga imeli grofje Celjski, po letu 1382 pa goriški grofje, ki so ga podeljevali v fevd. Med goriškimi fevdniki oz. pozneje lastniki srečamo še gospode Dornberge, barone Herbersteine od leta 1487, grofe Thurn in barone Edlinge. Leta 1656 je grof Ludvik Edling podaril sestri Lukreciji grad ''Tabor'', ta pa ga je za doto prinesla grofu Janezu Gašperju Lanthieriju. Propadajoči grad ''Tabor'', in gospoščino sta sredi 18. stoletja kupila Peter Anton pl. Abramsberg s Cola in Andrei Premrov pl. Premerstein, sto let pozneje pa je hitro menjal lastnike.