Na gradu so gospodovali goriški vazali vitezi Carstbergi. Leta 1215 je omenjen vitez Chunradus de Carsperch, grad pa izrecno šele leta 1249 kot Charsperch. Kljub temu da je bil Golac poglavitna fevdalna utrdba v Brkinih, pa so goriški grofje, ko so leta 1267 zastavili Golac oglejskemu patriarhu, kmalu dali pozidati Novi grad nad Podgradom, golško utrdbo pa opustili in je bila že v 15. stoletju razvalina. Leta 1465 je gospoščino Golac pridobil tržaški plemič de Leo, nato so jo zavzeli Benečani, te pa je leta 1509 pregnal grof Krigtof Frankopan in gospoščino združil s Podgradom. Med beneško zasedbo sta golško gospoščino imela Krigtof Burlo in Damian de Tarsia.