Gradu Kalec (Stainperg) je omenjen leta 1622, Sezidal ga je Jurij pl. Steinberg, deželni četrtni stotnik. Od Steinbergov je pomemben gospod Franc Anton, saj je bil nadzornik deželnih cest na Kranjskem, upravitelj idrijskega rudnika živega srebra in znamenit raziskovalec Cerkniškega jezera. Leta 1686 so Steinbergi prodali Kalec Janezu Adamu pl. Petenegkhu, vendar je po predkupni pravici posegla vmes kneginja Marija Ana Auersperg, ki je na Kalcu želela urediti kobilarno. Naslednje leto je Kalec pridobil baron Janez Krstnik de Leo, leta 1721 ga je kupil baron Ferdinand Raunach, potem pa je hitro šel iz rok v roke. Leta 1786 ga je kupil Matej Vilhar. Vilharji so na Kalcu gospodarili skoraj stopetdeset let. Leta 1843 je grad od očeta prevzel pesnik Miroslav Vilhar. Leta 1903 so Vilharji prodali grad in posestvo devetim domačinom iz Bača. Po prvi svetovni vojni je bil grad popolnoma zapuščen in je hitro razpadel.