Prvotni lastniki gospoščine gradu Švarcenek (Schwarze­negg) so bili oglejski patriarhi, ki so morda že konec 11. stoletja pozidali stolpasti grad, saj je že leta 1096 omenjen oglejski vazal vitez Randolf von Schwarzenegg. Konec 13. stoletja so grad zavzeli Benečani, a ne za dolgo, saj so jih goriško-oglejske čete kmalu pregnale, grofje pa so grad in gospoščino izročili v fevd gospodom Neuhausom. Ti so poškodovani grad obnovili in imeli do leta 1430. Marca 1440 so Švarcenek zavzeli Celjani, a so jih habsburške čete čez poldrugi mesec pregnale. Konec 16. stoletja so si Švarcenek pridobili baroni Petazziji. Sredi 17. stoletja so grad oplenile čete grofa Karla Thurna in ubile grofa Odorika Petazzija, leta 1700 je Švarcenek pogorel, maja 1713 pa so ga med velikim tolminskim puntom zasedli uporni kmetje. Razpadajoči grad je bil opuščen konec 18. stoletja, gospoščino pa je po letu 1800 upravljal J. Delen iz Sežane.