Grad Vipolže (Wippelsach) je prvič posredno omenjen v zgodovinskih virih leta 1170, ko srečamo viteza Henrika in njegovega sina Ulrika de Wipelsach, grad sam pa je izrecno omenjen šele leta 1379 kot vest Wipelsach. Leta 1311 ga je dobil v fevd Friderik Herberstein iz Solkana, od druge polovice 14. stoletja pa so ga upravijali razni goriški fevdniki. Vipolški gospodje so večkrat omenjeni v oglejskih listinah, kar kaže, da je njihov rod živel na gradu še konec 14. stoletja. Leta 1460 je Vipolže kupil svetokriški baron Febo della Torre (Thurn), nato so ga imeli grofje Attems-Petzenstein, od konca 19. stoletja pa baroni Teuffenbachi. Leta 1510 je Vi­polže zasedel beneški vojskovodja Marko Dolfin, januarja 1616 pa ga je na čelu številne vojske zaman oblegal Benečan Giustiniani. Poškodovano poslopje so v prvi polovici 17. stoletja predelali.