Dvorec Vipolženaj bi zgradili v zgodnjem 18. stoletju, lastniki pa so bili grofje Attemsi in od konca 19. stoletja baroni Teuffenbachi.