Brestrnica je bil pozidan v 17. stoletju. Prvotno je bil šentpavelska pristava, nato so ga imeli pl. Knielyji, od leta 1854 do konca druge svetovne vojne pa grofje de Avernas.